[논문리뷰] From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation본 논문은 MOPD 과정에서 교사 모델의 신호가 학생 모델의 파라미터 업데이트로 변환되는 메커니즘을 규명하고, 왜 기존의 정교한 기법들이 항상 성능 향상으로 이어지지 않는지 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Language Model#Gradient Alignment#Adam Optimizer#BF16 Rounding#Capability Integration#Task Performance2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy DistillationLarge Language Models (LLMs)의 post-training 과정에서 reinforcement learning (RL)을 통해 수학, 코딩, instruction following (IF)과 같은 특정 기술에 특화된 specialists를 생성할 수 있지만, 사용자들은 이 모든 기술을 통합한 단일 모델을 필요로 한다.#Review#Reinforcement Learning#Multi-Teacher Distillation#On-Policy Distillation#Domain Normalization#Language Models#Capability Integration#Feedback Scaling#Log-Ratio Spread2026년 9월 28일댓글 수 로딩 중