[논문리뷰] From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation본 논문은 MOPD 과정에서 교사 모델의 신호가 학생 모델의 파라미터 업데이트로 변환되는 메커니즘을 규명하고, 왜 기존의 정교한 기법들이 항상 성능 향상으로 이어지지 않는지 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Language Model#Gradient Alignment#Adam Optimizer#BF16 Rounding#Capability Integration#Task Performance2026년 10월 4일댓글 수 로딩 중