[논문리뷰] Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts본 논문은 MOPD 설정에서 교사 모델의 최종 정책(Endpoint)을 사용할 때 발생하는 불균형한 학습 신호 문제를 해결하고자 한다. 기존의 Endpoint Supervision 방식은 교사가 학습을 통해 얻은 새로운 지식과 베이스 모델로부터 상속받은 편향을 구분하지 못하고 그대로 학생 모델에 전이한다 .#Review#Multi-Teacher On-Policy Distillation#Language Model Post-training#Logit Shift#Teacher-Relative Shifts#Composition Geometry#Target Construction2026년 10월 7일댓글 수 로딩 중