[논문리뷰] Calibrating Teacher--Student Discrepancy for On-Policy Distillation본 연구는 On-Policy Distillation에서 교사와 학생 간의 discrepancy가 교사 모델 자체의 변동성인 TSD를 포함하고 있어 효율적인 학습을 방해한다는 점을 문제로 제기합니다 .#Review#Knowledge Distillation#On-Policy Distillation#Teacher Self-Deviation#Calibration#Mathematical Reasoning#Privileged Information2026년 9월 20일댓글 수 로딩 중