[논문리뷰] OPMD: On-Policy Mechanism Distillation Beyond Output Supervision본 논문은 기존의 On-Policy Distillation(OPD)이 교사의 출력 분포만을 모사할 뿐, 복잡한 추론 과정에 필요한 중간 연산(intermediate computation)을 효과적으로 전이하지 못한다는 문제점을 해결하고자 합니다.#Review#On-Policy Distillation#Mechanism Distillation#Language Model#Latent State#Teacher-Student Distillation2026년 10월 18일댓글 수 로딩 중