[논문리뷰] Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation본 논문은 Multi-teacher On-policy Distillation (MOPD) 과정에서 발생하는 업데이트 비호환성(Update Incompatibility) 문제를 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Gradient Conflict#Cross-Teacher Guarding#Large Language Models#Credit Assignment#Preventive Gradient Projection2026년 10월 14일댓글 수 로딩 중
[논문리뷰] Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts본 논문은 MOPD 설정에서 교사 모델의 최종 정책(Endpoint)을 사용할 때 발생하는 불균형한 학습 신호 문제를 해결하고자 한다. 기존의 Endpoint Supervision 방식은 교사가 학습을 통해 얻은 새로운 지식과 베이스 모델로부터 상속받은 편향을 구분하지 못하고 그대로 학생 모델에 전이한다 .#Review#Multi-Teacher On-Policy Distillation#Language Model Post-training#Logit Shift#Teacher-Relative Shifts#Composition Geometry#Target Construction2026년 10월 7일댓글 수 로딩 중
[논문리뷰] From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation본 논문은 MOPD 과정에서 교사 모델의 신호가 학생 모델의 파라미터 업데이트로 변환되는 메커니즘을 규명하고, 왜 기존의 정교한 기법들이 항상 성능 향상으로 이어지지 않는지 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Language Model#Gradient Alignment#Adam Optimizer#BF16 Rounding#Capability Integration#Task Performance2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation본 논문은 멀티 도메인 전문가 모델들을 하나의 범용 모델로 통합하는 M-OPD가 실제로는 성능 저하와 불균형을 겪는다는 사실을 규명하고 이를 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Capability Integration Gap#Token-Share Balancing#Gap-Following Allocation#Reward Refresh#Reinforcement Learning2026년 8월 26일댓글 수 로딩 중
[논문리뷰] Diagnosing and Calibrating Tool-Call Boundary Drift in Multi-Teacher On-Policy Distillation본 논문은 Multi-Teacher On-Policy Distillation 과정에서 발생하는 Tool-Call Boundary Drift 문제를 해결하고자 합니다.#Review#Multi-Teacher On-Policy Distillation#Tool-Call Boundary Drift#Soft Clamp#Behavior Leverage#Generalized Knowledge Distillation2026년 7월 20일댓글 수 로딩 중
[논문리뷰] UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent LearningGUI agent는 단일 플랫폼을 넘어 다양한 환경(데스크탑, 모바일)으로 확장되고 있으나, 플랫폼 간 이질적인 상호작용 방식과 높은 품질의 교차 플랫폼 궤적 부족으로 인해 학습에 어려움을 겪고 있다 .#Review#GUI Agent#Multi-Teacher On-Policy Distillation#Continual Learning#Cross-Platform#Desktop/Mobile#Reinforcement Learning2026년 7월 6일댓글 수 로딩 중
[논문리뷰] MiMo-V2-Flash Technical Report본 논문은 빠른 추론 속도와 강력한 추론 및 에이전트 능력을 동시에 갖춘 효율적이고 비용 효율적인 대규모 언어 모델(LLM)인 MiMo-V2-Flash를 개발하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sliding Window Attention#Multi-Token Prediction#Multi-Teacher On-Policy Distillation#Reinforcement Learning#Long-Context Modeling#Agentic AI2026년 1월 6일댓글 수 로딩 중