[논문리뷰] Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models본 논문은 서로 다른 아키텍처를 가진 교사 모델들의 보완적인 강점을 단일 소형 모델로 통합하는 Multi-capability Consolidation 문제를 해결한다.#Review#On-Policy Distillation#Flow Matching#Multi-Teacher#Capability-Selectable#Gradient Compatibility#Heterogeneous Models2026년 8월 5일댓글 수 로딩 중
[논문리뷰] AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition본 논문은 실시간 On-device Speech Emotion Recognition(SER)을 위한 효율적인 경량화 모델 학습의 어려움을 해결하고자 합니다. 기존의 대규모 SSL 모델은 성능은 우수하지만 파라미터 규모가 커서 엣지 디바이스에 배포하기에는 실용적이지 않습니다.#Review#Speech Emotion Recognition#Knowledge Distillation#Multi-Teacher#Relational Distillation#Edge Computing#Adaptive Weighting2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding본 논문은 대규모 Long-CoT 모델의 높은 추론 비용을 해결하기 위한 효율적인 reasoning distillation 프레임워크를 제안합니다.#Review#Reasoning Distillation#Collaborative Decoding#Long-CoT#Predictive Perplexity#Multi-Teacher#Beam Search#Step-wise Synthesis2026년 5월 17일댓글 수 로딩 중