[논문리뷰] Latent-MOPD: Latent Multi-Teacher On-Policy Distillation본 연구는 서로 다른 분야의 전문성을 가진 여러 교사 모델들의 능력을 단일 학생 모델로 효과적으로 통합하는 핵심 기법을 제안합니다.#Review#Large Language Models#On-Policy Distillation#Multi-Teacher Distillation#Representation Alignment#Domain Routing#Supervision Scheduling2026년 10월 4일댓글 수 로딩 중
[논문리뷰] Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy DistillationLarge Language Models (LLMs)의 post-training 과정에서 reinforcement learning (RL)을 통해 수학, 코딩, instruction following (IF)과 같은 특정 기술에 특화된 specialists를 생성할 수 있지만, 사용자들은 이 모든 기술을 통합한 단일 모델을 필요로 한다.#Review#Reinforcement Learning#Multi-Teacher Distillation#On-Policy Distillation#Domain Normalization#Language Models#Capability Integration#Feedback Scaling#Log-Ratio Spread2026년 9월 28일댓글 수 로딩 중
[논문리뷰] CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation본 논문은 기존의 Customized Image Generation 분야에서 다수의 효과를 적용할 때 발생하는 스토리지 오버헤드, 라우팅 지연, 그리고 모듈 간 매개변수 간섭 문제를 해결하고자 합니다.#Review#CollectionLoRA#Multi-Teacher Distillation#On-Policy Distillation#Diffusion Models#Few-step Generation#Concept Isolation2026년 5월 28일댓글 수 로딩 중