[논문리뷰] D^3-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation본 논문은 기존 MOPD 방식이 고정된 도메인 데이터 혼합(Fixed Domain Mixture) 비율을 사용하여 훈련 효율성이 저하되는 문제를 해결합니다.#Review#Multi-teacher Distillation#On-policy Distillation#Domain Scheduling#Reverse-KL Divergence#Training Efficiency#Dynamic Mixture#LLM Alignment2026년 8월 26일댓글 수 로딩 중
[논문리뷰] On-policy Distillation with Verifiable Reward본 연구는 RLVR의 희소한 보상 신호와 OPD의 순수 분포적 목표 사이의 근본적인 한계를 해결하는 것을 목표로 합니다.#Review#On-policy Distillation#Verifiable Reward#Reinforcement Learning#Reasoning Tasks#ReLU Gating#GRPO2026년 8월 25일댓글 수 로딩 중
[논문리뷰] SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning본 논문은 강력한 long-context reasoning 능력을 갖춘 교사 모델로부터 단기 컨텍스트(short-context) 학생 모델로 추론 능력을 성공적으로 전수하는 것을 목표로 합니다.#Review#On-policy Distillation#Long-context Reasoning#Tokenizer-agnostic#ProofBench#Policy Alignment#KL Regularization2026년 8월 16일댓글 수 로딩 중
[논문리뷰] Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging본 논문은 이질적인 모델 패밀리 간의 on-policy distillation이 불가능하다는 문제점을 해결합니다. 기존의 distillation 방식은 Teacher와 Student가 VAE 잠재 공간, 아키텍처, 그리고 noise schedule을 공유해야 한다는 동질성(Homogeneity) 가정을 전제로 합니다 .#Review#On-policy Distillation#Flow-matching#Heterogeneous#Representation-space Bridging#Latent Generators#Knowledge Distillation#DINOv22026년 8월 4일댓글 수 로딩 중
[논문리뷰] DAPD: Dual-Anchored Policy Distillation본 논문은 OPSD 과정에서 발생하는 Privilege Illusion 문제를 해결하기 위해 고안되었습니다. 기존 연구들은 privileged information을 직접 활용하거나, 교사 신호를 선별적으로 재가중하는 방식을 취했으나, 이는 근본적인 정보 비대칭성을 해결하지 못하는 한계가 있습니다 .#Review#Policy Distillation#Language Model Post-training#Information Asymmetry#Privilege Illusion#Reasoning Models#On-policy Distillation2026년 8월 3일댓글 수 로딩 중
[논문리뷰] CAST: Game Solvers as Turn-Level Teachers for LLM Agents본 논문은 장기적 계획이 필요한 게임 환경에서 LLM Agents의 학습 효율성과 성공률을 높이기 위해 제안되었습니다. 기존의 RLVR 방식은 최종 결과물에만 보상을 부여하기 때문에, 어떤 행동이 성공을 결정지었는지 파악하기 어려운 '신용 할당(Credit Assignment)'의 한계를 갖습니다 .#Review#LLM Agents#Reinforcement Learning#Credit Assignment#Game Solvers#On-policy Distillation#RLVR#Process Supervision2026년 7월 29일댓글 수 로딩 중
[논문리뷰] OvisOCR2 Technical Report본 논문은 기존의 문서 파싱 방식인 파이프라인(Pipeline) 모델의 복잡한 배포 구조와 단계별 오류 누적 문제를 해결하고자 OvisOCR2를 제안한다. 기존의 파이프라인 방식은 레이아웃 분석, 콘텐츠 인식, 페이지 병합 등 여러 단계가 분리되어 있어 효율성이 낮고, 한 단계의 오류가 후속 단계로 전파되는 한계가 있다.#Review#End-to-End Document Parsing#Markdown Serialization#Multimodal Large Language Model#Reinforcement Learning#On-policy Distillation#OvisOCR22026년 7월 15일댓글 수 로딩 중
[논문리뷰] DOPD: Dual On-policy Distillation본 논문은 OPD 환경에서 특권 정보를 주입할 때 발생하는 Privilege Illusion 문제를 해결하고자 합니다.#Review#On-policy Distillation#Privileged Information#Privilege Illusion#Advantage-aware#Dual Distillation#Large Language Model#Vision-Language Model2026년 6월 30일댓글 수 로딩 중
[논문리뷰] AsyncOPD: How Stale Can On-Policy Distillation Be?본 논문은 LLM 사후 학습에서 OPD가 겪는 On-policy systems bottleneck 문제를 해결하기 위해 비동기식 학습 파이프라인의 도입 필요성을 제기한다. 기존의 동기식 학습은 rollout 생성이 완료될 때까지 학습기를 대기시켜 하드웨어 활용률을 저하시킨다.#Review#On-policy Distillation#Asynchronous RL#Reverse KL#Staleness#Teacher Cache#Multi-sample MC#Large Language Model2026년 6월 29일댓글 수 로딩 중
[논문리뷰] Qwen-Image-2.0-RL Technical Report본 연구는 Qwen-Image-2.0 diffusion 모델이 가진 생성 품질과 지시 이행 능력 사이의 간극을 좁히고, 복잡한 편집 태스크에서 일관된 성능을 확보하기 위해 수행되었다.#Review#RLHF#On-policy Distillation#Diffusion Models#Reward Modeling#Flow Matching#GRPO#Qwen-Image-Bench2026년 6월 28일댓글 수 로딩 중
[논문리뷰] Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation본 연구는 OPD가 일반적인 Supervised Fine-tuning(SFT)과 달리 어떤 기하학적 특성을 가지며, 왜 RLVR(Reinforcement Learning from Verifier-derived Rewards)과 유사한 sparse한 업데이트 양상을 보이는지 규명합니다.#Review#On-policy Distillation#Parameter Sparsity#Model Geometry#Subnetwork Masking#LLM Post-training#Optimizer Dynamics2026년 6월 14일댓글 수 로딩 중
[논문리뷰] Trajectory-Refined Distillation본 논문은 현대 LLM의 후행 학습에서 널리 사용되는 OPD가 구조적으로 직면한 Prefix Failure 문제를 해결하고자 합니다. 기존 연구들은 토큰 단위의 손실 함수 수정이나 특정 토큰의 가중치 조정을 통해 이 문제를 해결하려 했으나, 이는 실패한 궤적의 근본 원인을 수정하지 못하는 한계가 있었습니다 .#Review#On-policy Distillation#Prefix Failure#Trajectory-Refined Distillation#Large Language Models#Self-distillation#Policy Gradient#Alignment2026년 6월 8일댓글 수 로딩 중
[논문리뷰] On the Geometry of On-Policy Distillation본 논문은 OPD가 SFT와 RLVR의 특성을 모두 공유함에도 불구하고, 파라미터 공간에서의 구체적인 학습 동역학(training dynamics)은 제대로 규명되지 않았다는 점을 핵심 문제로 정의합니다.#Review#On-policy Distillation#Parameter-space Geometry#Subspace Locking#SFT#RLVR#Large Language Models2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Trust-Region Behavior Blending for On-Policy Distillation본 논문은 OPD 초기 단계에서 발생하는 학습 불안정성과 낮은 품질의 데이터 생성 문제를 해결하고자 합니다. 기존 OPD는 학생 모델이 학습 초기에 낮은 품질의 trajectory를 생성하면, 교사 모델의 지도(supervision)가 비효율적인 영역에 집중되는 한계가 있습니다 .#Review#On-policy Distillation#Trust Region#Knowledge Distillation#Language Model Alignment#Annealed Warmup#Behavior Policy2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation본 논문은 기존의 Selective OPD 기법들이 단순히 토큰의 불확실성(Entropy)이나 교사-학생 간의 불일치(Divergence)만을 토큰 선택 기준으로 삼는 한계를 해결하고자 합니다.#Review#On-policy Distillation#Knowledge Distillation#Token Teachability#Selective OPD#Teacher-Student Compatibility2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Less is More: Early Stopping Rollout for On-Policy Distillation본 논문은 기존 OPD 방식에서 발생하는 Off-policy Teacher Decay 문제를 해결하기 위해 제안되었습니다 .#Review#On-policy Distillation#Knowledge Distillation#Language Models#Early Stopping Rollout#Off-policy Teacher Decay#Cascading Alignment#Sub-mode Commitment2026년 5월 27일댓글 수 로딩 중
[논문리뷰] The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs본 논문은 LLM의 On-policy Distillation 과정에서 발생하는 reward extrapolation의 한계점을 해결하고자 한다.#Review#On-policy Distillation#Reward Extrapolation#Structured Output#Format Adherence#Importance Sampling#LLM2026년 5월 13일댓글 수 로딩 중
[논문리뷰] HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents본 논문은 모달리티 적응형 컴퓨팅을 위한 MoT 아키텍처와 비전-언어 연결을 강화하는 Visual Latent Tokens를 핵심 방법론으로 제안합니다 . 시각적 인지 능력 향상을 위해 HY-ViT 2.0 인코더를 탑재하고, 고품질 embodied 데이터를 활용한 반복적인 사후 학습 패러다임을 설계했습니다.#Review#Embodied Foundation Models#Mixture-of-Transformers#Visual Latent Tokens#On-policy Distillation#Chain-of-Thought#Real-world Agents2026년 4월 9일댓글 수 로딩 중
[논문리뷰] Revisiting On-Policy Distillation: Empirical Failure Modes and Simple FixesLarge Language Model (LLM)의 Post-training에 있어 On-policy Distillation (OPD)은 student-generated rollouts에 대한 teacher feedback을 활용하기 때문에 매력적이다.#Review#On-policy Distillation#LLM Post-training#Sampled-token OPD#Variance Reduction#Local Support Matching#Truncated Reverse-KL#Top-p Rollout Sampling#Special Token Masking2026년 3월 26일댓글 수 로딩 중