[논문리뷰] PRISM: PRIvileged Sibling-guided Multi-Agent Topology Design본 논문은 LLM 기반 Multi-Agent System의 성능을 결정짓는 최적의 Collaboration Topology 설계 문제를 다룹니다.#Review#Multi-Agent Systems#Topology Design#On-policy Distillation#Privileged Information#Large Language Models#LLM2026년 10월 18일댓글 수 로딩 중
[논문리뷰] Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps본 논문은 LLM 기반 에이전트가 long-horizon task를 수행할 때 발생하는 overconfident failure 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Self-Calibration#Prediction-Reality Gap#Agentic RL#Miscalibration#Overconfidence#On-policy Distillation2026년 10월 12일댓글 수 로딩 중
[논문리뷰] On-Policy Distillation with Negative-Policy Rollouts본 논문은 기존 OPD가 오직 교사 모델의 긍정적인 안내에만 의존하여, 교사와 학생 간의 분포 중첩(distributional overlap)이 제한적일 경우 학습 신호가 부족하다는 문제를 해결하고자 합니다.#Review#On-policy Distillation#Negative-Policy Rollouts#Language Models#Post-training#Knowledge Distillation#Reasoning Benchmarks2026년 10월 7일댓글 수 로딩 중
[논문리뷰] Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective본 논문은 OPD가 널리 사용됨에도 불구하고, 모델의 성능 향상과 동시에 발생하는 과도한 생성 길이 및 반복적 출력과 같은 'collapse' 현상의 원인을 규명하고자 합니다.#Review#On-policy Distillation#Reinforcement Learning#Reward Hacking#Policy Gradient#Language Model Post-training#Sampling Efficiency#Implicit Reward2026년 10월 7일댓글 수 로딩 중
[논문리뷰] OPD Before RL: Warm-Starting Rubric-Based RL with On-Policy Distillation본 논문은 복잡한 도메인에서 루브릭 기반 강화학습 시 발생하는 피드백 희소성(feedback sparsity)과 보상 해킹(reward hacking) 문제를 해결하기 위해 RP-OPD + Rubric-RL 프레임워크를 제안합니다.#Review#Reinforcement Learning#On-policy Distillation#Rubric-based Evaluation#Warm-starting#Language Models#Reward Hacking#Model Plasticity2026년 10월 6일댓글 수 로딩 중
[논문리뷰] PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents본 논문은 멀티 턴 에이전트의 학습 과정에서 발생하는 오류 누적(Error Accumulation) 문제를 해결하고, 특히 치명적인 실수 이후의 회복 능력을 개선하고자 합니다 .#Review#Multi-turn Agents#On-policy Distillation#Pivotal Mistake#Recovery Distillation#Language Agents#Reinforcement Learning2026년 9월 30일댓글 수 로딩 중
[논문리뷰] DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation본 논문은 기존의 OPD가 교사와 학생 간의 정답 여부 차이를 고려하지 않아 발생하는 비효율성 문제를 해결하고자 합니다. 기존 방식은 교사와 학생의 성공 여부에 관계없이 일률적인 피드백을 제공하므로, 학생이 이미 맞힌 응답까지 억제하거나 실패한 응답을 강화하는 등의 오류를 범합니다.#Review#On-policy Distillation#Multi-task Learning#Joint Outcomes#Softplus#Feedback Calibration2026년 9월 30일댓글 수 로딩 중
[논문리뷰] ROSS: Relearning from Self-Generated Rollouts through Selective Supervision본 논문은 LLM 학습 과정에서 발생하는 수많은 자가 생성 Rollouts가 정책(Policy)이 발전함에 따라 '낡은 것(stale)'으로 간주되어 버려지는 문제를 해결하고자 합니다.#Review#Large Language Models#Reinforcement Learning#On-policy Distillation#Selective Supervision#Trajectory Reuse#Offline SFT#Agentic RL2026년 9월 29일댓글 수 로딩 중
[논문리뷰] RISE: Recursive Improvement via Self-Extrapolating Policy Distillation본 논문은 기존의 RLVR 및 OPD 방식이 겪는 근본적인 한계를 해결하고자 합니다. RLVR은 outcome reward만을 제공하여 token-level의 정교한 학습 신호가 부족하며, OPD는 적절한 teacher 모델의 부재로 인해 distribution mismatch 문제를 겪습니다 .#Review#On-policy Distillation#Policy Gradient#Recursive Improvement#Task Arithmetic#Reinforcement Learning with Verifiable Rewards2026년 9월 6일댓글 수 로딩 중
[논문리뷰] D^3-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation본 논문은 기존 MOPD 방식이 고정된 도메인 데이터 혼합(Fixed Domain Mixture) 비율을 사용하여 훈련 효율성이 저하되는 문제를 해결합니다.#Review#Multi-teacher Distillation#On-policy Distillation#Domain Scheduling#Reverse-KL Divergence#Training Efficiency#Dynamic Mixture#LLM Alignment2026년 8월 26일댓글 수 로딩 중
[논문리뷰] On-policy Distillation with Verifiable Reward본 연구는 RLVR의 희소한 보상 신호와 OPD의 순수 분포적 목표 사이의 근본적인 한계를 해결하는 것을 목표로 합니다.#Review#On-policy Distillation#Verifiable Reward#Reinforcement Learning#Reasoning Tasks#ReLU Gating#GRPO2026년 8월 25일댓글 수 로딩 중
[논문리뷰] SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning본 논문은 강력한 long-context reasoning 능력을 갖춘 교사 모델로부터 단기 컨텍스트(short-context) 학생 모델로 추론 능력을 성공적으로 전수하는 것을 목표로 합니다.#Review#On-policy Distillation#Long-context Reasoning#Tokenizer-agnostic#ProofBench#Policy Alignment#KL Regularization2026년 8월 16일댓글 수 로딩 중
[논문리뷰] Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging본 논문은 이질적인 모델 패밀리 간의 on-policy distillation이 불가능하다는 문제점을 해결합니다. 기존의 distillation 방식은 Teacher와 Student가 VAE 잠재 공간, 아키텍처, 그리고 noise schedule을 공유해야 한다는 동질성(Homogeneity) 가정을 전제로 합니다 .#Review#On-policy Distillation#Flow-matching#Heterogeneous#Representation-space Bridging#Latent Generators#Knowledge Distillation#DINOv22026년 8월 4일댓글 수 로딩 중
[논문리뷰] DAPD: Dual-Anchored Policy Distillation본 논문은 OPSD 과정에서 발생하는 Privilege Illusion 문제를 해결하기 위해 고안되었습니다. 기존 연구들은 privileged information을 직접 활용하거나, 교사 신호를 선별적으로 재가중하는 방식을 취했으나, 이는 근본적인 정보 비대칭성을 해결하지 못하는 한계가 있습니다 .#Review#Policy Distillation#Language Model Post-training#Information Asymmetry#Privilege Illusion#Reasoning Models#On-policy Distillation2026년 8월 3일댓글 수 로딩 중
[논문리뷰] CAST: Game Solvers as Turn-Level Teachers for LLM Agents본 논문은 장기적 계획이 필요한 게임 환경에서 LLM Agents의 학습 효율성과 성공률을 높이기 위해 제안되었습니다. 기존의 RLVR 방식은 최종 결과물에만 보상을 부여하기 때문에, 어떤 행동이 성공을 결정지었는지 파악하기 어려운 '신용 할당(Credit Assignment)'의 한계를 갖습니다 .#Review#LLM Agents#Reinforcement Learning#Credit Assignment#Game Solvers#On-policy Distillation#RLVR#Process Supervision2026년 7월 29일댓글 수 로딩 중
[논문리뷰] OvisOCR2 Technical Report본 논문은 기존의 문서 파싱 방식인 파이프라인(Pipeline) 모델의 복잡한 배포 구조와 단계별 오류 누적 문제를 해결하고자 OvisOCR2를 제안한다. 기존의 파이프라인 방식은 레이아웃 분석, 콘텐츠 인식, 페이지 병합 등 여러 단계가 분리되어 있어 효율성이 낮고, 한 단계의 오류가 후속 단계로 전파되는 한계가 있다.#Review#End-to-End Document Parsing#Markdown Serialization#Multimodal Large Language Model#Reinforcement Learning#On-policy Distillation#OvisOCR22026년 7월 15일댓글 수 로딩 중
[논문리뷰] DOPD: Dual On-policy Distillation본 논문은 OPD 환경에서 특권 정보를 주입할 때 발생하는 Privilege Illusion 문제를 해결하고자 합니다.#Review#On-policy Distillation#Privileged Information#Privilege Illusion#Advantage-aware#Dual Distillation#Large Language Model#Vision-Language Model2026년 6월 30일댓글 수 로딩 중
[논문리뷰] AsyncOPD: How Stale Can On-Policy Distillation Be?본 논문은 LLM 사후 학습에서 OPD가 겪는 On-policy systems bottleneck 문제를 해결하기 위해 비동기식 학습 파이프라인의 도입 필요성을 제기한다. 기존의 동기식 학습은 rollout 생성이 완료될 때까지 학습기를 대기시켜 하드웨어 활용률을 저하시킨다.#Review#On-policy Distillation#Asynchronous RL#Reverse KL#Staleness#Teacher Cache#Multi-sample MC#Large Language Model2026년 6월 29일댓글 수 로딩 중
[논문리뷰] Qwen-Image-2.0-RL Technical Report본 연구는 Qwen-Image-2.0 diffusion 모델이 가진 생성 품질과 지시 이행 능력 사이의 간극을 좁히고, 복잡한 편집 태스크에서 일관된 성능을 확보하기 위해 수행되었다.#Review#RLHF#On-policy Distillation#Diffusion Models#Reward Modeling#Flow Matching#GRPO#Qwen-Image-Bench2026년 6월 28일댓글 수 로딩 중
[논문리뷰] Dense Supervision, Sparse Updates: On the Sparsity and Geometry of On-Policy Distillation본 연구는 OPD가 일반적인 Supervised Fine-tuning(SFT)과 달리 어떤 기하학적 특성을 가지며, 왜 RLVR(Reinforcement Learning from Verifier-derived Rewards)과 유사한 sparse한 업데이트 양상을 보이는지 규명합니다.#Review#On-policy Distillation#Parameter Sparsity#Model Geometry#Subnetwork Masking#LLM Post-training#Optimizer Dynamics2026년 6월 14일댓글 수 로딩 중
[논문리뷰] Trajectory-Refined Distillation본 논문은 현대 LLM의 후행 학습에서 널리 사용되는 OPD가 구조적으로 직면한 Prefix Failure 문제를 해결하고자 합니다. 기존 연구들은 토큰 단위의 손실 함수 수정이나 특정 토큰의 가중치 조정을 통해 이 문제를 해결하려 했으나, 이는 실패한 궤적의 근본 원인을 수정하지 못하는 한계가 있었습니다 .#Review#On-policy Distillation#Prefix Failure#Trajectory-Refined Distillation#Large Language Models#Self-distillation#Policy Gradient#Alignment2026년 6월 8일댓글 수 로딩 중
[논문리뷰] On the Geometry of On-Policy Distillation본 논문은 OPD가 SFT와 RLVR의 특성을 모두 공유함에도 불구하고, 파라미터 공간에서의 구체적인 학습 동역학(training dynamics)은 제대로 규명되지 않았다는 점을 핵심 문제로 정의합니다.#Review#On-policy Distillation#Parameter-space Geometry#Subspace Locking#SFT#RLVR#Large Language Models2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Trust-Region Behavior Blending for On-Policy Distillation본 논문은 OPD 초기 단계에서 발생하는 학습 불안정성과 낮은 품질의 데이터 생성 문제를 해결하고자 합니다. 기존 OPD는 학생 모델이 학습 초기에 낮은 품질의 trajectory를 생성하면, 교사 모델의 지도(supervision)가 비효율적인 영역에 집중되는 한계가 있습니다 .#Review#On-policy Distillation#Trust Region#Knowledge Distillation#Language Model Alignment#Annealed Warmup#Behavior Policy2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation본 논문은 기존의 Selective OPD 기법들이 단순히 토큰의 불확실성(Entropy)이나 교사-학생 간의 불일치(Divergence)만을 토큰 선택 기준으로 삼는 한계를 해결하고자 합니다.#Review#On-policy Distillation#Knowledge Distillation#Token Teachability#Selective OPD#Teacher-Student Compatibility2026년 5월 31일댓글 수 로딩 중
[논문리뷰] Less is More: Early Stopping Rollout for On-Policy Distillation본 논문은 기존 OPD 방식에서 발생하는 Off-policy Teacher Decay 문제를 해결하기 위해 제안되었습니다 .#Review#On-policy Distillation#Knowledge Distillation#Language Models#Early Stopping Rollout#Off-policy Teacher Decay#Cascading Alignment#Sub-mode Commitment2026년 5월 27일댓글 수 로딩 중
[논문리뷰] The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs본 논문은 LLM의 On-policy Distillation 과정에서 발생하는 reward extrapolation의 한계점을 해결하고자 한다.#Review#On-policy Distillation#Reward Extrapolation#Structured Output#Format Adherence#Importance Sampling#LLM2026년 5월 13일댓글 수 로딩 중
[논문리뷰] HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents본 논문은 모달리티 적응형 컴퓨팅을 위한 MoT 아키텍처와 비전-언어 연결을 강화하는 Visual Latent Tokens를 핵심 방법론으로 제안합니다 . 시각적 인지 능력 향상을 위해 HY-ViT 2.0 인코더를 탑재하고, 고품질 embodied 데이터를 활용한 반복적인 사후 학습 패러다임을 설계했습니다.#Review#Embodied Foundation Models#Mixture-of-Transformers#Visual Latent Tokens#On-policy Distillation#Chain-of-Thought#Real-world Agents2026년 4월 9일댓글 수 로딩 중
[논문리뷰] Revisiting On-Policy Distillation: Empirical Failure Modes and Simple FixesLarge Language Model (LLM)의 Post-training에 있어 On-policy Distillation (OPD)은 student-generated rollouts에 대한 teacher feedback을 활용하기 때문에 매력적이다.#Review#On-policy Distillation#LLM Post-training#Sampled-token OPD#Variance Reduction#Local Support Matching#Truncated Reverse-KL#Top-p Rollout Sampling#Special Token Masking2026년 3월 26일댓글 수 로딩 중