본문으로 건너뛰기

#On-Policy Distillation

71개의 포스트

[논문리뷰] Waypoint-OPD: Transferring RL-Induced Policy Shifts via Gated On-Policy Distillation

Reinforcement Learning (RL)은 인간 선호도 또는 검증 가능한 보상(verifiable rewards)을 사용하여 언어 모델의 지시 따르기(instruction following) 및 수학/코드 추론(mathematical and code reasoning) 능력을 향상시킬 수 있습니다.
#Review#On-Policy Distillation#Reinforcement Learning#Policy Shift#Knowledge Distillation#Waypoint Checkpoint#Gating Mechanism#Mathematical Reasoning#Code Reasoning
댓글 수 로딩 중

[논문리뷰] Cowork-Gym: Synthesizing Interactive Work Environments at Scale

Cowork 에이전트의 개발을 위한 환경 확장은 태스크 목표, 실행 가능한 리소스, 사용자 행동, 성공 기준 간의 일관성을 유지하기 어렵다는 핵심 문제에 직면한다.
#Review#Cowork Agents#Environment Synthesis#Stateful User Simulator#Agentic Post-Training#Large Language Models#Reinforcement Learning#Supervised Fine-Tuning#On-Policy Distillation
댓글 수 로딩 중

[논문리뷰] Branching On-Policy Distillation

기존 On-Policy Distillation (OPD) 방식은 학생이 생성한 trajectory에 대해 교사 supervision을 제공하지만, 단일 trajectory는 각 decision에서 오직 하나의 continuation만을 실현하여, 유한한 sampling budget 내에서 supervision coverage를 제한한다.
#Review#On-Policy Distillation#Large Language Models#Reinforcement Learning#Behavior Coverage#Shared-Prefix Sampling#Protocol-Boundary Repair#Distillation#Agent Tasks
댓글 수 로딩 중

[논문리뷰] Rethinking Relative Policy Differences Transfer of On-Policy Distillation

본 논문은 기존 OPD가 티처 모델의 절대적인 성능 우위에 지나치게 의존하여, 티처와 학생 모델의 역량 격차가 작을 경우 성능 향상이 제한되거나 오히려 역효과가 발생한다는 문제를 해결하고자 한다.
#Review#On-Policy Distillation#Relative Policy Transfer#Implicit Reward#Policy Optimization#Language Model Post-training
댓글 수 로딩 중

[논문리뷰] Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

본 논문은 서로 다른 토크나이저를 사용하는 LLM 간의 Cross-Tokenizer On-Policy Distillation에서 정렬 범위(Alignment Coverage)를 확장하는 것이 반드시 모델 성능 향상으로 이어지는지 의문을 제기한다.
#Review#On-Policy Distillation#Cross-Tokenizer Distillation#Supervision Reliability#Strict Alignment#Language Model Training
댓글 수 로딩 중

[논문리뷰] DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation

본 논문은 OPD와 RLVR 방식이 각각 가지는 상호보완적인 한계를 해결하고자 한다. 기존의 OPD는 dense한 토큰 단위의 지도를 제공하지만, 결과의 정확성과 관계없이 학습하는 outcome-agnostic한 특성이 있어 정답 여부와 무관한 토큰 업데이트를 수행할 위험이 있다 .
#Review#On-Policy Distillation#Reinforcement Learning#Language Models#Teacher Guidance#Difficulty Gating#Policy Optimization#Code Generation#Mathematical Reasoning
댓글 수 로딩 중

[논문리뷰] SAKI: Maximal-Coupling-Routed Teacher Supervision for On-Policy Distillation

본 연구는 OPD에서 발생하는 학습 효율성 저하 문제를 해결하기 위해 고안되었습니다. 기존 OPD는 학생 모델이 교사 모델보다 약할 경우, 초기 롤아웃 단계에서 교사 모델이 생성하지 않을 법한 저확률 상태로 빠져들어 지도의 질이 떨어지는 한계를 가집니다 .
#Review#On-Policy Distillation#Maximal Coupling#Teacher-Guided Rollout#Knowledge Distillation#Speculative Verification#Trust-Region
댓글 수 로딩 중

[논문리뷰] Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation

Large Language Models (LLMs)의 post-training 과정에서 reinforcement learning (RL)을 통해 수학, 코딩, instruction following (IF)과 같은 특정 기술에 특화된 specialists를 생성할 수 있지만, 사용자들은 이 모든 기술을 통합한 단일 모델을 필요로 한다.
#Review#Reinforcement Learning#Multi-Teacher Distillation#On-Policy Distillation#Domain Normalization#Language Models#Capability Integration#Feedback Scaling#Log-Ratio Spread
댓글 수 로딩 중

[논문리뷰] An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning

본 논문은 기존 OPD 방식이 갖는 낮은 샘플 효율성과 탐색 제한 문제를 해결하는 것을 목표로 합니다. 기존의 PPO 기반 OPD 구현은 매번 새로운 롤아웃(rollout)을 생성해야 하는 온-정책(on-policy) 특성으로 인해 학습 시간이 길고 데이터 재사용이 불가능하다는 한계가 있습니다.
#Review#Large Language Models#On-Policy Distillation#Reinforcement Learning#Least-Square Policy Distillation#Off-policy Learning#KL-regularization#Sample Efficiency
댓글 수 로딩 중

[논문리뷰] 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation

본 논문은 Sparse OPD에서 발생하는 기울기 추정의 신뢰성 문제를 해결하고자 합니다. 기존의 On-Policy Distillation(OPD) 방법론들은 학생 모델이 생성한 궤적의 모든 토큰에 대해 교사 감독을 적용하거나, 토큰의 '유용성(usefulness)'에 기반하여 중요한 토큰을 선별했습니다.
#Review#On-Policy Distillation#Gradient Estimation#Information Geometry#Signal-to-Noise Ratio#Token Selection#Large Language Models#Sparse Supervision
댓글 수 로딩 중

[논문리뷰] SenseNova-U1.5: Towards Native Unified Visual Intelligence

본 논문은 기존의 복합적 비전 생성 시스템이 가진 아키텍처 분리 문제를 해결하고자 합니다. 대부분의 모델은 Vision Encoder와 VAE를 각각 사용하여 인지 영역과 생성 영역을 분리하는데, 이는 정보의 왜곡과 효율성 저하를 초래합니다.
#Review#Native Unified Multimodal Model#Encoder-free#VAE-free#Flow Matching#On-Policy Distillation#Mixture-of-Transformers#Spatial Reconstruction
댓글 수 로딩 중

[논문리뷰] Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation

본 논문은 Sampled-Token OPD가 효율적임에도 불구하고 pass@kk 성능이 정체되는 Diversity Distillation Failure 문제를 해결합니다. 기존 방법론들은 무분별하게 엔트로피를 높이거나, 비용이 높은 Forward-KL을 사용하여 효율성을 저해하는 한계가 있습니다.
#Review#On-Policy Distillation#Sampled-Token OPD#Diversity Bottleneck#Entropy Influence#First-Order Analysis#Divergence-Adaptive Shrinkage
댓글 수 로딩 중

[논문리뷰] Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement

본 논문은 On-Policy Distillation (OPD)의 Teacher Supervision 신호가 off-policy context에서 본질적으로 noisy하며, 이러한 노이즈가 학생 모델의 성능 향상에 미치는 영향이 불분명하다는 문제를 제기한다.
#Review#On-Policy Distillation#Self-Adaptation#Reinforcement Learning#LLM#Token-level Supervision#Entropy-adaptive Advantages#Mathematical Reasoning
댓글 수 로딩 중

[논문리뷰] Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report

본 연구는 라이브 커머스 환경에서 실시간 대응이 필요한 디지털 아바타 에이전트가 고정된 Harness에 과적합되어 Harness 변화 시 성능이 급격히 저하되는 문제를 해결하고자 합니다.
#Review#Harness-Aware Training#Digital Avatar#Harness Evolution#Surface-form Overfitting#On-Policy Distillation#Agentic RL
댓글 수 로딩 중

[논문리뷰] Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation

본 논문은 multilingual machine translation에서 고품질의 병렬 데이터(parallel data)가 부족하다는 한계를 극복하기 위해 Reference-Free 포스트 트레이닝 방식을 제안합니다.
#Review#Multilingual Machine Translation#Reference-Free#Post-Training#GRPO#Checkpoint Interpolation#On-Policy Distillation#Large Language Models
댓글 수 로딩 중

[논문리뷰] SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation

본 논문은 기존 OPD가 교사 모델의 불확실한 토큰에 대해 Reverse-KL 손실 함수를 사용함으로써, 교사가 제시하는 다양한 합리적 대안들을 충분히 포괄하지 못하는 문제(mode-seeking behavior)를 해결하고자 합니다.
#Review#On-Policy Distillation#Language Model#Uncertainty-Aware#Sparse Probing#Outcome Calibration#Reasoning Benchmarks#Knowledge Distillation
댓글 수 로딩 중

[논문리뷰] On-Policy Delta Distillation for Multilingual Math Reasoning

본 논문은 LLM의 수학적 추론 능력을 향상시키기 위한 On-Policy Distillation 기법을 다국어(한국어, 일본어 등) 환경으로 확장하는 것을 목표로 합니다. 기존 연구들은 주로 영어 중심의 추론 벤치마크에 집중되어 있어, 비영어권 언어에서의 OPD 및 OPD^2^ 성능 검증이 미흡한 실정입니다.
#Review#On-Policy Distillation#OPD^2^#Multilingual Math Reasoning#LLM Post-training#Reasoning Transfer#English-Korean Performance Gap
댓글 수 로딩 중

[논문리뷰] When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation

본 논문은 OPD에서 교사 모델이 내리는 토큰 단위의 판단이 항상 신뢰할 수 있는 것은 아니라는 점을 지적합니다. 기존 연구들은 교사의 신호가 자신감이 높거나 학습 가능하면 유용하다고 가정하지만, 실제로는 입력과 무관한 관례나 편향된 추론 패턴이 포함된 'Spurious Signals'가 학습을 오염시킵니다 .
#Review#On-Policy Distillation#Spurious Signals#Input-Groundedness#Token-level Selection#Large Language Models#Vision-Language Models
댓글 수 로딩 중

[논문리뷰] Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance

LLM의 추론 능력 향상을 위한 RLVR(Reinforcement Learning with Verifiable Rewards) 방법 중 GRPO (Group Relative Policy Optimization)는 단순하고 안정적이지만, 희소한 보상 신호(sparse reward signals)와 Negative Zero-Variance Prompts에서 그래디언트 소실(vanishing gradients) 문제를 겪습니다.
#Review#Reinforcement Learning#On-Policy Distillation#Large Language Models#GRPO#Knowledge Distillation#Adaptive Teacher Guidance#Zero-Variance Prompts#Supervised Fine-Tuning
댓글 수 로딩 중

[논문리뷰] SAF-OPD: Stable Advantage Fusion for On-Policy Distillation

본 논문은 RLVR과 OPD를 결합할 때 발생하는 고정 계수 통합 방식의 한계를 해결하고자 합니다. 기존 방식은 GRPO의 안정적인 보상과 OPD의 조밀한 피드백을 단순히 더하지만, 실제로는 두 보상의 크기와 시간적 가중치가 서로 달라 학습 과정에서 Entropy Collapse와 같은 심각한 불안정성을 유발합니다 .
#Review#Reinforcement Learning#On-Policy Distillation#Advantage Fusion#Large Language Models#GRPO#Training Dynamics#Entropy Collapse
댓글 수 로딩 중

[논문리뷰] Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

기존의 CFG 기반 OPD는 긍정/부정 브랜치를 각각 학습시키지 않고, 이들의 합산된 결과물(composed velocity)만을 일치시키려 한다 . 이러한 방식은 긍정 브랜치 에러와 부정 브랜치 에러가 서로 상쇄(cancel)될 여지를 주어, 모델이 근본적인 에러를 해결하지 못하게 한다 .
#Review#Diffusion Models#On-Policy Distillation#Classifier-Free Guidance#Branch-Aware OPD#Video Control#Negative Branch Asymmetry#Knowledge Transfer
댓글 수 로딩 중

[논문리뷰] Multi-Turn On-Policy Distillation with Prefix Replay

본 논문은 에이전트 기반 학습(Agentic Tasks)에서 Multi-Turn On-Policy Distillation (OPD)이 겪는 높은 비용과 효율성 문제를 해결하고자 합니다. 기존 OPD는 매 업데이트마다 학생 모델이 환경과 상호작용하고 교사 모델을 조회해야 하므로, 환경 배포 및 추론 비용이 매우 높습니다 .
#Review#On-Policy Distillation#Knowledge Distillation#Multi-Turn#Agentic Tasks#Prefix Replay#Distribution Shift
댓글 수 로딩 중

[논문리뷰] Distilled Reinforcement Learning for LLM Post-training

본 논문은 기존 RL과 OPD가 가진 한계를 해결하기 위해 Distilled RL을 제안합니다. RL은 결과 중심의 coarse-grained 보상을 사용하여 credit assignment 문제를 겪으며 새로운 지식 습득에 한계가 있습니다.
#Review#LLM Post-training#Reinforcement Learning#Knowledge Distillation#On-Policy Distillation#Credit Assignment#Policy Gradient#Cross-family Distillation
댓글 수 로딩 중

[논문리뷰] Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

본 논문은 최신 LLM post-training의 표준이 된 OPD의 학습 동역학이 여전히 불투명하다는 점을 지적한다. OPD는 때때로 성능 향상을 이끌지만, 많은 경우 불안정성을 보이거나 탐색 붕괴를 초래하며 심지어 outcome-based RL보다 성능이 저하되기도 한다 .
#Review#On-Policy Distillation#LLM Post-training#Reinforcement Learning#Exploration Catalyst#Pathology#Signal Regulation
댓글 수 로딩 중

[논문리뷰] ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation

본 논문은 구조적 프루닝(Structured Pruning)이 적용된 LLM이 객관식 벤치마크에서는 성능을 유지하지만, 실제 배포 시 요구되는 자유 형식 생성(Free-form generation)에서는 심각하게 붕괴하는 현상을 해결하고자 합니다.
#Review#Structured Pruning#On-Policy Distillation#LLM Compression#Model Recovery#Repetition Control#Token-level Supervision
댓글 수 로딩 중

[논문리뷰] Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

본 논문은 에이전트 모델의 성능을 향상시키기 위한 기존의 파라미터 스케일링 전략이 갖는 높은 비용과 재현성 문제를 해결하기 위해 에이전트 호라이즌(Horizon) 확장을 제안합니다 .
#Review#Agents-A1#Long-Horizon#Knowledge-Action Graph#Mixture-of-Experts#On-Policy Distillation#Salient Vocabulary Alignment
댓글 수 로딩 중

[논문리뷰] OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

본 논문은 에이전트 강화학습에서 outcome-based RL의 희소하고 지연된 보상이 중간 의사결정에 대한 세밀한 신용 할당(credit assignment)을 제공하지 못하는 문제를 해결합니다 .
#Review#Agentic Reinforcement Learning#On-Policy Distillation#Skill Extraction#Hindsight Supervision#Hierarchical Skills#Self-Distillation#Token-level Advantage
댓글 수 로딩 중

[논문리뷰] DanceOPD: On-Policy Generative Field Distillation

본 연구는 단일 모델이 T2I, 로컬/글로벌 에디팅 등 서로 충돌할 수 있는 다양한 생성 능력을 통합하면서도 각각의 성능을 유지해야 하는 문제를 해결하고자 합니다. 기존의 데이터 혼합(data mixing)이나 모델 결합 방식은 capability 간의 gradient 충돌을 야기하거나 성능을 희석시키는 한계를 가집니다.
#Review#Generative Field Distillation#Flow Matching#On-Policy Distillation#Capability Composition#Hard-Routed Field Matching#Multi-Capability Alignment
댓글 수 로딩 중

[논문리뷰] OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation

본 연구는 기존 메모리 증강 에이전트들이 단기적인 경험 저장이나 활용에는 능숙하지만, 상호작용 기록과 피드백을 지속적인 행동 개선으로 전환하는 '진정한 의미의 자가 진화(self-evolution)' 역량이 부족하다는 문제의식에서 출발합니다.
#Review#Agent Evolver#On-Policy Distillation#Experience Lifecycle#Memory Augmentation#Slow-Fast Co-evolution#Agentic Foundation Models
댓글 수 로딩 중

[논문리뷰] OPRD: On-Policy Representation Distillation

본 논문은 Large Language Models (LLMs)의 Post-training에 필수적인 On-Policy Distillation (OPD) 방식의 본질적인 두 가지 한계점을 지적하며, 이를 해결하기 위한 새로운 접근 방식인 OPRD (On-Policy Representation Distillation)를 제안합니다.
#Review#On-Policy Distillation#Representation Distillation#Large Language Models#Knowledge Distillation#Hidden States#Mathematical Reasoning#Variance Reduction
댓글 수 로딩 중

[논문리뷰] Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation

본 논문은 기존 OPD가 가진 불균일한 학습 가치 문제를 해결하기 위해 최적화 Granularity를 재설계하고자 합니다. 기존 연구들은 단순히 전체 trajectory를 사용하거나, 개별 토큰을 선별하는 Hard selection 방식에 의존하여 정보 손실과 최적화의 불안정성을 초래했습니다 .
#Review#On-Policy Distillation#Knowledge Distillation#Optimization Granularity#Trajectory Filtering#Token Reweighting#Large Language Models
댓글 수 로딩 중

[논문리뷰] CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation

본 논문은 기존의 Customized Image Generation 분야에서 다수의 효과를 적용할 때 발생하는 스토리지 오버헤드, 라우팅 지연, 그리고 모듈 간 매개변수 간섭 문제를 해결하고자 합니다.
#Review#CollectionLoRA#Multi-Teacher Distillation#On-Policy Distillation#Diffusion Models#Few-step Generation#Concept Isolation
댓글 수 로딩 중

[논문리뷰] GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation

본 논문은 오픈 엔드 이미지 생성이 단순한 텍스트 프롬프트 기반의 task를 넘어, 모델의 내부 지식과 외부 리소스를 효과적으로 결합해야 하는 복잡한 에이전트 과정임을 강조합니다.
#Review#Image Generation#Agentic Workflow#Self-Evolving#Visual Experience Distillation#Tool-Orchestrated#On-Policy Distillation#Multimodal Agent
댓글 수 로딩 중

[논문리뷰] AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation

본 논문은 기존 consistency distillation 기반 모델들이 고정된 NFE budgets에 종속되어 sampling step이 증가할 때 오히려 성능이 저하되는 구조적 한계를 해결하기 위해 AnyFlow를 제안한다.
#Review#Video Diffusion Models#Flow Map#Any-Step Distillation#On-Policy Distillation#Test-Time Scaling#Backward Simulation#Causal Video Generation
댓글 수 로딩 중

[논문리뷰] Healthcare AI GYM for Medical Agents

본 논문은 의료 AI 에이전트가 복잡한 다단계 임상 추론 환경에서 안정적인 툴 사용 정책을 학습하는 데 한계가 있다는 문제를 해결하고자 합니다. 기존의 단일 턴(single-turn) 기반 의료 QA 연구들은 실제 임상 환경의 핵심인 다단계 상호작용과 툴 활용 능력을 충분히 반영하지 못합니다.
#Review#Medical AI Agents#Reinforcement Learning#On-Policy Distillation#Clinical Reasoning#Multi-turn Interaction#Healthcare AI GYM
댓글 수 로딩 중

[논문리뷰] Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL

본 논문은 LMM의 표준 post-training 파이프라인인 SFT→RLVR에서 발생하는 distributional drift 문제를 해결하고자 한다. 기존의 SFT는 토큰 수준의 uniform objective에 의존하여 모델이 피상적인 패턴만을 학습하게 만들며, 이는 모델의 본래 성능을 왜곡하는 결과를 초래한다.
#Review#Multimodal LLM#Reinforcement Learning#On-Policy Distillation#Distributional Drift#Mixture-of-Experts (MoE)#Adversarial Alignment
댓글 수 로딩 중

[논문리뷰] KAT-Coder-V2 Technical Report

Agentic Coding은 단순 코드 생성을 넘어 복잡한 리포지토리 상호작용과 도구 호출을 요구하며, 이는 단일 학습 파이프라인으로는 최적화하기 어려운 복합적인 도메인들을 포함합니다. 기존 연구들은 환경 인프라가 에이전트 스캐폴드와 강하게 결합되어 있어 새로운 데이터셋이나 스캐폴드 통합이 비효율적이라는 한계가 있습니다.
#Review#Agentic Coding#Specialize-then-Unify#KwaiEnv#Reinforcement Learning#On-Policy Distillation#Tree Training
댓글 수 로딩 중

[논문리뷰] Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

본 논문은 온-폴리시 증류(OPD)의 기계론적 이해 부족 과 잠재력 미활용 문제를 해결하는 것을 목표로 합니다. 표준 OPD를 일반화된 프레임워크로 확장하여 학생 모델이 교사 모델의 성능 경계를 넘어설 수 있도록 하고, 보상 스케일링 인자(λ)와 유연한 참조 모델의 영향을 체계적으로 탐구합니다.
#Review#On-Policy Distillation#Reward Extrapolation#Large Language Models (LLMs)#Knowledge Distillation#Reinforcement Learning#Math Reasoning#Code Generation#Multi-teacher Distillation
댓글 수 로딩 중

[논문리뷰] Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models

본 연구는 제한된 자원과 엄격한 투명성 제약이 있는 환경에서, 지역 또는 국가 기관이 모델 가중치, 훈련 데이터, 배포에 대한 통제력을 유지할 수 있도록 하는 소버린 대규모 언어 모델(LLM) 의 최소한의 공개 포스트 트레이닝 레시피 를 개발하는 것을 목표로 합니다.
#Review#Sovereign LLMs#Post-Training#Instruction Tuning#Supervised Fine-tuning#On-Policy Distillation#Reinforcement Learning#Knowledge Injection#Thai Language
댓글 수 로딩 중