[논문리뷰] Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation본 논문은 Sampled-Token OPD가 효율적임에도 불구하고 pass@kk 성능이 정체되는 Diversity Distillation Failure 문제를 해결합니다. 기존 방법론들은 무분별하게 엔트로피를 높이거나, 비용이 높은 Forward-KL을 사용하여 효율성을 저해하는 한계가 있습니다.#Review#On-Policy Distillation#Sampled-Token OPD#Diversity Bottleneck#Entropy Influence#First-Order Analysis#Divergence-Adaptive Shrinkage2026년 9월 2일댓글 수 로딩 중
[논문리뷰] Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement본 논문은 On-Policy Distillation (OPD)의 Teacher Supervision 신호가 off-policy context에서 본질적으로 noisy하며, 이러한 노이즈가 학생 모델의 성능 향상에 미치는 영향이 불분명하다는 문제를 제기한다.#Review#On-Policy Distillation#Self-Adaptation#Reinforcement Learning#LLM#Token-level Supervision#Entropy-adaptive Advantages#Mathematical Reasoning2026년 8월 31일댓글 수 로딩 중
[논문리뷰] Training Agents to Evolve with Their Harness: TaoLive Digital Avatar Agent Technical Report본 연구는 라이브 커머스 환경에서 실시간 대응이 필요한 디지털 아바타 에이전트가 고정된 Harness에 과적합되어 Harness 변화 시 성능이 급격히 저하되는 문제를 해결하고자 합니다.#Review#Harness-Aware Training#Digital Avatar#Harness Evolution#Surface-form Overfitting#On-Policy Distillation#Agentic RL2026년 8월 27일댓글 수 로딩 중
[논문리뷰] Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher본 논문은 기존의 Flow Matching 모델 정렬(alignment) 방식이 가진 높은 컴퓨팅 비용과 성능 한계를 해결하기 위해 Self-OPD를 제안합니다.#Review#Flow Matching#On-Policy Distillation#Teacher-Free Alignment#Multi-Objective Optimization#Self-Exploration#Reward-Level Fusion2026년 8월 27일댓글 수 로딩 중
[논문리뷰] Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress본 논문은 기존의 OPD가 교사 모델과의 토큰 수준 일치만을 중요시하여, 실제 추론 성능 향상과는 배치되는 오해의 소지가 있는 지도 신호를 제공할 수 있다는 문제를 제기합니다.#Review#On-Policy Distillation#Reasoning Progress#Process Reward#Reward Filtering#Language Models#Knowledge Distillation2026년 8월 24일댓글 수 로딩 중
[논문리뷰] Self-Supervised Visual On-Policy Distillation본 논문은 기존의 On-Policy Distillation이 의존하던 외부의 privileged information(예: 정답, 지역 정보 등) 없이도 어떻게 효과적인 학습 신호를 구축할 수 있는지에 대한 근본적인 의문을 제기합니다.#Review#On-Policy Distillation#Self-Supervised Learning#Visual Augmentation#Teacher-Student Asymmetry#Vision-Language Models#Knowledge Distillation2026년 8월 16일댓글 수 로딩 중
[논문리뷰] Reference-Free Post-Training of Open Large Language Models for Multilingual Machine Translation본 논문은 multilingual machine translation에서 고품질의 병렬 데이터(parallel data)가 부족하다는 한계를 극복하기 위해 Reference-Free 포스트 트레이닝 방식을 제안합니다.#Review#Multilingual Machine Translation#Reference-Free#Post-Training#GRPO#Checkpoint Interpolation#On-Policy Distillation#Large Language Models2026년 8월 11일댓글 수 로딩 중
[논문리뷰] SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation본 논문은 기존 OPD가 교사 모델의 불확실한 토큰에 대해 Reverse-KL 손실 함수를 사용함으로써, 교사가 제시하는 다양한 합리적 대안들을 충분히 포괄하지 못하는 문제(mode-seeking behavior)를 해결하고자 합니다.#Review#On-Policy Distillation#Language Model#Uncertainty-Aware#Sparse Probing#Outcome Calibration#Reasoning Benchmarks#Knowledge Distillation2026년 8월 10일댓글 수 로딩 중
[논문리뷰] When Privileged Guidance Misaligns: State-Matched Routing and Contextualized Self-Distillation for Multi-Turn Agents본 논문은 멀티턴 에이전트 학습에서 Privileged On-Policy Distillation이 직면한 상태-참조 불일치 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Multi-Turn Agents#State-Reference Mismatch#Self-Distillation#State-Matched Routing#Contextualized Guidance#Embodied AI2026년 8월 9일댓글 수 로딩 중
[논문리뷰] On-Policy Delta Distillation for Multilingual Math Reasoning본 논문은 LLM의 수학적 추론 능력을 향상시키기 위한 On-Policy Distillation 기법을 다국어(한국어, 일본어 등) 환경으로 확장하는 것을 목표로 합니다. 기존 연구들은 주로 영어 중심의 추론 벤치마크에 집중되어 있어, 비영어권 언어에서의 OPD 및 OPD^2^ 성능 검증이 미흡한 실정입니다.#Review#On-Policy Distillation#OPD^2^#Multilingual Math Reasoning#LLM Post-training#Reasoning Transfer#English-Korean Performance Gap2026년 8월 6일댓글 수 로딩 중
[논문리뷰] When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation본 논문은 OPD에서 교사 모델이 내리는 토큰 단위의 판단이 항상 신뢰할 수 있는 것은 아니라는 점을 지적합니다. 기존 연구들은 교사의 신호가 자신감이 높거나 학습 가능하면 유용하다고 가정하지만, 실제로는 입력과 무관한 관례나 편향된 추론 패턴이 포함된 'Spurious Signals'가 학습을 오염시킵니다 .#Review#On-Policy Distillation#Spurious Signals#Input-Groundedness#Token-level Selection#Large Language Models#Vision-Language Models2026년 8월 5일댓글 수 로딩 중
[논문리뷰] Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models본 논문은 서로 다른 아키텍처를 가진 교사 모델들의 보완적인 강점을 단일 소형 모델로 통합하는 Multi-capability Consolidation 문제를 해결한다.#Review#On-Policy Distillation#Flow Matching#Multi-Teacher#Capability-Selectable#Gradient Compatibility#Heterogeneous Models2026년 8월 5일댓글 수 로딩 중
[논문리뷰] Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher GuidanceLLM의 추론 능력 향상을 위한 RLVR(Reinforcement Learning with Verifiable Rewards) 방법 중 GRPO (Group Relative Policy Optimization)는 단순하고 안정적이지만, 희소한 보상 신호(sparse reward signals)와 Negative Zero-Variance Prompts에서 그래디언트 소실(vanishing gradients) 문제를 겪습니다.#Review#Reinforcement Learning#On-Policy Distillation#Large Language Models#GRPO#Knowledge Distillation#Adaptive Teacher Guidance#Zero-Variance Prompts#Supervised Fine-Tuning2026년 8월 5일댓글 수 로딩 중
[논문리뷰] SAF-OPD: Stable Advantage Fusion for On-Policy Distillation본 논문은 RLVR과 OPD를 결합할 때 발생하는 고정 계수 통합 방식의 한계를 해결하고자 합니다. 기존 방식은 GRPO의 안정적인 보상과 OPD의 조밀한 피드백을 단순히 더하지만, 실제로는 두 보상의 크기와 시간적 가중치가 서로 달라 학습 과정에서 Entropy Collapse와 같은 심각한 불안정성을 유발합니다 .#Review#Reinforcement Learning#On-Policy Distillation#Advantage Fusion#Large Language Models#GRPO#Training Dynamics#Entropy Collapse2026년 8월 2일댓글 수 로딩 중
[논문리뷰] Flux-OPD: On-Policy Distillation with Evolving Contexts본 논문은 오픈 도메인(open-ended domains) 환경에서 검증 가능한 보상(verifiable rewards)이 결여되어 작업 선호도를 명시적으로 학습하기 어렵다는 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Evolving Contexts#Context Distillation#Reverse KL Decomposition#Open-Ended Domains#Task Preferences2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Pass the Baton: Trajectory-Relayed On-Policy Distillation본 논문은 OPD 과정에서 발생하는 Prefix Failure 문제를 해결하기 위해 고안되었습니다.#Review#On-Policy Distillation#Prefix Failure#Speculative Decoding#Mathematical Reasoning#Knowledge Distillation#Language Model Post-training2026년 7월 28일댓글 수 로딩 중
[논문리뷰] Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation기존의 CFG 기반 OPD는 긍정/부정 브랜치를 각각 학습시키지 않고, 이들의 합산된 결과물(composed velocity)만을 일치시키려 한다 . 이러한 방식은 긍정 브랜치 에러와 부정 브랜치 에러가 서로 상쇄(cancel)될 여지를 주어, 모델이 근본적인 에러를 해결하지 못하게 한다 .#Review#Diffusion Models#On-Policy Distillation#Classifier-Free Guidance#Branch-Aware OPD#Video Control#Negative Branch Asymmetry#Knowledge Transfer2026년 7월 27일댓글 수 로딩 중
[논문리뷰] Multi-Turn On-Policy Distillation with Prefix Replay본 논문은 에이전트 기반 학습(Agentic Tasks)에서 Multi-Turn On-Policy Distillation (OPD)이 겪는 높은 비용과 효율성 문제를 해결하고자 합니다. 기존 OPD는 매 업데이트마다 학생 모델이 환경과 상호작용하고 교사 모델을 조회해야 하므로, 환경 배포 및 추론 비용이 매우 높습니다 .#Review#On-Policy Distillation#Knowledge Distillation#Multi-Turn#Agentic Tasks#Prefix Replay#Distribution Shift2026년 7월 23일댓글 수 로딩 중
[논문리뷰] Distilled Reinforcement Learning for LLM Post-training본 논문은 기존 RL과 OPD가 가진 한계를 해결하기 위해 Distilled RL을 제안합니다. RL은 결과 중심의 coarse-grained 보상을 사용하여 credit assignment 문제를 겪으며 새로운 지식 습득에 한계가 있습니다.#Review#LLM Post-training#Reinforcement Learning#Knowledge Distillation#On-Policy Distillation#Credit Assignment#Policy Gradient#Cross-family Distillation2026년 7월 20일댓글 수 로딩 중
[논문리뷰] On-Policy Delta Distillation본 논문은 기존의 On-Policy Distillation (OPD) 방식이 교사 모델의 전체 출력 분포를 모방하는 데 그쳐, 추론 능력 향상에 필수적인 핵심 학습 궤적을 충분히 전달하지 못한다는 문제를 제기합니다 .#Review#Knowledge Distillation#On-Policy Distillation#Reasoning Capability#Delta Signal#LLM Post-training#Reinforcement Learning2026년 7월 19일댓글 수 로딩 중
[논문리뷰] SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning본 논문은 장기적(Long-horizon) agentic 작업에서 발생하는 sparse trajectory-level reward와 token-level policy learning 사이의 불일치 문제를 해결하고자 합니다.#Review#Agentic Reinforcement Learning#On-Policy Distillation#Hindsight Learning#Large Language Models#Supervised Fine-Tuning#Self-Evolving2026년 7월 16일댓글 수 로딩 중
[논문리뷰] Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations본 논문은 최신 LLM post-training의 표준이 된 OPD의 학습 동역학이 여전히 불투명하다는 점을 지적한다. OPD는 때때로 성능 향상을 이끌지만, 많은 경우 불안정성을 보이거나 탐색 붕괴를 초래하며 심지어 outcome-based RL보다 성능이 저하되기도 한다 .#Review#On-Policy Distillation#LLM Post-training#Reinforcement Learning#Exploration Catalyst#Pathology#Signal Regulation2026년 7월 16일댓글 수 로딩 중
[논문리뷰] ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation본 논문은 구조적 프루닝(Structured Pruning)이 적용된 LLM이 객관식 벤치마크에서는 성능을 유지하지만, 실제 배포 시 요구되는 자유 형식 생성(Free-form generation)에서는 심각하게 붕괴하는 현상을 해결하고자 합니다.#Review#Structured Pruning#On-Policy Distillation#LLM Compression#Model Recovery#Repetition Control#Token-level Supervision2026년 7월 15일댓글 수 로딩 중
[논문리뷰] Weak-to-Strong Generalization via Direct On-Policy Distillation본 논문은 대규모 언어 모델의 post-training 단계에서 발생하는 RLVR(Reinforcement Learning with Verifiable Rewards)의 높은 컴퓨팅 비용 문제를 해결하고자 합니다.#Review#Weak-to-Strong Generalization#Reinforcement Learning#On-Policy Distillation#Policy Shift#Implicit Reward#Post-Training#Large Language Models2026년 7월 13일댓글 수 로딩 중
[논문리뷰] Trust Region Policy Distillation본 논문은 기존 On-Policy Distillation (OPD) 방식이 가진 구조적 불안정성과 낮은 샘플 효율성 문제를 해결하기 위해 고안되었습니다.#Review#On-Policy Distillation#Trust Region#Policy Gradient#Proximal Teacher#Gradient Variance#Mathematical Reasoning#Post-training2026년 7월 12일댓글 수 로딩 중
[논문리뷰] TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training본 논문은 장기 계획 및 에이전트 환경에서 OPD가 겪는 자원 비효율성과 최적화 불균형 문제를 해결하기 위해 고안되었습니다.#Review#On-Policy Distillation#Long-Horizon Agents#Turn-Aware#Rollout-Depth Budgeting#Efficiency#Reinforcement Learning2026년 7월 7일댓글 수 로딩 중
[논문리뷰] Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent본 논문은 에이전트 모델의 성능을 향상시키기 위한 기존의 파라미터 스케일링 전략이 갖는 높은 비용과 재현성 문제를 해결하기 위해 에이전트 호라이즌(Horizon) 확장을 제안합니다 .#Review#Agents-A1#Long-Horizon#Knowledge-Action Graph#Mixture-of-Experts#On-Policy Distillation#Salient Vocabulary Alignment2026년 6월 29일댓글 수 로딩 중
[논문리뷰] OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning본 논문은 에이전트 강화학습에서 outcome-based RL의 희소하고 지연된 보상이 중간 의사결정에 대한 세밀한 신용 할당(credit assignment)을 제공하지 못하는 문제를 해결합니다 .#Review#Agentic Reinforcement Learning#On-Policy Distillation#Skill Extraction#Hindsight Supervision#Hierarchical Skills#Self-Distillation#Token-level Advantage2026년 6월 25일댓글 수 로딩 중
[논문리뷰] DanceOPD: On-Policy Generative Field Distillation본 연구는 단일 모델이 T2I, 로컬/글로벌 에디팅 등 서로 충돌할 수 있는 다양한 생성 능력을 통합하면서도 각각의 성능을 유지해야 하는 문제를 해결하고자 합니다. 기존의 데이터 혼합(data mixing)이나 모델 결합 방식은 capability 간의 gradient 충돌을 야기하거나 성능을 희석시키는 한계를 가집니다.#Review#Generative Field Distillation#Flow Matching#On-Policy Distillation#Capability Composition#Hard-Routed Field Matching#Multi-Capability Alignment2026년 6월 25일댓글 수 로딩 중
[논문리뷰] V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning본 논문은 Fine-grained visual reasoning 분야에서 요구되는 고비용의 RL 기반 탐색 및 대규모 텍스트 레이블 의존 문제를 해결하기 위해 제안되었습니다.#Review#Multimodal Large Language Models#On-Policy Distillation#Fine-Grained Visual Reasoning#Contrastive Evidence Gating#Visual Grounding2026년 6월 24일댓글 수 로딩 중
[논문리뷰] ReNIO: Reweighting Negative Trajectory Importance for LLM On-Policy Distillation본 논문은 표준 OPD 및 OPSD가 모든 SGO를 균등하게 취급하여 효율적인 학습 기회를 놓치고 있다는 점을 문제로 지적합니다.#Review#On-Policy Distillation#Language Model Post-training#Sample Reweighting#Negative Trajectory#Reasoning#Knowledge Distillation#Prefix-based Training2026년 6월 24일댓글 수 로딩 중
[논문리뷰] OPD-Evolver: Cultivating Holistic Agent Evolver via On-Policy Distillation본 연구는 기존 메모리 증강 에이전트들이 단기적인 경험 저장이나 활용에는 능숙하지만, 상호작용 기록과 피드백을 지속적인 행동 개선으로 전환하는 '진정한 의미의 자가 진화(self-evolution)' 역량이 부족하다는 문제의식에서 출발합니다.#Review#Agent Evolver#On-Policy Distillation#Experience Lifecycle#Memory Augmentation#Slow-Fast Co-evolution#Agentic Foundation Models2026년 6월 16일댓글 수 로딩 중
[논문리뷰] OPRD: On-Policy Representation Distillation본 논문은 Large Language Models (LLMs)의 Post-training에 필수적인 On-Policy Distillation (OPD) 방식의 본질적인 두 가지 한계점을 지적하며, 이를 해결하기 위한 새로운 접근 방식인 OPRD (On-Policy Representation Distillation)를 제안합니다.#Review#On-Policy Distillation#Representation Distillation#Large Language Models#Knowledge Distillation#Hidden States#Mathematical Reasoning#Variance Reduction2026년 6월 4일댓글 수 로딩 중
[논문리뷰] Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation본 논문은 기존 OPD가 가진 불균일한 학습 가치 문제를 해결하기 위해 최적화 Granularity를 재설계하고자 합니다. 기존 연구들은 단순히 전체 trajectory를 사용하거나, 개별 토큰을 선별하는 Hard selection 방식에 의존하여 정보 손실과 최적화의 불안정성을 초래했습니다 .#Review#On-Policy Distillation#Knowledge Distillation#Optimization Granularity#Trajectory Filtering#Token Reweighting#Large Language Models2026년 6월 3일댓글 수 로딩 중
[논문리뷰] Trust Region On-Policy Distillation본 논문은 Small Reasoning Models (SRM)을 위한 On-Policy Distillation (OPD)의 학습 불안정성과 비효율성 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Reasoning Models#Trust Region#Policy Gradient#Knowledge Distillation#Language Models2026년 6월 2일댓글 수 로딩 중
[논문리뷰] CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation본 논문은 기존의 Customized Image Generation 분야에서 다수의 효과를 적용할 때 발생하는 스토리지 오버헤드, 라우팅 지연, 그리고 모듈 간 매개변수 간섭 문제를 해결하고자 합니다.#Review#CollectionLoRA#Multi-Teacher Distillation#On-Policy Distillation#Diffusion Models#Few-step Generation#Concept Isolation2026년 5월 28일댓글 수 로딩 중
[논문리뷰] GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation본 논문은 오픈 엔드 이미지 생성이 단순한 텍스트 프롬프트 기반의 task를 넘어, 모델의 내부 지식과 외부 리소스를 효과적으로 결합해야 하는 복잡한 에이전트 과정임을 강조합니다.#Review#Image Generation#Agentic Workflow#Self-Evolving#Visual Experience Distillation#Tool-Orchestrated#On-Policy Distillation#Multimodal Agent2026년 5월 21일댓글 수 로딩 중
[논문리뷰] Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation본 논문은 대규모 언어 모델(LLM)의 post-training에서 OPD가 RL보다 높은 효율성을 보이는 근본적인 파라미터 업데이트 메커니즘을 규명하고자 합니다.#Review#On-Policy Distillation#Large Language Models#Parameter Dynamics#Training Efficiency#EffOPD#Subspace Evolution2026년 5월 17일댓글 수 로딩 중
[논문리뷰] DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models본 논문은 기존의 멀티태스크 강화학습(RL) 방식이 겪는 최적화 간섭(Optimization Interference)과 성능 불균형 문제를 해결하기 위해 고안되었습니다.#Review#Diffusion Models#On-Policy Distillation#Multi-Task Reinforcement Learning#Flow Matching#Preference Alignment2026년 5월 14일댓글 수 로딩 중
[논문리뷰] AnyFlow: Any-Step Video Diffusion Model with On-Policy Flow Map Distillation본 논문은 기존 consistency distillation 기반 모델들이 고정된 NFE budgets에 종속되어 sampling step이 증가할 때 오히려 성능이 저하되는 구조적 한계를 해결하기 위해 AnyFlow를 제안한다.#Review#Video Diffusion Models#Flow Map#Any-Step Distillation#On-Policy Distillation#Test-Time Scaling#Backward Simulation#Causal Video Generation2026년 5월 13일댓글 수 로딩 중
[논문리뷰] The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes본 연구는 OPD와 OPSD가 시스템 프롬프트 및 지식 내재화에는 효과적이나, 최근 연구들에서 보고된 학습 불안정성(instability) 및 성능 저하(degradation) 문제를 근본적으로 규명하고자 합니다.#Review#On-Policy Distillation#Self-Distillation#Language Models#Reverse-KL#Privileged Information#Optimization Stability#RLVR2026년 5월 12일댓글 수 로딩 중
[논문리뷰] HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents본 논문은 기존 Multimodal search agents가 다중 엔티티 검색 시 직면하는 비효율적인 순차적(sequential) 툴 호출 문제를 해결하기 위해 제안되었다.#Review#Multimodal Search Agents#Reinforcement Learning#Efficiency-Aware#Unified Grounded Search#Parallel Tool Calling#IMEB Benchmark#On-Policy Distillation2026년 5월 10일댓글 수 로딩 중
[논문리뷰] Flow-OPD: On-Policy Distillation for Flow Matching Models본 논문은 Flow Matching 모델의 다중 작업 정렬(multi-task alignment) 과정에서 발생하는 보상 희소성(reward sparsity)과 기울기 간섭(gradient interference) 문제를 해결하고자 합니다.#Review#Flow Matching#On-Policy Distillation#Reinforcement Learning#Multi-task Alignment#Manifold Anchor Regularization#Text-to-Image2026년 5월 10일댓글 수 로딩 중
[논문리뷰] Healthcare AI GYM for Medical Agents본 논문은 의료 AI 에이전트가 복잡한 다단계 임상 추론 환경에서 안정적인 툴 사용 정책을 학습하는 데 한계가 있다는 문제를 해결하고자 합니다. 기존의 단일 턴(single-turn) 기반 의료 QA 연구들은 실제 임상 환경의 핵심인 다단계 상호작용과 툴 활용 능력을 충분히 반영하지 못합니다.#Review#Medical AI Agents#Reinforcement Learning#On-Policy Distillation#Clinical Reasoning#Multi-turn Interaction#Healthcare AI GYM2026년 5월 5일댓글 수 로딩 중
[논문리뷰] Beyond SFT-to-RL: Pre-alignment via Black-Box On-Policy Distillation for Multimodal RL본 논문은 LMM의 표준 post-training 파이프라인인 SFT→RLVR에서 발생하는 distributional drift 문제를 해결하고자 한다. 기존의 SFT는 토큰 수준의 uniform objective에 의존하여 모델이 피상적인 패턴만을 학습하게 만들며, 이는 모델의 본래 성능을 왜곡하는 결과를 초래한다.#Review#Multimodal LLM#Reinforcement Learning#On-Policy Distillation#Distributional Drift#Mixture-of-Experts (MoE)#Adversarial Alignment2026년 5월 5일댓글 수 로딩 중
[논문리뷰] A Survey of On-Policy Distillation for Large Language Models본 논문은 기존의 off-policy LLM 증류(distillation) 방식이 가진 근본적인 train-test mismatch와 그로 인한 exposure bias 문제를 해결하고자 합니다.#Review#On-Policy Distillation#Large Language Models#Knowledge Distillation#Exposure Bias#f-Divergence#Sequence-Level Learning#Reinforcement Learning2026년 4월 1일댓글 수 로딩 중
[논문리뷰] KAT-Coder-V2 Technical ReportAgentic Coding은 단순 코드 생성을 넘어 복잡한 리포지토리 상호작용과 도구 호출을 요구하며, 이는 단일 학습 파이프라인으로는 최적화하기 어려운 복합적인 도메인들을 포함합니다. 기존 연구들은 환경 인프라가 에이전트 스캐폴드와 강하게 결합되어 있어 새로운 데이터셋이나 스캐폴드 통합이 비효율적이라는 한계가 있습니다.#Review#Agentic Coding#Specialize-then-Unify#KwaiEnv#Reinforcement Learning#On-Policy Distillation#Tree Training2026년 3월 30일댓글 수 로딩 중
[논문리뷰] Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation본 논문은 온-폴리시 증류(OPD)의 기계론적 이해 부족 과 잠재력 미활용 문제를 해결하는 것을 목표로 합니다. 표준 OPD를 일반화된 프레임워크로 확장하여 학생 모델이 교사 모델의 성능 경계를 넘어설 수 있도록 하고, 보상 스케일링 인자(λ)와 유연한 참조 모델의 영향을 체계적으로 탐구합니다.#Review#On-Policy Distillation#Reward Extrapolation#Large Language Models (LLMs)#Knowledge Distillation#Reinforcement Learning#Math Reasoning#Code Generation#Multi-teacher Distillation2026년 2월 12일댓글 수 로딩 중
[논문리뷰] Typhoon-S: Minimal Open Post-Training for Sovereign Large Language Models본 연구는 제한된 자원과 엄격한 투명성 제약이 있는 환경에서, 지역 또는 국가 기관이 모델 가중치, 훈련 데이터, 배포에 대한 통제력을 유지할 수 있도록 하는 소버린 대규모 언어 모델(LLM) 의 최소한의 공개 포스트 트레이닝 레시피 를 개발하는 것을 목표로 합니다.#Review#Sovereign LLMs#Post-Training#Instruction Tuning#Supervised Fine-tuning#On-Policy Distillation#Reinforcement Learning#Knowledge Injection#Thai Language2026년 1월 29일댓글 수 로딩 중
[논문리뷰] LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation본 논문은 기존 확산 모델의 느린 추론 속도와 양방향 어텐션으로 인한 실시간 상호작용의 어려움을 해결하고자 합니다.#Review#Real-time Video Generation#Multimodal Diffusion#On-Policy Distillation#Interactive AI Avatars#Video Streaming#Anchor-Heavy Identity Sinks#Lip Synchronization2025년 12월 29일댓글 수 로딩 중