[논문리뷰] CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation본 논문은 소형 모델(Student)이 대형 모델(Teacher)의 복잡한 추론 능력을 전수받는 과정에서 발생하는 세 가지 고질적인 실패 모드(Failure Modes)를 해결하고자 합니다.#Review#Knowledge Distillation#On-Policy Learning#Reasoning Gap#Coverage-Adaptive Scheduling#Per-Token Surrogate#Reward Sparsity#LLM Compression2026년 7월 29일댓글 수 로딩 중
[논문리뷰] Learn Hard Problems During RL with Reference Guided Fine-tuning이 논문은 수학적 추론을 위한 강화 학습(RL)에서 발생하는 보상 희소성(reward sparsity) 문제를 해결하는 것을 목표로 합니다. 특히, 대규모 언어 모델(LLM)이 어려운 문제에 대한 정확한 추론 궤적을 생성하지 못하여 유의미한 보상 신호를 받지 못하는 한계를 극복하고자 합니다.#Review#Reinforcement Learning#Mathematical Reasoning#Reward Sparsity#Fine-tuning#Large Language Models#Reference-Guided Learning#DAPO2026년 3월 2일댓글 수 로딩 중
[논문리뷰] Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents이 논문은 다중 턴(multi-turn) 대규모 언어 모델(LLM) 에이전트 훈련 시 발생하는 희소한 보상(sparse reward) 문제를 해결하고자 합니다.#Review#LLM Agents#Reinforcement Learning#Multi-Turn Interactions#Reward Sparsity#Information Gain#Policy Optimization#Ground-Truth Awareness#Sample Efficiency2025년 10월 17일댓글 수 로딩 중