[논문리뷰] ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning본 논문은 LLM 학습 과정에서 rollout reuse를 위해 사용하는 off-policy 학습 환경이 심각한 gradient starvation을 유발함을 지적합니다.#Review#Reinforcement Learning#Large Language Models#Off-policy Learning#Gradient Starvation#Policy Optimization#Importance Sampling2026년 10월 8일댓글 수 로딩 중
[논문리뷰] An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning본 논문은 기존 OPD 방식이 갖는 낮은 샘플 효율성과 탐색 제한 문제를 해결하는 것을 목표로 합니다. 기존의 PPO 기반 OPD 구현은 매번 새로운 롤아웃(rollout)을 생성해야 하는 온-정책(on-policy) 특성으로 인해 학습 시간이 길고 데이터 재사용이 불가능하다는 한계가 있습니다.#Review#Large Language Models#On-Policy Distillation#Reinforcement Learning#Least-Square Policy Distillation#Off-policy Learning#KL-regularization#Sample Efficiency2026년 9월 28일댓글 수 로딩 중
[논문리뷰] Stabilizing Reinforcement Learning with LLMs: Formulation and Practices본 논문은 LLM 기반 RL의 불안정성 문제를 해결하고, 시퀀스 레벨 보상을 토큰 레벨 최적화 목표로 효과적으로 근사하여 최적화할 수 있는 조건을 밝히는 것을 목표로 합니다. 특히, MoE 모델에서 동적 전문가 라우팅이 학습 안정성에 미치는 영향을 분석하고, 이를 완화하기 위한 실용적인 방법을 제시합니다.#Review#Reinforcement Learning (RL)#Large Language Models (LLMs)#Policy Gradient#REINFORCE#Mixture-of-Experts (MoE)#Training Stability#Importance Sampling#Routing Replay#Off-policy Learning2025년 12월 1일댓글 수 로딩 중
[논문리뷰] The Best of N Worlds: Aligning Reinforcement Learning with Best-of-N Sampling via max@k Optimisation본 논문은 Large Language Models (LLMs)의 강화 학습(RL) 미세 조정 시 Best-of-N (BoN) 샘플링 성능이 저하되는 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Large Language Models#Best-of-N Sampling#Max@k Optimization#Policy Gradients#Off-policy Learning#Code Generation2025년 10월 28일댓글 수 로딩 중
[논문리뷰] TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs이 논문은 비디오 시간적 접지(temporal grounding) 작업에서 멀티모달 대규모 언어 모델(MLLMs) 의 효율성을 개선하는 것을 목표로 합니다. 기존 강화 학습( RL ) 방법론, 특히 GRPO 가 큰 시간 검색 공간에서 비효율적인 탐색과 불안정한 정책 업데이트를 겪는 문제를 해결하고자 합니다.#Review#Video LLMs#Temporal Grounding#Reinforcement Learning#Off-policy Learning#Reward Shaping#Chain-of-Thought#Multimodal LLMs2025년 9월 23일댓글 수 로딩 중