[논문리뷰] Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher GuidanceLLM의 추론 능력 향상을 위한 RLVR(Reinforcement Learning with Verifiable Rewards) 방법 중 GRPO (Group Relative Policy Optimization)는 단순하고 안정적이지만, 희소한 보상 신호(sparse reward signals)와 Negative Zero-Variance Prompts에서 그래디언트 소실(vanishing gradients) 문제를 겪습니다.#Review#Reinforcement Learning#On-Policy Distillation#Large Language Models#GRPO#Knowledge Distillation#Adaptive Teacher Guidance#Zero-Variance Prompts#Supervised Fine-Tuning2026년 8월 5일댓글 수 로딩 중
[논문리뷰] No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping본 논문은 기존의 Verifiable Rewards를 활용한 강화 학습(RLVR) 방법론, 특히 GRPO 가 모든 롤아웃 응답이 동일한 보상을 받는 ' Zero-Variance Prompts '를 무시하여 귀중한 학습 신호를 손실하고 롤아웃 비용을 낭비하는 문제를 해결하고자 합니다.#Review#LLM Reinforcement Learning#Zero-Variance Prompts#Advantage Shaping#Entropy-Guided#Math Reasoning#RLVR#Group Relative Policy Optimization2025년 9월 29일댓글 수 로딩 중