[논문리뷰] Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization본 논문은 기존 RLVR 방식의 핵심 한계인 Entropy의 '정확성 인식 능력 부재' 문제를 해결합니다. 기존의 Entropy 기반 방식들은 모델의 불확실성을 측정하지만, 이것이 생산적인 탐색인지 아니면 단순한 오류인지 구분하지 못해 최적화의 모호함을 야기합니다 .#Review#Reinforcement Learning#Advantage Shaping#Contrastive Policy Optimization#RLVR#LLM Reasoning#Token-level Supervision2026년 7월 19일댓글 수 로딩 중
[논문리뷰] Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning본 논문은 의료 분야의 MLLM(Multimodal Large Language Model)이 추론 과정에서 겪는 Sparse Credit Assignment 문제와 그로 인한 Failure Cascades 현상을 해결하고자 합니다.#Review#Multimodal Large Language Models#Medical Reasoning#Reinforcement Learning#Process Supervision#Failure Cascades#Advantage Shaping#VQA2026년 7월 2일댓글 수 로딩 중
[논문리뷰] No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping본 논문은 기존의 Verifiable Rewards를 활용한 강화 학습(RLVR) 방법론, 특히 GRPO 가 모든 롤아웃 응답이 동일한 보상을 받는 ' Zero-Variance Prompts '를 무시하여 귀중한 학습 신호를 손실하고 롤아웃 비용을 낭비하는 문제를 해결하고자 합니다.#Review#LLM Reinforcement Learning#Zero-Variance Prompts#Advantage Shaping#Entropy-Guided#Math Reasoning#RLVR#Group Relative Policy Optimization2025년 9월 29일댓글 수 로딩 중