[논문리뷰] Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening본 논문은 대규모 언어 모델(LLM)의 PPO 학습 과정에서 critic이 겪는 Value Flattening 현상을 분석하고 이를 해결하고자 합니다.#Review#Proximal Policy Optimization#Reinforcement Learning#Large Language Models#Value Flattening#Sparse Supervision#Critic Learning2026년 9월 16일댓글 수 로딩 중
[논문리뷰] Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models본 논문은 기존의 강화학습 미세 조정 기법이 Flow Matching 모델의 고유한 확률적 역학을 충분히 고려하지 못하여 발생하는 성능 불안정성 문제를 해결합니다.#Review#Flow Matching#RLHF#Proximal Policy Optimization#Divergence Constraint#Policy Optimization2026년 6월 9일댓글 수 로딩 중
[논문리뷰] ESPO: Early-Stopping Proximal Policy Optimization본 논문은 LLM의 다단계 추론(Multi-step reasoning) 과정에서 발생하는 연산 비효율성과 잘못된 학습 신호 문제를 해결하기 위해 ESPO를 제안한다.#Review#Reinforcement Learning#Large Language Models#Proximal Policy Optimization#Early Stopping#Reasoning#Compute Efficiency#Credit Assignment2026년 6월 1일댓글 수 로딩 중