[논문리뷰] ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning본 논문은 LLM 학습 과정에서 rollout reuse를 위해 사용하는 off-policy 학습 환경이 심각한 gradient starvation을 유발함을 지적합니다.#Review#Reinforcement Learning#Large Language Models#Off-policy Learning#Gradient Starvation#Policy Optimization#Importance Sampling2026년 10월 8일댓글 수 로딩 중
[논문리뷰] HuatuoGPT-3: RL-Only Domain Adaptation from Base Models본 논문은 기존의 SFT+RL 도메인 적응 파이프라인이 가지는 복잡성과 모델의 탐색 다양성 감소 문제를 해결하고자 합니다. 기존의 SFT+RL은 초기 냉정한 시작(Cold start)에는 유리하나, 다단계 최적화로 인한 성능 저하 및 망각(Catastrophic forgetting)의 위험이 존재합니다.#Review#Domain Adaptation#Reinforcement Learning#Large Language Models#OnePO#Gradient Starvation#Teacher-Distribution Anchoring2026년 10월 6일댓글 수 로딩 중