[논문리뷰] ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning

링크: 논문 PDF로 바로 열기

저자: Yihang Chen, Yuanhao Ban, Cho-Jui Hsieh

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning from Verifiable Rewards): scalar reward를 활용하여 LLM의 추론 능력을 강화하는 학습 기법으로, 종종 rollout reuse를 통해 학습 효율을 높입니다.
• Gradient Starvation: off-policy 학습 시, clipping 등의 기법으로 인해 긍정적 보상의 학습 신호는 사라지고(starved), 부정적 보상의 이상치가 과도하게 학습에 반영되는 현상입니다.
• ReSPO (Reshaped Sequence Policy Optimization): 기존 clipping 방식의 한계를 극복하기 위해 제안된 두 갈래(two-branch) 커널 기반의 sequence-level 최적화 기법입니다.
• α-divergence: 정책 간의 차이를 측정하는 지표로, ReSPO의 핵심인 reshaping kernel을 도출하는 variational objective의 기반이 됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 학습 과정에서 rollout reuse를 위해 사용하는 off-policy 학습 환경이 심각한 gradient starvation을 유발함을 지적합니다. 기존 기법인 GRPO와 GSPO는 clipping을 통해 학습을 안정화하려 하지만, 이 과정에서 긍정적 보상을 주는 under-generated 응답의 gradient는 과도하게 억제하고, 부정적 보상을 주는 over-generated 응답의 gradient는 무제한으로 허용하는 비대칭적 문제에 직면합니다. 특히 정책 간의 불일치(policy mismatch)가 커질수록 이러한 현상은 더욱 두드러집니다. 저자들은 기존의 hard clipping 기법이 이러한 gradient 불균형을 해소하지 못하며, 이를 근본적으로 해결하기 위한 새로운 sequence-level weight reshaping 접근이 필요함을 명시합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 clipping을 대체하기 위해 α-divergence 기반의 변분 최적화(variational objective)와 exponential tilt를 결합한 새로운 두 갈래 reshaping kernel을 제안합니다. 이 커널은 긍정적 응답에 대해서는 under-generated된 경우에도 gradient weight를 보존하도록 하고, 부정적 응답에 대해서는 over-generated된 이상치를 효과적으로 억제합니다. 저자들은 두 branches(positive/negative)가 각각 다른 tail 특성을 갖도록 설계하여, GRPO와 GSPO가 실패하는 W→0 및 W→∞ 영역에서의 gradient 제어를 가능하게 했습니다 [Figure 1]. 실험 결과, Qwen3-1.7B-Base 및 Qwen3-30B-A3B-Base 모델 환경에서 ReSPO는 모든 비교 대상 baseline 대비 더 높은 최종 학습 점수를 달성했습니다. 특히, off-policy drift가 큰 설정에서도 기존 clipping 방식보다 우수한 성능을 보이며 early optimization 단계를 효과적으로 가속함을 확인하였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 off-policy 학습 시 발생하는 gradient starvation 문제를 sequence-level에서 해결하는 ReSPO를 성공적으로 제안하였습니다. α-divergence와 exponential tilt를 통한 커널 설계는 LLM의 RLVR 학습 과정에서 중요한 안정성과 성능 개선을 동시에 달성했습니다. 본 연구는 rollout reuse가 빈번한 대규모 학습 환경에서 정책 최적화의 효율을 극대화할 수 있는 강력한 대안을 제시하며, 향후 LLM의 강화학습 알고리즘 설계에 있어 clipping 기반의 단순 접근을 넘어선 수학적 프레임워크의 중요성을 시사합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.