[논문리뷰] Verifier-Induced Support Reshaping in On-Policy Optimization

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shaohang Wei, Zikun Su, Feifan Song, Wen Luo, Wei Li, Guangyue Peng, Houfeng Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): Verifier를 통해 검증 가능한 보상을 사용하여 모델의 출력을 강화 학습하는 기법입니다.
• Support Reshaping: 특정 Objective 최적화가 모델의 Output Distribution을 변경하여, 후속 Objective를 달성하는 데 필요한 Trajectory(해당 보상을 얻을 수 있는 경로)를 탐색하기 어렵게 만드는 현상입니다.
• Effective Rewardable Support: 특정 Rollout Budget 내에서 성공적인 결과(Reward-positive)를 얻을 수 있는 Trajectory의 집합을 의미합니다.
• DRI (Deliberative Reasoning Initiation) / DAI (Direct Answer Initiation): 모델이 응답을 시작할 때 사용하는 전략으로, DRI는 단계적인 유도 과정을 우선하며, DAI는 결론을 즉각적으로 도출하는 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 RLVR 기반의 Post-training 과정에서 특정 Objective를 강화할 때 발생하는 Support Reshaping 문제를 심도 있게 분석합니다 [Figure 1]. 기존 연구들은 주로 현재 작업의 성능 향상에 집중하였으나, 연속적인 학습 과정에서 이전 학습이 미래의 학습 가능성에 미치는 영향에 대해서는 간과해 왔습니다. 연구진은 단일 작업의 개선이 반드시 미래의 범용적 학습 능력을 보장하지 않으며, 특정 작업 최적화가 후속 작업에 필요한 Trajectory들을 효율적인 샘플링 범위 밖으로 밀어낼 수 있음을 지적합니다. 이는 단순한 '망각(Forgetting)'을 넘어, 새로운 Objective를 학습하기 위한 '탐색 공간(Searchability)'이 축소되는 근본적인 문제임을 정의합니다.

Figure 1 — Support Reshaping 개념 및 학습 경로

3. Method & Key Results (제안 방법론 및 핵심 결과)

연구진은 Math-RLVR과 IF-RLVR이라는 두 가지 핵심 경로를 통해 모델의 대응 능력을Bidirectional하게 비교 분석했습니다. 실험 결과, Math-RLVR은 Instruction Following(IF) 평균 성공률(pass@1)을 6.5% 상승시키는 반면, 다중 샘플링 환경에서의 최고 성공률(best@32)은 9.8% 감소시키는 등 IF 지원 범위를 편향되게 재구성함을 확인했습니다 [Table 1]. 반대로 IF-RLVR은 수학적 응답 경로를 단계적 추론(DRI)에서 직접 정답 제시(DAI) 형태로 이동시키며, 이는 수학적 탐색 능력을 크게 저하시키는 결과를 초래했습니다 [Figure 3]. Token-level 분포 분석 및 개입 실험을 통해 이러한 변화가 주로 첫 번째 생성 토큰(Response Opening)에서 발생하며, 이 초기 선택이 이후의 수학적 탐색 효율에 인과적 영향을 미친다는 것을 입증했습니다 [Figure 6, Figure 8]. 또한, Reference-policy constraint, Routing-prior, OPD(On-policy Distillation)와 같은 보존 기법들을 적용했으나, 이들 역시 완전한 Support 보존보다는 타겟 성능과의 Trade-off를 야기함을 정량적으로 보였습니다 [Figure 5, Figure 9].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 RLVR 기반 최적화에서 발생하는 Support Reshaping 현상이 후속 학습의 효율성을 저해하는 주요 요인임을 규명했습니다. 연구 결과는 단순히 최종 점수(Endpoint) 개선에만 매몰된 기존 학습 방식이 향후 모델의 Continual Learning 가능성을 제한할 수 있음을 경고합니다. 이러한 발견은 향후 LLM Post-training 프레임워크 설계 시, 특정 작업의 정답률뿐만 아니라 모델이 학습 가능한 상태(Learnable state)를 유지하도록 하는 새로운 평가 지표가 필요함을 시사합니다. 이는 학계와 산업계의 모델 정렬(Alignment) 전략이 현재의 단기적 성과 중심에서 미래지향적 학습 다양성 보존으로 전환되어야 함을 강력히 뒷받침합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.