[논문리뷰] Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding

링크: 논문 PDF로 바로 열기

메타데이터

저자: Hoang Phan, Minh Pham, Chau Pham, Chinmay Hegde, Trung Le, Qi Lei

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RGPO (Rationale-Guided Policy Optimization): 외부의 지식(rationale)을 직접적인 모방 대상이 아닌, 모델의 탐색을 돕기 위한 temporary scaffolds로 활용하여 강화학습 효율을 극대화하는 프레임워크입니다.
• RLVR (Reinforcement Learning with Verifiable Rewards): 모델이 생성한 답변에 대해 검증 가능한 보상(예: 정답 여부)을 통해 정책을 최적화하는 학습 기법입니다.
• Adaptive Hinting: 모델의 현재 문제 해결 능력에 따라 hint의 수준(분량)을 자동으로 조절하는 메커니즘으로, 모델이 독립적으로 풀 수 있는 문제는 hint를 줄이고, 어려운 문제는 hint를 점진적으로 늘려 학습을 최적화합니다.
• Reward Gate: 제안된 방법론에서 가이드된 응답(guided response)을 학습에 활용할지 여부를 결정하는 필터로, 기존 unguided rollout보다 보상이 높을 때만 학습 데이터로 수용합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 on-policy Reinforcement Learning에서 발생하는 보상 희소성(reward sparsity) 문제를 해결하고자 합니다. 기존의 RLVR 방식은 모델의 현재 역량을 넘어서는 어려운 문제에 직면할 경우, 샘플링된 모든 trajectory가 실패하여 학습 신호가 소실되는 'capacity-difficulty mismatch' 문제에 봉착합니다. 외부 데이터(expert traces)를 직접 모방하는 방식은 distribution mismatch와 같은 부작용을 초래하며, 모델의 독립적 추론 능력을 저해할 수 있습니다. 따라서 저자들은 독립적 탐색의 자유를 유지하면서도, 필요한 경우에만 제한적으로 도움을 주는 효과적인 scaffolding 전략이 필요하다고 정의합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Reference rationale를 temporary scaffolds로 활용하여 RL 학습을 가속화하는 RGPO를 제안합니다. RGPO는 먼저 unguided rollout을 수행하고, 실패 시 adaptively 조정된 hint를 포함한 프롬프트를 사용하여 guided revision rollout을 수행합니다. 이후 보상 게이트를 통과한(즉, 보상이 더 높은) 응답만을 원본 프롬프트에 대한 SFT 목적 함수로 재학습하여, hint에 의존하지 않는 독립적 추론 능력을 강화합니다 [Figure 1]. 실험 결과, RGPO는 Qwen2.5-3B 모델을 기반으로 한 수학적 추론 벤치마크에서 기존 HINT 방식 대비 In-Distribution 성능을 21.8에서 26.8로 크게 향상시켰습니다. 또한 Out-of-Distribution 평가(ARC, GPQA 등)에서도 우수한 일반화 성능을 보이며 평균 32.2의 점수를 기록했습니다 [Table 1]. 특히, Vision-Language 모델 실험에서도 RGPO는 기존 RLVR 베이스라인 대비 더 높은 최종 정확도에 훨씬 빠르게 도달함을 확인했습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 강화학습의 학습 효율을 개선하기 위해 외부 추론 데이터를 지능적으로 활용하는 RGPO 프레임워크를 성공적으로 제안했습니다. 이 연구는 복잡한 추론 작업에서 Sparse Rewards 문제를 효과적으로 완화하며, 다양한 모델 크기와 도메인(Text 및 Vision-Language)에 걸쳐 강력한 성능 향상을 입증했습니다. 이는 향후 거대 모델의 추론 성능을 고도화하기 위한 대규모 강화학습 파이프라인에서 보조적 정보(Auxiliary information)를 효율적으로 통합하는 핵심적인 설계 원칙을 제시했다는 점에서 중요한 학술적 시사점을 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.