[논문리뷰] Semifactual Credit-Augmented Policy Optimization

링크: 논문 PDF로 바로 열기

메타데이터

저자: Junshu Pan, Zhizhang Fu, Shulin Huang, Yiran Ding, Zifan Cheng, Wenqi Shao, Qiaosheng Zhang, Yue Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): 모델이 생성한 결과물의 정답 여부를 검증 가능한 수학적 문제 등을 통해 보상을 제공하는 강화학습 패러다임.
• GRPO (Group Relative Policy Optimization): 그룹 내 응답 간의 보상 차이를 이용해 Advantage를 계산하고, 이를 동일하게 토큰별로 적용하는 RLVR 기법.
• Semifactual Perturbation: 문제의 정답과 핵심 논리 구조는 유지하되, 부수적인 프롬프트 특징(예: 표현 방식, 맥락)을 변형하여 모델의 강건성을 평가하는 개입 기법.
• Token Drift: 프롬프트의 의미론적 변화에 따라 생성된 특정 토큰의 확률값이 변하는 정도를 측정하여 모델의 spurious dependence 여부를 판단하는 지표.
• SCAPO (Semifactual Credit-Augmented Policy Optimization): Semifactual 안정성을 토큰 수준의 Advantage 계산에 반영하여, 불안정한 토큰에 대한 credit을 하향 조정하는 최적화 방법론.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 RLVR 환경에서 모델이 학습 과정 중 과업과 무관한 프롬프트의 부수적 특징에 의존하는 spurious dependence 문제를 해결하고자 한다. 기존의 GRPO는 전체 응답에 대해 단일한 outcome reward를 할당하고 이를 모든 토큰에 동일하게 배분하므로, 모델이 합리적인 추론 과정과 우연히 정답을 맞춘 spurious correlation을 구분하지 못하는 한계가 있다 [Figure 4]. 저자들은 semifactual interventions를 통해 모델이 특정 토큰 수준에서 이러한 부수적 정보에 지나치게 민감하게 반응함을 확인하였으며, 이를 학습 신호로 전환하는 새로운 접근이 필요하다고 주장한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 semifactual stability를 토큰별 credit assignment에 통합하는 SCAPO를 제안한다. SCAPO는 먼저 고정된 응답(fixed response)에 대해 원본 프롬프트와 다양한 semifactual perturbations 간의 확률 차이(drift)를 계산한다. 이후 이 drift를 정규화하여 token-level stability 점수를 도출하고, 상대적으로 불안정한(unstable) 토큰에 대해 negative advantage correction을 적용하여 GRPO의 advantage를 보정한다 [Figure 4]. 실험 결과, Qwen3-4B-Base 모델에서 SCAPO는 GRPO 대비 AIME 2024–2026 벤치마크 정확도를 5.63%p 향상시켰다 [Figure 1]. 또한, 학습 효율성 측면에서도 SCAPO는 동일한 최종 정확도에 도달하기 위해 필요한 학습 step 수를 절반 이하로 단축하였으며, out-of-distribution 평가에서도 일관된 성능 우위를 입증하였다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 semifactual stability가 RLVR의 학습 과정에서 outcome reward를 보완하는 미세한 토큰 수준의 credit 신호로 활용될 수 있음을 증명하였다. 제안된 SCAPO는 모델의 가중치 업데이트 없이도 디코딩 시 불안정한 토큰을 억제함으로써 추론 성능을 개선할 수 있는 실용적인 방법론을 제공한다. 이 연구는 모델의 강건한 추론 능력을 함양하기 위해 단순한 결과 기반 학습을 넘어, 인과적 관점에서 모델의 internal dependence를 교정하는 방향으로의 학계 및 산업계 연구 전환을 촉진할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.