[논문리뷰] Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

링크: 논문 PDF로 바로 열기

저자: Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): 수학이나 코드 생성과 같이 검증 가능한 보상 체계를 사용하여 LLM을 최적화하는 강화학습 패러다임입니다.
• Contrastive Disagreement ($\delta_t$): 본 논문에서 제안하는 지표로, Vanilla 생성 분포와 Reference-guided 생성 분포 간의 로그 확률 차이를 통해 특정 토큰이 얼마나 정답에 부합하는지를 정량화합니다.
• CPO (Contrastive Policy Optimization): Entropy 기반의 기존 방식 대신 Contrastive Disagreement를 사용하여 토큰 단위의 정밀한 이점(Advantage)을 계산하는 새로운 프레임워크입니다.
• Zero-Advantage Problem: 기존 GRPO 등에서 그룹 내 모든 응답이 정답이거나 오답일 경우 이점(Advantage)이 0이 되어 학습 데이터가 소실되는 현상입니다.
• OPD (On-policy Distillation): 강한 교사 모델의 분포를 학생 모델이 학습하도록 유도하는 기법으로, 본 논문에서는 CPO의 특수한 형태로 재해석됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 RLVR 방식의 핵심 한계인 Entropy의 "정확성 인식 능력 부재" 문제를 해결합니다. 기존의 Entropy 기반 방식들은 모델의 불확실성을 측정하지만, 이것이 생산적인 탐색인지 아니면 단순한 오류인지 구분하지 못해 최적화의 모호함을 야기합니다 [Figure 1]. 또한, GRPO와 같은 기존 알고리즘은 그룹 단위의 보상을 사용함으로써, 그룹 내 성능 차이를 구별하지 못하는 Zero-Advantage 문제를 겪으며 방대한 학습 데이터를 효율적으로 활용하지 못합니다. 따라서 정답 여부를 정확히 인지할 수 있는 토큰 수준의 미세한 신호(Correctness-aware signal)를 추출하여 이점(Advantage)을 정교하게 shaping할 수 있는 방법론이 절실히 요구됩니다 [Figure 3].

Figure 1 — 참조 답변을 통한 토큰 확률 변화

Figure 3 — CPO 아키텍처 및 이점 산출 과정

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Vanilla 생성 분포와 Reference-guided 분포 간의 KL Divergence를 활용한 Contrastive Disagreement를 제안하며, 이를 기반으로 이점(Advantage)을 재구성합니다 [Figure 3]. 이 방식은 정답에 가까운 토큰과 오답으로 이어지는 토큰을 명확히 구분해주며, 특히 오답에 가까운 토큰을 식별하는 데 매우 탁월한 성능을 보입니다 [Figure 2]. CPO는 모델의 기존 이점 값에 이 토큰 단위의 신호를 Clipping 기법을 통해 결합하여 최적화 과정의 안정성을 보장합니다. 실험 결과, Qwen2.5-Math-7B 및 Qwen3-Base-4B 모델에서 GRPO 대비 각각 7.7%, 8.5%의 평균 성능 향상을 달성하였습니다. 특히 가장 어려운 벤치마크인 AIME2025에서 탁월한 정량적 우위를 확인하였으며, Out-of-domain 벤치마크인 GPQA 및 MMLU-PRO에서도 성능 저하 없이 일반화 능력을 보존하거나 향상시켰습니다 [Table 1, Table 2].

Figure 2 — 토큰 정답률과 Contrastive Disagreement

4. Conclusion & Impact (결론 및 시사점)

본 논문은 정답 정보를 모델의 생성 과정에 직접적으로 투영하는 Contrastive Disagreement를 통해 RLVR의 효율성과 정밀도를 비약적으로 높였습니다. 연구 결과는 정답을 기반으로 한 자가 생성 신호(Self-contrastive signal)가 외부 Teacher 없이도 효과적인 강화학습을 가능케 함을 시사합니다. 또한, 기존의 다양한 OPD 변형 기법을 CPO 프레임워크 내에서 단일한 원리로 통합함으로써 이론적 토대를 마련하였습니다. 향후 이 연구는 복잡한 추론 모델을 개발하는 학계 및 산업계 전반에 걸쳐 효율적이고 일반화 능력이 뛰어난 LLM 학습을 위한 표준적인 프레임워크로 활용될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.