[논문리뷰] Are Dense Rewards Worth Their Tokens in GRPO?

링크: 논문 PDF로 바로 열기

저자: Vikash Singh, Weicong Chen, Debargha Ganguly, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Outcome-only GRPO: 하나의 prompt에 대해 G개의 completion을 sampling합니다. 각 completion의 reward(0/1)를 group 평균과 표준편차로 normalize해 advantage를 구하고, 그 completion의 모든 token에 같은 credit을 줍니다. 모든 completion이 함께 맞거나 함께 틀린 group에서는 advantage가 0이 되어 update가 생기지 않습니다.
• Dense Reward (Process Reward): completion 내부의 step마다 다른 credit(c = A + w)을 주는 방식입니다. 본 논문에서는 대표적으로 Monte-Carlo reward를 다룹니다. completion을 5개 cut 지점에서 자르고, 각 prefix에서 k개의 continuation을 sampling해 value를 추정합니다. 각 segment의 credit은 그 value의 변화량입니다.
• Matched-Compute Protocol: 모든 training intervention에 같은 compute budget을 주고 비교하는 평가 방법입니다. budget은 generated tokens(continuation과 버려진 sample 포함)와 training GPU-hours 두 가지로 측정하며, preregistration과 side effect 통제를 함께 사용합니다.
• Gradient Test (Alignment / Efficiency): 고정된 batch에서 dense reward의 update가 기대 accuracy gradient의 reference 추정치 ĥ와 얼마나 일치하는지 측정합니다. Alignment는 completion 단위 reweighting으로 만들 수 있는 update들의 span V 바깥 성분끼리의 cosine입니다. Efficiency는 (E⟨u,ĥ⟩)²/E‖u‖²로 정의됩니다.
• Critic Filter (Prompt Selection): iteration마다 24개의 candidate prompt를 뽑습니다. policy hidden state에 ridge critic을 적용해 각 prompt의 성공 확률을 예측한 뒤, 예측값이 1/2에 가장 가까운 6개와 무작위 2개로 학습합니다. 이 과정은 prefill pass 한 번만 필요하고 token을 생성하지 않습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 dense reward를 per-update 비교나 gradient test로 검증하면 compute cost가 빠진다는 점을 핵심 문제로 봅니다. 그 결과 실제로는 손해인 intervention이 이득처럼 보일 수 있습니다.

• Token cost: 저자들의 설정에서 Monte-Carlo reward의 continuation은 전체 generated token의 91%를 차지합니다. 같은 token budget에서 outcome-only GRPO는 584회, Monte-Carlo reward는 50회만 update합니다.
• GPU-hour와의 불일치: continuation은 inference engine이 큰 batch로 싸게 생성하므로 token cost와 GPU-hour cost가 비례하지 않습니다. 따라서 token만 세는 비교도 GPU-hour 기준 결론을 잘못 이끌 수 있습니다.
• Gradient test의 한계: Monte-Carlo reward는 reference gradient와 mean cosine 0.84로 잘 align됩니다. 그런데도 equal-iteration 학습에서 낮은 weight로 쓰면 GRPO와 ±3 points 이내로 동등했고, 높은 weight(α=5)로 쓰면 12.4 points가 떨어졌습니다.
• 기존 baseline 비교의 문제: 기존 비교는 seed 간 variance 수준의 작은 gain을 다루면서도 side effect(prompt stream을 빠르게 소진하는 효과, under-tuned learning rate, lenient verifier)를 통제하지 않았습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 GRPO trainer를 직접 재구현했습니다. 6개 모델(Qwen2.5-1.5B, Qwen3-0.6B/1.7B/4B, Llama-3.2-1B/3B)로 1,668 runs(1,468 GPU-hours)를 수행했습니다.

실험 설계

• 학습 데이터는 numeric-answer MATH 문제이고, 평가지표는 held-out 200문제에 대한 pass@1입니다.
• token budget B는 k=4 Monte-Carlo reward가 48 iteration 동안 생성하는 token 수로 정했습니다(Qwen2.5-1.5B에서 12.25M).
• 각 study는 가설, primary contrast, Holm correction, TOST equivalence margin을 실행 전에 preregister했습니다.
• 통제 조건은 세 가지입니다.
  • 같은 candidate 중 random choice: prompt stream을 빠르게 소진하는 효과를 분리
  • retuned learning rate: baseline이 under-tuned되었을 가능성을 통제
  • strict verifier: reward 기준이 drift하는 것을 통제

Dense reward 결과

• 순위 역전: Monte-Carlo reward(k=4)는 equal update에서는 GRPO보다 +1.5 points 앞섰습니다. 그러나 equal tokens에서는 −14.3 points, equal training time에서는 −7.8 points로 모든 seed에서 뒤졌습니다.
  • 이 deficit은 Qwen3 0.6B/1.7B/4B(−8.0/−9.1/−10.0)와 GSM8K(−9.8)에서도 재현되었습니다.
• Continuation 수(k)를 줄인 경우: k=1은 gap을 −6.8 points까지 줄였지만 없애지는 못했습니다.
• Training time을 맞춘 비교: 네 가지 dense-reward variant(k=4, k=1, VinePPO-style, continuation reuse)에 outcome-only GRPO의 학습 시간 이상을 주어도 gain을 보인 variant는 없었습니다 [Figure 3].
• Learned critic(ridge): equal tokens에서는 GRPO와 ±2 points 이내로 동등했습니다(TD form −0.4, baseline form +0.7). 하지만 critic fitting이 training time을 23–24% 늘리므로, equal training time에서는 오히려 뒤졌습니다.

Gradient test 평가

• Per-token efficiency(k=1: 0.45×, k=2: 0.27×, k=4: 0.15×)는 실제 학습 결과와 같은 순서로 reward를 정렬했습니다 [Figure 2].
• 그러나 다섯 가지 reward 모두에서 accuracy를 0.8–1.8 points 과대 추정했습니다. 이는 실제로 측정된 gain과 비슷한 크기여서, gradient test로는 1–2 points 수준의 gain을 보증할 수 없습니다.

Prompt selection 결과

• Critic filter는 matched compute에서 Qwen3-0.6B +1.7 points(54 seeds), Qwen2.5-1.5B +0.8 points(60 seeds) 향상되었습니다.
  • 이 gain은 fresh seed와 미평가 MATH 문제 1,543개에서도 재현되었고, GSM8K로도 이어졌습니다(secondary).
  • random choice로는 같은 gain이 재현되지 않았습니다.
• Gain이 나타나는 조건: mixed-outcome group 비율의 증가(8–19 points)로는 어디서 gain이 나는지 예측할 수 없었습니다. 대신 candidate들의 평균 예측 성공률이 1/2 미만일 때 gain이 나타난다는 규칙이 preregistered test 6개 중 5개에서 맞았습니다 [Figure 4].
• Gain의 크기: gain은 학습 초반에 집중되었습니다. learning rate를 2배로 올린 outcome-only GRPO는 critic filter와 0.5 points 이내까지 따라왔습니다.

4. Conclusion & Impact (결론 및 시사점)

matched compute로 비교하면 dense reward의 겉보기 이득은 사라지고 prompt selection의 작은 이득만 확인된다는 것이 이 논문의 결론입니다.

• 저자들이 테스트한 dense-reward variant는 outcome-only GRPO를 1 point 넘게 이기지 못했습니다. Monte-Carlo reward는 equal tokens에서 14.3 points 뒤졌습니다.
• 반면 prompt selection은 최대 1.7 points의 실질적 gain을 보였습니다. 다만 이 gain은 learning rate를 재조정한 baseline이 대부분 따라잡았습니다.

시사점

• 저자들이 제시하는 RLVR 연구의 검증 원칙은 다음과 같습니다.
  • token budget과 GPU-hour budget을 함께 보고할 것
  • gradient test는 certificate가 아니라 heuristic으로 취급할 것
  • side effect를 통제하고 baseline을 다시 tuning할 것
  • verifier를 먼저 고정할 것
  • 여러 seed와 여러 model에서 replicate하고 preregister할 것
• 이 원칙은 process reward / PRM 기반 RL 연구 전반의 평가 관행을 재점검하게 합니다.
• 산업계에는 compute를 continuation 생성보다 prompt curriculum과 baseline tuning에 쓰는 편이 효율적일 수 있다는 실용적 근거를 줍니다.
• 저자들은 trainer, preregistration, run record를 공개해 재현 가능성을 높였습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.