[논문리뷰] CorrGRPO: Correlation-Normalized GRPO for Multi-Reward Learning

링크: 논문 PDF로 바로 열기

메타데이터

저자: Wenbin Hu, Huihao Jing, Haochen Shi, Yuxuan Liu, Haoran Li, Yangqiu Song

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• GRPO (Group Relative Policy Optimization): 별도의 Value Model 없이, 동일한 prompt로부터 생성된 응답 그룹 내에서 보상을 중앙화(centering)하고 정규화하여 Advantage를 추정하는 강화학습 기법입니다.
• Reward Covariance: 여러 보상 구성 요소들 간의 통계적 의존성을 나타내는 지표로, GRPO에서 Advantage의 크기를 결정하는 정규화 분모의 핵심 구성 요소입니다.
• Pearson Correlation Coefficient ($\hat{\rho}_{lm}$): 보상 구성 요소들 간의 선형 의존성을 정규화된 범위([-1, 1]) 내에서 측정하는 지표로, 보상의 스케일(Scale) 영향을 제거합니다.
• CorrGRPO: GRPO의 기존 Covariance 기반 정규화 대신 Correlation 기반 정규화를 사용하여, 큰 스케일의 보상이 Advantage 계산을 지배하는 문제를 해결하는 제안 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Multi-Reward 학습 시 GRPO가 보상 스케일과 상관관계(Correlation)를 동일한 방식으로 처리하여 발생하는 불균형 문제를 해결하고자 합니다. 기존 GRPO는 합산된 보상의 분산을 정규화 분모로 사용하는데, 이 분산은 개별 보상의 Covariance 총합으로 표현됩니다. 이로 인해 수치적 스케일이 큰 보상 구성 요소가 정규화 과정을 독점하게 되며, 정작 중요한 상관관계 정보를 가진 작은 스케일의 보상 신호가 억제되는 현상이 발생합니다. 결과적으로, 보상 간의 복잡한 통계적 관계를 명확히 반영하지 못하여 효과적인 학습이 저해되는 문제가 존재합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구에서 제안하는 CorrGRPO는 Advantage 추정 시 Covariance 대신 Pearson Correlation을 기반으로 한 정규화 항을 사용합니다. 제안 방법론은 중앙화된 총 보상(centered total reward)은 그대로 유지하되, 정규화 분모인 공분산 합을 Correlation Matrix 기반의 값으로 대체함으로써 보상 스케일의 영향을 근본적으로 제거합니다. 이를 통해 작은 스케일의 보상이라도 상관관계가 높다면 Advantage 계산에 기여할 수 있도록 설계되었습니다.

CorrGRPO의 성능을 검증하기 위해 코드 생성, Tool Calling, Agent Security 분야에서 0.5B부터 8B 파라미터 모델을 대상으로 실험을 수행하였습니다.

• 코드 생성 분야에서 CorrGRPO는 모든 모델 스케일에서 GRPO를 능가하는 Pass@1 성능을 기록하였으며, LeetCodeDataset 기준 7B 모델에서 24.12%의 Pass@1을 달성하였습니다.
• Tool Calling 실험에서는 RLLA-4K 및 API-Bank 벤치마크 모두에서 가장 높은 All-Exact 점수를 달성하며, 특히 Qwen3-4B-Thinking 모델에서 정교한 파라미터 생성 능력을 입증하였습니다.
• Agent 보안 실험에서는 ASB(Agent Security Bench)의 Joint Accuracy를 7B 모델 기준 31.38%에서 47.88%로 대폭 향상시키는 동시에, 공격 성공률(ASR)을 유의미하게 낮추어 유틸리티와 보안성 간의 균형을 효과적으로 맞추었음을 확인하였습니다. [Table 1] [Table 2] [Table 3]

4. Conclusion & Impact (결론 및 시사점)

본 논문은 다중 보상 강화학습에서 보상 간의 상관관계를 명시적으로 고려하는 것이 Advantage 추정의 질을 높이는 핵심임을 입증했습니다. CorrGRPO는 스케일 불변성(Scale Invariance)을 확보하여 보상 정규화 과정에서의 편향을 제거하고, 성능 향상과 더불어 Pareto frontier를 확장하는 성과를 거두었습니다. 이 연구는 대규모 언어 모델의 정렬(Alignment) 과정에서 다중 목표 최적화 전략의 중요한 이론적·실무적 진보를 제시합니다. 향후 다양한 도메인에서 복잡한 다중 보상 신호를 처리하는 강화학습 설계에 있어 기초적인 방법론으로 활용될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.