[논문리뷰] Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yunhao Yang, Yuexin Bian, Yunjie Tian, Di Fu, Tianjin Huang, Yuanyuan Shi, Ziang Xiao, Nuno Vasconcelos, Yijiang Li

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Co-RL: 서로 독립적인 모델들(decoupled models)이 서로의 결과물에 대한 보상을 제공하며 학습하는 cooperative multi-agent RL 프레임워크입니다.
• Cross-agent Supervision: 특정 에이전트의 학습 신호를 자신의 출력이 아닌, 독립적으로 생성된 동료 에이전트의 다수결(majority vote) 결과로부터 유도하여 편향을 줄이는 방식입니다.
• GRPO (Group Relative Policy Optimization): 외부 비평 모델(critic) 없이 그룹 내 보상 비교를 통해 정책을 최적화하는 알고리즘으로, Co-RL에서 기본 정책 학습 기법으로 사용됩니다.
• Training Collapse: 모델이 자체적인 보상 신호에만 의존할 때, 편향된 행동을 강화하여 응답의 다양성을 잃고 성능이 급격히 퇴화하는 현상입니다.
• Cohort Diversity: 에이전트 간의 아키텍처, 크기, 초기 가중치, 입력 프롬프트의 차이를 활용하여 오류의 상관관계를 낮추고 협력적인 학습 신호를 극대화하는 전략입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Reinforcement Learning을 활용한 추론 성능 향상 과정에서 발생하는 Ground-truth Supervision 의존성과 Self-rewarding RL의 구조적 한계를 해결하고자 합니다. 기존 Self-rewarding RL 방식은 모델이 자신의 출력에 기반하여 스스로 보상을 생성하므로, 특정 편향이나 오류가 반복적으로 강화되어 Training Collapse로 이어지기 쉽습니다 [Figure 1]. 이러한 폐쇄적인 학습 구조는 모델이 스스로의 잘못된 판단을 교정하지 못하게 하며, 응답의 다양성을 저해하는 치명적인 단점을 가집니다. 따라서 저자들은 외부 레이블 없이도 상호 독립적인 모델 간의 피드백을 통해 추론 능력을 향상시킬 수 있는 새로운 학습 패러다임을 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 여러 개의 decoupled 모델이 서로를 감독하는 Co-RL 프레임워크를 제안하며, 특히 모델 간의 오류를 서로 교정할 수 있도록 유도합니다 [Figure 3]. 이 방법론은 각 에이전트가 다른 에이전트의 majority-vote 결과물에 동의할 때 보상을 할당하며, 이를 통해 동료 에이전트의 독립적인inductive bias를 학습 신호로 활용합니다 [Figure 2]. 주요 실험 결과, Co-RL은 7개의 text-only 벤치마크에서 기존 LLM 모델 대비 평균 3.0–8.6% 의 성능 향상을 보였으며, Self-rewarding 베이스라인 대비 0.8–2.0% 앞서는 성능을 달성했습니다. 또한 multimodal 도메인에서도 5개 VLM 모델에 적용하여 2.3–7.2% 의 성능 개선을 확인했습니다. 기존의 단일 모델 기반 기법과 달리, Co-RL은 이론적으로 정교한 Cross-agent Supervision을 통해 올바른 정답으로 수렴하는 basin of attraction을 대폭 확장하는 효과를 입증했습니다 [Figure 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 다중 에이전트 간의 협력적 학습을 통해 외부 레이블 없이도 고도화된 추론 능력이 창발될 수 있음을 수학적, 실험적으로 증명했습니다. 저자들은 Cohort Diversity를 극대화하는 것이 모델 간 오류의 상관관계를 낮추고, 결과적으로 모델이 편향에 갇히지 않게 하는 핵심 요소임을 강조합니다. 이 프레임워크는 비용이 많이 드는 ground-truth 주석 없이도 다양한 도메인에서 모델의 추론 성능을 향상할 수 있는 강력하고 범용적인 솔루션을 제시하며, 향후 대규모 모델의 자율적 지능 개발에 중요한 이정표가 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.