[논문리뷰] Scaling Large Reasoning Models beyond Human Supervision: A Path toward Superintelligence

링크: 논문 PDF로 바로 열기

저자: Zhiqin Yang, Jingwen Fu, Yuhan Liu, Hengyu Liu, Yonggang Zhang, Kainan Cao, Zizhuo Zhang, Chenxin Li, Ruibin Yuan, Jiahao Pan, Jiankai Sun, Zhenyuan Zhang, Yibo Li, Yunlong Lin, Jing Xiong, Sida Lin, Bo Han, Wei Xue, Yike Guo

1. Key Terms & Definitions (핵심 용어 및 정의)

• Large Reasoning Models (LRMs): 대규모 Pretraining과 Reinforcement Learning, 그리고 증가된 Inference-time Computation을 결합하여 수학 및 코드와 같은 영역에서 추론 능력을 향상시킨 모델을 지칭합니다.
• Reinforcement Learning with Verifiable Rewards (RLVR): 결과의 정확성을 자동적으로 확인할 수 있는 Reward를 활용하는 Reinforcement Learning 방식으로, 예를 들어 수학 문제의 정답 비교나 생성된 코드의 실행 테스트 등이 포함됩니다.
• Reward Axis: 인간의 Supervision을 넘어 모델 확장을 분석하는 두 가지 주요 차원 중 하나로, 행동을 평가하는 데 사용되는 증거의 진화를 다루며, Per-instance Human Judgement에서 재사용 가능한 Verifier 및 Human-free Reward로 전환되는 과정을 의미합니다.
• Experience Axis: 인간이 큐레이팅한 Task 및 Environment에서 Self-generated Curriculum, 구성된 Environment, 그리고 Autonomous Co-evolution으로 학습이 어떻게 진화하는지를 탐구하는 또 다른 차원입니다.
• Receding Supervision Ladder (L0-L4): Reward 획득과 Experience 생성에서 인간의 지속적인 개입이 줄어드는 정도에 따라 Large Reasoning Models의 학습 루프가 진행되는 다섯 가지 레벨의 프레임워크입니다. [cite: 1, Figure 1]

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Large Reasoning Models (LRMs)가 인간의 Supervision이 모델 생성 경험의 규모와 복잡성을 따라잡기 어려워지는 상황에서도 추론 능력을 지속적으로 향상시킬 수 있는 방법을 모색합니다. 기존의 Reinforcement Learning with Verifiable Rewards (RLVR) 방식은 수학 및 코드와 같이 결과가 결정론적으로 검증 가능한 Task에서는 효과적이지만, Creative Writing, Open-ended Question Answering, 그리고 복잡한 Agent Interaction과 같은 영역에서는 신뢰할 수 있는 Reward를 얻기 어렵다는 한계에 직면합니다. 이러한 Task들은 여러 유효한 결과를 허용하며, 추론 과정이 길어지고 상호작용이 복잡해질수록 직접적인 인간의 평가(Human Evaluation)는 비용이 많이 들고 비실용적입니다. 심지어 Task 난이도가 전문가 수준을 넘어서면 평가자도 모델의 오류를 식별하고 출력을 안정적으로 평가하기 위해 모델의 지원을 필요로 할 수 있습니다. 따라서, 단순히 값비싼 Label을 저렴한 Score로 대체하는 것을 넘어, 인간의 판단과 설계가 전체 학습 경험 스트림을 더 이상 감당할 수 없을 때에도 의미 있는 모델 개선을 지속할 수 있는 새로운 접근 방식이 필요합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 인간의 Supervision을 넘어선 LRMs의 Scaling 문제를 해결하기 위해 Reward Axis와 Experience Axis라는 두 가지 상호 연결된 차원을 기반으로 한 5단계 Receding Supervision Ladder (L0-L4) 프레임워크를 제안합니다. [cite: 1, Figure 1] 이 프레임워크는 학습 과정에서 인간의 지속적인 개입이 필요한 부분을 식별하여, L0의 Per-instance Human Supervision부터 L4의 Autonomous Co-evolution까지 모델이 발전하는 경로를 체계적으로 설명합니다.

Reward Axis는 모델이 행동을 평가하는 데 사용하는 증거의 출처를 추적하며, 크게 세 가지 Reward Source를 제시합니다. [cite: 1, Figure 3] 첫째, Model-derived Signals은 모델 자체의 예측 분포(예: Intrinsic Certainty 및 Answer-level Consensus)에서 Reward를 도출합니다. 예를 들어, Entropy Minimization (EM-RL)은 생성된 Trajectory의 Sequence Likelihood 또는 Token Entropy를 Reward로 사용하여 모델이 확신하는 방향으로 학습을 유도합니다. 또한 Test-time Reinforcement Learning (TTRL)은 여러 샘플 간의 합의(Majority Vote)를 Reward Signal로 활용합니다. 둘째, Reference-anchored Signals은 기존의 Reference Answer에 기반하여 Reward를 측정하며, JEPO (Jensen’s Inequality Policy Optimization)와 같은 방법론은 추론 과정을 Latent Variable로 처리하여 Reference의 Marginal Likelihood를 최적화합니다. 셋째, Environment-grounded Signals은 코드 실행 결과, 게임 승패, 또는 공식적인 Verification과 같은 환경 내의 Observable Consequences를 Reward로 사용합니다. 예를 들어, DeepSeekMath 및 DeepSeek-R1은 Rule-based Reward를 통해 수학적 추론 및 코드 생성에서 상당한 성능 향상을 달성했습니다.

Experience Axis는 학습 경험이 생성되거나 발견되는 방식을 다루며, Fixed Human-designed Experience (L2)에서 Self-generated Tasks 및 Environments (L3), 그리고 최종적으로 Autonomous Co-evolution (L4)으로 나아갑니다. [cite: 1, Figure 2, Figure 4] 주요 방법론으로는 Self-Instruct 및 Evol-Instruct와 같은 Self-generated Reasoning Traces 및 Instruction Data 생성이 있습니다. 또한 Proposer-and-Solver Self-play 방식에서는 모델이 Task를 제안하고 해결하는 역할을 번갈아 수행하며 Learnability Signal (Eq. 18)을 통해 중간 난이도의 Task를 선호하도록 Curriculum을 조절합니다. 예를 들어, Absolute Zero Reasoner (AZR)는 Proposer와 Solver 역할을 모두 모델이 담당하여 Environment-validated Feedback과 Learnability Score를 결합하여 Solver의 역량 한계를 목표로 합니다. 이러한 방법론들은 Per-instance Human Supervision의 필요성을 줄이고, Quantitative하게 모델의 추론 능력 및 학습 효율성을 향상시키는 것을 목표로 합니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Large Reasoning Models의 학습을 인간의 직접적인 Supervision을 넘어 확장하는 문제에 대해 Reward Axis와 Experience Axis라는 두 가지 상호 연결된 관점에서 분석합니다. 이 연구는 재사용 가능한 Evaluator, Model-derived Signal, Reference-anchored Signal, Environment-grounded Signal을 통해 Reward 획득의 확장 가능성을 제시하는 한편, Task Generation 및 Environment Construction을 통해 경험 스트림의 적응성을 높이는 방안을 탐구합니다. 이러한 변화는 모델의 확장성(Scalability)을 증대시키지만, 동시에 Reward Hacking, Feedback Drift, Curriculum Collapse, Environment Errors와 같은 새로운 형태의 Failure Mode를 초래할 수 있습니다.

따라서, 저자들은 Policy Capability, Feedback Fidelity, Experience Quality의 세 가지 요소를 포괄하는 다면적 Evaluation Framework를 제안하여, 자율 학습 시스템의 신뢰성과 안전성을 보장할 필요성을 강조합니다. [cite: 1, Figure 5] 이 연구는 Superintelligence를 향한 Self-sustaining Learning System 개발에 있어 현재의 접근 방식과 미해결 과제를 체계적으로 정리하는 데 기여합니다. 최종적으로, 인간의 의도는 학습 루프에서 사라지지 않고 목표, 초기 데이터, 도구, 환경, 안전 제약 및 독립적인 감사(Independent Audits)와 같은 형태로 재배치되어야 함을 강조하며, 이는 고도의 자율성을 가진 시스템에서도 신뢰성 있는 능력 성장을 담보하기 위한 핵심 시사점을 제공합니다.

Figure 1 — Receding-Supervision Ladder

Figure 2 — Ladder별 대표 방법론

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.