[논문리뷰] Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR

링크: 논문 PDF로 바로 열기

메타데이터

저자: Youngjun Yu, Sanghwan Jang, Hwanjo Yu

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): 모델이 생성한 추론 경로에 대해 검증 가능한 보상을 통해 정책을 최적화하는 학습 프레임워크입니다.
• Pass@k (Reasoning Coverage): 모델이 k개의 샘플을 생성했을 때, 적어도 하나 이상의 정답을 포함할 확률을 의미하며 모델의 내재적 추론 범위를 나타내는 지표입니다.
• Tree-Structured Rollout: 고정된 병렬 샘플링 방식 대신, 추론 과정의 중간 단계에서 분기(Forking)를 생성하여 탐색 범위를 넓히는 구조적 샘플링 기법입니다.
• Localization Phenomenon: 고엔트로피 토큰이 특정 구간에만 밀집되어 나타남으로써, 탐색이 좁은 영역에 갇혀 효율성이 떨어지는 현상을 의미합니다.
• SibDiv (Sibling Diversity): 동일한 분기점에서 생성된 형제 블록(Sibling blocks) 간의 임베딩 코사인 거리를 측정하여 의미적 다양성을 평가하는 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 RLVR이 단일 샘플 정확도(avg@k)는 향상시키지만, 모델의 근본적인 추론 범위(pass@k)를 충분히 확장하지 못하는 문제를 해결하고자 합니다. 기존 연구들은 최적화 과정에 집중할 뿐, 학습 시의 롤아웃(rollout) 구조를 고정된 병렬 방식으로 유지하여 탐색이 제한적이라는 한계가 있습니다. 특히 문제의 난이도와 무관하게 고정된 자원을 할당하는 기존 방식은 어려운 문제에 대한 충분한 탐색을 저해합니다. 저자들은 학습 시의 롤아웃 구조를 체계적으로 분석하여 추론 범위를 극대화할 수 있는 설계 원칙을 도출하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 DATPO (Difficulty-Adaptive Sentence-entropy-guided Tree-structured Policy Optimization)를 제안하여 추론 범위를 확장합니다. DATPO는 문제 난이도에 따라 동적으로 탐색 자원을 할당하는 Difficulty-Adaptive Tree Search와, 토큰 수준의 탐색 한계를 극복하기 위해 문장 수준의 엔트로피를 활용하는 Sentence-entropy-guided forking을 결합했습니다 [Figure 3]. 또한, 학습 시 모델이 의미적으로 다양한 경로를 탐색하도록 유도하기 위해 Sibling-diversity 보너스를 포함한 Block-level Advantage Estimation을 도입했습니다 [Table 1]. 실험 결과, DATPO는 수학적 추론 벤치마크에서 기존의 GRPO, TreeRL, AttnRL 등의 베이스라인 대비 압도적인 pass@kk 성능 향상을 보였습니다 [Table 2]. 특히 Qwen3-4B-Base 모델 환경에서 pass@64 지표 기준, 최상위 베이스라인 대비 약 3% 이상의 성능 우위를 기록하며 superior test-time scaling 성능을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 RLVR 학습 과정에서 롤아웃의 구조적 설계가 모델의 추론 범위 확장에 결정적인 역할을 함을 증명했습니다. DATPO 프레임워크를 통해 난이도에 최적화된 트리 기반 탐색과 다양성 중심의 보상을 통합함으로써, 기존 모델들이 도달하지 못했던 더 넓은 추론 공간을 효과적으로 탐색할 수 있음을 보여주었습니다. 이 연구는 대규모 추론 모델의 학습 효율성을 극대화하고, 복잡한 문제 해결 능력을 향상시키는 새로운 방향성을 제시하여 학계 및 LLM 개발 현장에 중요한 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.