[논문리뷰] Transferability for General Reasoning: An Automated Curriculum for Multi-Domain RLVR

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yongjin Yang, Jiarui Liu, Yinghui He, Lechen Zhang, Bernhard Schölkopf, Zhijing Jin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RLVR (Reinforcement Learning with Verifiable Rewards): 모델이 생성한 결과물의 정답 여부를 자동 검증 가능한 환경에서 수행하는 강화학습 기법으로, 수학·코드 등 추론 능력 향상에 주로 사용됩니다.
• GRPO (Group Relative Policy Optimization): 다수의 rollouts를 생성하여 각 reward를 그룹 내에서 정규화(Normalization)된 advantage로 변환함으로써, 연산 효율성을 높인 LLM RL 최적화 알고리즘입니다.
• Transfer-Aware Curriculum (TAC): 학습 데이터 도메인 간의 Gradient-geometry를 분석하여, 해당 도메인의 업데이트가 전체 도메인 성능 향상에 얼마나 기여하는지를 평가하고 샘플링 가중치를 자동으로 조정하는 학습 방법론입니다.
• Gradient-geometry Alignment: 특정 도메인의 학습 기울기(Gradient)가 전체 모델의 일반화 방향과 얼마나 일치하는지를 코사인 유사도(Cosine Similarity)로 측정한 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Multi-domain RLVR에서 도메인별 학습 효율과 일반화 성능이 불균일하다는 문제에 주목합니다 [Figure 1(a)]. 기존 연구들은 단순히 정책 학습이 활발하게 일어나는 도메인에 우선순위를 두는 Learnability 기반의 커리큘럼을 사용하지만, 이는 해당 업데이트가 타 도메인으로 전이(Transfer)되는지 여부를 무시한다는 한계가 있습니다. 결과적으로, 특정 도메인에만 과도하게 최적화(Over-commit)되거나 전체적인 추론 능력 향상이 저해되는 현상이 발생합니다. 저자들은 이러한 한계를 극복하기 위해 학습 시 발생하는 Gradient 정보를 활용하여 전이 능력을 정량적으로 평가하고, 이를 자동화된 샘플링 전략에 반영하고자 합니다 [Figure 1(b)].

Figure 1(b) — TAC의 핵심 알고리즘 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 TAC(Transfer-Aware Curriculum)를 제안하며, 이는 Multi-armed bandit 프레임워크를 기반으로 Local Learnability와 Global Transferability를 결합하여 도메인 샘플링을 최적화합니다. 제안된 방법은 학습 중에 생성되는 GRPO 기울기를 Random Projection을 통해 저차원으로 투영한 뒤, 도메인별 기울기 상태(Per-domain gradient state)의 코사인 유사도를 계산하여 전이 점수(Transferability score)를 도출합니다. 이 점수는 Local Learnability 지표와 결합되어 bandit 알고리즘의 피드백 신호로 활용되며, 이를 통해 전이 성능이 우수한 도메인이 높은 샘플링 확률을 갖도록 자동 설계됩니다.

실험 결과, TAC는 Qwen3-1.7B 및 Llama3.2-3B 모델을 사용한 6개 도메인 추론 실험에서 기존의 랜덤 샘플링 및 Learnability-only bandit 대비 우수한 성능을 보였습니다. 14개 벤치마크 기준, TAC는 평균 정확도를 최대 2.8점 (10% 상대적 상승) 개선하였으며, 학습 과정에서의 계산 오버헤드는 <<1% 미만으로 매우 효율적임을 입증했습니다 [Figure 1(a)]. 또한, 데이터 분포가 불균형한 상황에서도 TAC는 특정 도메인에 편향되지 않는 강건(Robust)함을 보여주었습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Cross-domain 전이 능력이 Multi-domain RLVR 커리큘럼 설계의 핵심 신호임을 규명하고, 이를 실시간으로 반영하는 TAC 프레임워크를 성공적으로 제안하였습니다. 이 연구는 고가의 컴퓨팅 자원 없이도 학습 데이터의 활용도를 최적화할 수 있는 실용적인 방법론을 제시했다는 점에서 큰 의의가 있습니다. 향후 대규모 언어 모델의 멀티태스킹 최적화 과정에서 데이터 효율성을 극대화하기 위한 표준적인 학습 기법으로 자리 잡을 것으로 기대됩니다.

Figure 1 — 도메인 간 전이 행렬 및 TAC의 성능 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.