[논문리뷰] Efficient RLVR Training via Weighted Mutual Information Data Selection

링크: 논문 PDF로 바로 열기

저자: Xinyu Zhou, Boyu Zhu, Haotian Zhang, Huiming Wang, Zhijiang Guo

핵심 연구 목표

본 논문은 대규모 언어 모델(LLMs)의 강화 학습(RL) 훈련 과정에서 발생하는 데이터 선택의 비효율성 문제를 해결하고자 합니다. 기존의 난이도 기반 휴리스틱이 인식론적 불확실성(epistemic uncertainty) 을 간과하여 학습 신뢰도를 저해하는 한계를 극복하고, 데이터의 난이도와 정보성을 통합적으로 고려하는 효율적인 데이터 선택 방법을 제안하는 것을 목표로 합니다.

핵심 방법론

저자들은 INSIGHT 라는 정보 기반 데이터 샘플링(INformation-guided data SamplInG) 방법을 제안합니다. 이는 가중 상호 정보량(Weighted Mutual Information, WMI) 객관함수를 기반으로 하며, 베이지안 잠재 성공률(Bayesian latent success rates) 로 데이터 결과를 모델링합니다. 이 방법은 예상 불확실성 감소를 난이도 및 증거 의존적 요소로 분해하고, 노이즈가 있는 샘플링 결과 대신 데이터 포인트 성공에 대한 평균 신념(mean belief of datapoints' success) 에 기반한 안정적인 획득 점수를 생성하며, 다중 롤아웃 RLVR(Reinforcement Learning with Verifiable Rewards) 설정으로 확장됩니다.

주요 결과

INSIGHT 는 다양한 벤치마크에서 기존 난이도 기반 휴리스틱 대비 뛰어난 성능을 보였습니다. 특히 기획 및 수학 벤치마크에서 평균 +1.41의 성능 향상 과 일반 추론에서 +1.01의 개선 을 달성했으며, 최대 약 2.2배의 훈련 가속화 를 이루었습니다. 예를 들어, Qwen3-0.6B 모델 은 Countdown 작업에서 +7.17%의 정확도 향상과 약 2.2배 빠른 훈련 속도 를 보였습니다.

AI 실무자를 위한 시사점

INSIGHT 는 RL 및 RLVR 훈련을 수행하는 AI/ML 엔지니어들에게 기존의 휴리스틱 기반 데이터 선택을 대체할 수 있는 원칙적이고 효율적인 대안 을 제공합니다. 이 방법론을 통해 LLM 훈련의 계산 비용과 시간 을 크게 줄이면서도 모델 성능을 향상시킬 수 있으며, 특히 소규모 모델 또는 저자원 환경 에서 큰 이점을 제공합니다. 난이도와 인식론적 불확실성을 동시에 고려하는 적응형 데이터 선택 은 정책 최적화의 안정성과 효율성을 높이는 데 핵심적인 역할을 합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.