[논문리뷰] MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement

링크: 논문 PDF로 바로 열기

메타데이터

저자: Core Team, Zongming Qiao, Ziyue Hua, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• MiMo-V2.6: Xiaomi에서 개발한 옴니 모달(omni-modal) 기초 모델 시리즈로, Reinforcement Learning을 통한 자기 개선(Self-Improvement)을 목표로 함.
• Hybrid-SWA Architecture: Local Sliding Window Attention과 Global Attention을 교차 배치하여 정보 전달 효율과 계산 비용을 최적화한 Transformer 기반 구조.
• Groupwise Agentic Grading (GAG): 긴 호흡의 작업에서 정밀한 보상을 제공하기 위해 동일 그룹 내 솔루션들을 비교하여 평가하는 기법으로, Groupwise Reward Synthesis (GRS) 및 Groupwise Advantage Redistribution (GAR)를 포함함.
• MTP (Multi-Token Prediction): 모델의 추론 속도 향상을 위해 한 번의 forward pass에서 여러 토큰을 예측하도록 설계된 모듈.
• Muown Optimizer: Muon 최적화 기법에 명시적 row-norm 제어를 추가하여 대규모 배치 RL 학습 시의 불안정성을 완화하는 최적화 알고리즘.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Large Foundation Models의 지능을 한 단계 더 높이기 위한 핵심 동력으로서 Reinforcement Learning을 활용한 자기 개선 능력을 구현하는 것을 목표로 한다. 기존 연구들은 대규모 RL 학습 시 환경 탐색 공간의 제약과 인프라의 확장성 부족으로 인해 모델 성능 향상에 한계를 겪어왔다. 특히 RL 학습 과정에서 보상 모델의 정확도 부족이나 학습 불안정성은 고차원적인 에이전트 작업 수행을 저해하는 주요 요소이다. 이를 해결하기 위해 저자들은 대규모 RL 컴퓨팅, 다각화된 에이전트 환경, 정교한 등급 산정 체계를 결합한 MiMo-V2.6 아키텍처와 학습 프레임워크를 제안한다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 RL 학습 컴퓨팅을 세 가지 차원에서 확장하여 모델의 지능을 극대화했다. 첫째, 1,568개의 프롬프트와 그룹 사이즈(G=16)를 사용하여 1M context length까지 처리하는 완전 비동기식 대규모 배치 학습을 구현하였다. 둘째, 코드, 일반, 시각, 사이버 보안 등 다양한 도메인을 포괄하는 에이전트 harness를 설계하여 모델의 일반화 능력을 강화했다. 셋째, 기존의 이분법적 보상을 넘어선 Groupwise Agentic Grading을 도입하여, 작업 품질에 따른 미세한 차이를 학습 신호로 변환함으로써 효율적인 솔루션을 유도했다. 실험 결과, MiMo-V2.6-Pro는 DeepSWE 벤치마크에서 기존 대비 58.4에서 72.6으로, MiMo-V2.6-Flash는 48.7에서 65.7로 average@3 점수가 크게 향상되었다 [Figure 3]. 이러한 성능 향상은 코드 생성뿐만 아니라 자동화 작업 및 사이버 보안 등 다양한 에이전트 작업에서 일관되게 관찰되었다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 MiMo-V2.6을 통해 대규모 RL 학습이 자기 개선을 위한 실질적인 경로임을 입증하였다. 연구진이 제안한 인프라와 Groupwise Agentic Grading은 복잡한 에이전트 작업에서 고품질의 학습 신호를 생성하는 데 매우 효과적임을 증명했다. 특히, 학습과 추론의 일관성을 유지하면서도 대규모 병렬 처리를 가능케 한 아키텍처 설계는 차세대 Agentic RL 연구의 강력한 토대를 마련했다. 본 연구 결과와 오픈소스 도구들은 향후 기초 모델의 지능을 지속적으로 고도화하려는 학계 및 산업계 연구자들에게 중요한 표준 베이스라인을 제공할 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.