[논문리뷰] Long-Horizon RL Needs Muon

링크: 논문 PDF로 바로 열기

저자: Kai Ruan, Jinghao Lin, Tao Chen, Ziqi Zhou, Qianshan Wei, Zihe Huang

1. Key Terms & Definitions (핵심 용어 및 정의)

• Muon: Hidden layer의 가중치 행렬에 대한 적응형 optimizer로, spectral-norm 기반의 근사적인 직교화를 수행하여 학습 안정성을 높이는 기법입니다.
• SPO (Single-stream Policy Optimization): 단일 rollout에서 수집된 데이터를 사용하여 비동기적으로 정책을 업데이트하는 RL 프레임워크입니다.
• TIS (Truncated Importance Sampling): 학습 정책과 rollout 정책 간의 분포 차이를 보정하기 위해, importance ratio에 상한선(C=2)을 두어 weight를 계산하는 기법입니다.
• Outcome Reward: 소프트웨어 엔지니어링 작업에서 최종 patch가 테스트 케이스를 통과하는지 여부에 따른 이진(binary) 보상입니다.
• Length/Tool-error Penalty: 에이전트의 응답 길이를 제한하거나, 잘못된 도구 사용 및 실행 에러를 억제하기 위해 보상에 추가하는 auxiliary penalty입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 긴 호흡의 의사결정이 필요한 Long-Horizon 환경에서 sparse한 Outcome Reward를 효율적으로 학습하는 문제를 다룹니다. 기존의 SPO 기반 모델들은 비동기적(asynchronous) 학습 과정에서 발생하는 정책 지연(policy lag)과 trajectory 길이의 불균형으로 인해 성능 향상에 한계를 보입니다 [Figure 1]. 저자들은 기존의 Adam optimizer와 SPO baseline만으로는 복잡한 소프트웨어 리포지토리 수준의 이슈 해결 능력을 충분히 확보하기 어렵다고 판단했습니다. 따라서 최적화 효율을 개선하고 학습 성능을 극대화하기 위해 새로운 Muon 기반의 학습 레시피를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Muon optimizer, TIS, auxiliary penalty, 그리고 token-level loss aggregation을 통합한 새로운 학습 레시피를 제안합니다 [Figure 1]. Muon은 Newton-Schulz iteration을 통해 SVD를 직접 계산하지 않고 행렬 gradient를 근사적으로 직교화하여 학습을 가속화합니다. 실험 결과, MiniCPM5-2B 및 Qwen3.5-4B 모델에서 제안된 full recipe가 기존의 SPO + Adam baseline 대비 더 높은 training success rate를 기록했습니다 [Figure 2]. 특히, TIS를 적용하고 token-level로 loss를 평균화하는 방식이 trajectory 길이 차이를 효과적으로 보정함을 입증했습니다 [Figure 4], [Figure 5]. 구체적으로, auxiliary penalty(length 및 tool-error)는 에이전트의 불필요한 응답을 억제하여 학습 효율을 크게 개선하는 것으로 나타났습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Muon optimizer를 Single-rollout 환경에 성공적으로 도입함으로써, Long-Horizon 에이전트 학습의 안정성과 성능을 비약적으로 높일 수 있음을 증명했습니다. 제안된 학습 레시피는 복잡한 소프트웨어 엔지니어링 도구 사용 환경에서 데이터 효율적인 정책 개선이 가능함을 보여주었습니다. 이 연구는 LLM 기반 에이전트의 강화학습 최적화 과정에서 optimizer 선택과 보상 설계가 성능에 미치는 핵심적인 영향을 명확히 규명했습니다. 향후 더 긴 호흡의 작업이나 다양한 에이전트 환경으로의 확장 가능성을 열어두었다는 점에서 학계 및 산업계 에이전트 RL 연구에 중요한 기여를 합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.