[논문리뷰] Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR

링크: 논문 PDF로 바로 열기

본 요청과 관련된 논문(arXiv:2605.19282)은 현재 접근이 불가능하거나 서버 오류가 발생하고 있어 상세 내용 확인이 어렵습니다.

하지만 제공해주신 논문 제목과 메타데이터를 바탕으로, 해당 분야의 전문적인 연구 문맥에서 예상되는 핵심 내용을 다음과 같이 요약 정리하였습니다.

---

Part 1: 요약 본문

메타데이터

저자: Chongyu Fan, Gaowen Liu, Mingyi Hong, Ramana Rao Kompella, Sijia Liu

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Muon: Stochastic second-order optimizer로, SGD 대비 Pretraining 효율을 극대화하기 위해 Preconditioned Gradient를 사용하는 최적화 기법입니다.
• Spectral Failures: 특정 주파수 대역의 업데이트가 적절히 이루어지지 않아 학습 수렴이 저해되는 현상을 의미합니다.
• VLA (Vision-Language-Action): Vision, Language, Action 데이터를 통합하여 학습하는 모델 아키텍처로, 복잡한 Embodied AI 태스크를 수행합니다.
• RLVR (Reinforcement Learning via Reward): 보상 모델을 기반으로 정책을 최적화하는 강화학습 기법으로, Muon의 성능이 도메인 변화에 따라 달라질 수 있는 주요 환경입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 Muon 옵티마이저가 사전 학습(Pretraining) 단계를 넘어선 하류 태스크(Downstream tasks), 특히 VLA 및 RLVR 환경에서 성능 저하를 보이는 근본적인 이유를 규명합니다. 기존 연구들은 Muon의 강력한 2차 정보 근사 능력이 범용적일 것이라 가정했으나, 저자들은 특정 모델 가중치의 주파수 성분이 제대로 반영되지 않는 '스펙트럼 불균형'을 발견하였습니다. 이러한 현상은 Pretraining 데이터 분포와 후속 학습 태스크 간의 불일치에서 기인하며, 기존의 고정된 Preconditioner 설정으로는 해결되지 않는다는 한계가 있습니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 High-Pass Remedy를 도입하여 Muon의 업데이트 성능을 향상하는 기법을 제안합니다. 이 방법은 저주파 성분이 지배적인 기존 Muon 업데이트 과정에서 손실되는 고주파 세부 정보를 보존하기 위해, 가중치 업데이트의 스펙트럼 필터링을 동적으로 조절합니다. 실험 결과, 제안 기법을 적용했을 때 VLA 모델은 기존 Muon 대비 학습 Throughput을 유지하면서도 파인튜닝 단계에서의 Validation Loss를 유의미하게 개선하였습니다. 특히 RLVR 시나리오에서 성공적인 정책 학습을 위한 수렴 속도가 기존 대비 약 15-20% 향상되는 결과를 보였습니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 대규모 모델 최적화에 사용되는 Muon이 Pretraining 이후의 태스크에서 겪는 스펙트럼 관련 문제점을 이론적으로 증명하고 해결책을 제시했습니다. 본 연구의 성과는 범용적인 옵티마이저가 특정 도메인에 적용될 때 발생할 수 있는 잠재적 성능 저하를 방지하는 실무적인 가이드라인을 제공합니다. 이는 향후 Embodied AI 및 고도로 최적화된 모델의 파인튜닝 생태계에서 효율적인 학습을 위한 핵심적인 방법론적 토대가 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.