[논문리뷰] Muon Makes the First Mixture-of-Experts Layer Harder to Balance본 논문은 최신 open MoE 언어 모델들이 학습 시 AdamW 대신 Muon을 채택함에 따라 발생하는 MoE 레이어의 부하 균형 문제에 주목한다.#Review#Mixture-of-Experts#Muon#AdamW#Router#Load Balancing#Bias#Optimizer2026년 11월 3일댓글 수 로딩 중
[논문리뷰] Long-Horizon RL Needs Muon본 논문은 긴 호흡의 의사결정이 필요한 Long-Horizon 환경에서 sparse한 Outcome Reward를 효율적으로 학습하는 문제를 다룹니다.#Review#Long-Horizon RL#Muon#Single-stream Policy Optimization#Agentic RL#Software Engineering Agents#Reward Shaping2026년 10월 14일댓글 수 로딩 중
[논문리뷰] When Does Muon Help Agentic Reinforcement Learning?본 논문은 Muon 최적화 기법이 대규모 사전 학습(Pre-training)에서는 성공적이나, Reinforcement Learning(RL) 기반의 사후 학습(Post-training) 단계에서는 성능 향상이 불확실하고 때로는 불안정하다는 문제를 해결하고자 합니다.#Review#Muon#Agentic Reinforcement Learning#GiGPO#Advantage Estimator#Credit Assignment#Qwen2.5#ALFWorld2026년 7월 19일댓글 수 로딩 중
[논문리뷰] Why Muon Outperforms Adam: A Curvature Perspective본 논문은 LLM pretraining에서 Muon이 왜 Adam보다 약 2배 빠른 학습 효율을 보이는지, 그 근본적인 기하학적 이유를 규명하고자 합니다.#Review#Muon#Adam#Curvature#Normalized Directional Sharpness (NDS)#Large Language Model#Optimization Landscape#Hessian2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Rethinking Muon Beyond Pretraining: Spectral Failures and High-Pass Remedies for VLA and RLVR본 논문은 Muon 옵티마이저가 사전 학습(Pretraining) 단계를 넘어선 하류 태스크(Downstream tasks), 특히 VLA 및 RLVR 환경에서 성능 저하를 보이는 근본적인 이유를 규명합니다.#Review#Muon#Pretraining#Spectral Analysis#VLA#RLVR#Optimization#Deep Learning2026년 5월 24일댓글 수 로딩 중
[논문리뷰] Learnable Multipliers: Freeing the Scale of Language Model Matrix Layers대규모 언어 모델(LLM) 학습 시 Weight Decay(WD) 가 가중치 행렬의 스케일을 '노이즈-WD 평형' 상태에 고정시켜 데이터에 최적화된 스케일 학습을 방해하는 문제를 해결하는 것이 목표입니다.#Review#Large Language Models#Weight Decay#Learnable Multipliers#Scale Adaptation#Optimization#µP Parametrization#Adam#Muon2026년 1월 8일댓글 수 로딩 중
[논문리뷰] NorMuon: Making Muon more efficient and scalable대규모 언어 모델(LLM) 훈련 효율성 향상을 위해 기존 Muon 옵티마이저의 한계를 극복하는 것이 목표입니다. Muon이 업데이트의 컨디셔닝을 개선하지만 뉴런별 업데이트 노름의 분산이 크다는 문제를 해결하고, 이를 통해 훈련 동역학을 더욱 균형 있게 만들어 전반적인 수렴 속도와 확장성을 높이고자 합니다.#Review#LLM Training#Optimizer#Muon#Orthogonalization#Adaptive Learning Rates#Distributed Training#FSDP2#NorMuon2025년 10월 9일댓글 수 로딩 중