[논문리뷰] Dion3: Full-Stack Orthogonal Updates본 논문은 최신 LLM 학습에서 탁월한 성능을 발휘하는 Muon 옵티마이저가 겪는 높은 계산 및 통신 비용 문제를 해결하기 위해 고안되었습니다.#Review#Muon Optimizer#Orthogonalization#Newton-Schulz#Gram Matrix#GPU Kernels#Distributed Training#Low-rank Approximation2026년 8월 16일댓글 수 로딩 중
[논문리뷰] NorMuon: Making Muon more efficient and scalable대규모 언어 모델(LLM) 훈련 효율성 향상을 위해 기존 Muon 옵티마이저의 한계를 극복하는 것이 목표입니다. Muon이 업데이트의 컨디셔닝을 개선하지만 뉴런별 업데이트 노름의 분산이 크다는 문제를 해결하고, 이를 통해 훈련 동역학을 더욱 균형 있게 만들어 전반적인 수렴 속도와 확장성을 높이고자 합니다.#Review#LLM Training#Optimizer#Muon#Orthogonalization#Adaptive Learning Rates#Distributed Training#FSDP2#NorMuon2025년 10월 9일댓글 수 로딩 중