[논문리뷰] Toto 2.0: Time Series Forecasting Enters the Scaling Era본 논문은 TSFM(Time Series Foundation Models)이 NLP나 Vision 모델과 달리 모델 크기가 커져도 예측 성능이 정체되거나 저하되는 Scaling의 불확실성 문제를 해결하고자 합니다.#Review#Time Series Foundation Models#Scaling Laws#Contiguous Patch Masking#u-μP#Quantile Output Head#NorMuon#Observability Metrics2026년 5월 20일댓글 수 로딩 중
[논문리뷰] NorMuon: Making Muon more efficient and scalable대규모 언어 모델(LLM) 훈련 효율성 향상을 위해 기존 Muon 옵티마이저의 한계를 극복하는 것이 목표입니다. Muon이 업데이트의 컨디셔닝을 개선하지만 뉴런별 업데이트 노름의 분산이 크다는 문제를 해결하고, 이를 통해 훈련 동역학을 더욱 균형 있게 만들어 전반적인 수렴 속도와 확장성을 높이고자 합니다.#Review#LLM Training#Optimizer#Muon#Orthogonalization#Adaptive Learning Rates#Distributed Training#FSDP2#NorMuon2025년 10월 9일댓글 수 로딩 중