[논문리뷰] Where Should Optimizer State Live? Tiered State Allocation for Memory-Efficient Mixture-of-Experts Training본 논문은 Mixture-of-Experts (MoE) 모델 학습 시 발생하는 방대한 Optimizer state 메모리 점유 문제를 해결하기 위해 고안되었습니다.#Review#Mixture-of-Experts (MoE)#Optimizer State#Tiered Allocation#SkewAdam#Memory Efficiency#Factored Second Moments#Bfloat162026년 7월 21일댓글 수 로딩 중