[논문리뷰] Factored One-sided Adam-Moment for Practical and Scalable SOAP본 논문의 핵심 문제는 SOAP의 optimization 품질을 유지하면서 비용을 AdamW 수준으로 낮출 수 있는지입니다. SOAP는 AdamW보다 per-step convergence가 빠르지만, 대가가 큽니다.#Review#Second-order Optimization#SOAP#Shampoo#Kronecker-factored Preconditioning#K-FAC#Factored Second Moment#LLM Pre-training#Optimizer Memory Efficiency2026년 11월 12일댓글 수 로딩 중