[논문리뷰] Factored One-sided Adam-Moment for Practical and Scalable SOAP본 논문의 핵심 문제는 SOAP의 optimization 품질을 유지하면서 비용을 AdamW 수준으로 낮출 수 있는지입니다. SOAP는 AdamW보다 per-step convergence가 빠르지만, 대가가 큽니다.#Review#Second-order Optimization#SOAP#Shampoo#Kronecker-factored Preconditioning#K-FAC#Factored Second Moment#LLM Pre-training#Optimizer Memory Efficiency2026년 11월 12일댓글 수 로딩 중
[논문리뷰] Beyond Outliers: A Study of Optimizers Under Quantization대규모 언어 모델(LLMs)의 효율적인 배포를 위해 Quantization 이 필수가 됨에 따라, 옵티마이저 선택 이 양자화 성능에 미치는 영향을 체계적으로 분석하는 것을 목표로 합니다.#Review#Quantization#Optimizers#LLM#Post-Training Quantization (PTQ)#Quantization-Aware Training (QAT)#Error Propagation#Scaling Laws#Shampoo2025년 10월 10일댓글 수 로딩 중