[논문리뷰] Scaling Behavior of Discrete Diffusion Language ModelsarXiv에 게시된 'Scaling Behavior of Discrete Diffusion Language Models' 논문에 대한 자세한 리뷰입니다.#Review#Discrete Diffusion Models#Scaling Laws#Language Models#Masked Diffusion#Uniform Diffusion#Hyperparameter Tuning#Compute-Optimal Training2025년 12월 14일댓글 수 로딩 중
[논문리뷰] Training Dynamics Impact Post-Training Quantization RobustnessJonas Geiping이 arXiv에 게시한 'Training Dynamics Impact Post-Training Quantization Robustness' 논문에 대한 자세한 리뷰입니다.#Review#Post-Training Quantization#Quantization Robustness#Training Dynamics#Learning Rate Schedules#Weight Averaging#Large Language Models#LLMs#Hyperparameter Tuning2025년 10월 8일댓글 수 로딩 중
[논문리뷰] Fantastic Pretraining Optimizers and Where to Find ThemPercy Liang이 arXiv에 게시한 'Fantastic Pretraining Optimizers and Where to Find Them' 논문에 대한 자세한 리뷰입니다.#Review#Deep Learning Optimizers#Large Language Models#Hyperparameter Tuning#Pretraining Speedup#Scaling Laws#AdamW#Matrix-based Optimizers#Data-to-Model Ratio2025년 9월 3일댓글 수 로딩 중
[논문리뷰] Benchmarking Optimizers for Large Language Model Pretrainingmjaggi이 arXiv에 게시한 'Benchmarking Optimizers for Large Language Model Pretraining' 논문에 대한 자세한 리뷰입니다.#Review#LLM Optimizers#Benchmarking#Hyperparameter Tuning#AdamW#AdEMAMix#MARS#Mixture of Experts (MoE)#Weight Decay2025년 9월 3일댓글 수 로딩 중