[논문리뷰] Your LR Schedule May Not Be Principled: Effective Learning Rate Scheduling in Weight-Normalized Training본 연구는 Weight-Normalized (WN) 학습이 기존 Weight Decay (WD) 기법과 달리 왜 특정한 학습률 스케줄에서 다른 성능을 보이는지 그 근본 원인을 규명하고자 합니다.#Review#Weight-Normalized Training#Effective Learning Rate#Learning Rate Scheduling#AIR#Directional Alignment#LLM Pretraining2026년 10월 29일댓글 수 로딩 중