[논문리뷰] On Surprising Effectiveness of Masking Updates in Adaptive Optimizers대규모 언어 모델(LLM) 학습에 주로 사용되는 밀집형 적응적 옵티마이저의 한계에 도전하고, 무작위 업데이트 마스킹이 최적화 성능을 향상시킬 수 있음을 입증하는 것이 목표입니다. 특히, 모멘텀-그래디언트 정렬을 활용하는 새로운 마스킹 기법인 Magma 를 제안하여 LLM 훈련의 안정성과 일반화 성능을 개선하고자 합니다.#Review#Adaptive Optimizers#Gradient Masking#LLM Training#Geometric Regularization#Momentum Alignment#RMSProp#Perplexity#Deep Learning2026년 2월 17일댓글 수 로딩 중
[논문리뷰] DiG-Flow: Discrepancy-Guided Flow Matching for Robust VLA ModelsVision-Language-Action (VLA) 모델이 분포 변화 및 복잡한 다단계 로봇 조작 태스크에서 성능 저하를 겪는 문제를 해결하고자 합니다. 이는 학습된 표현이 태스크 관련 의미를 견고하게 포착하지 못하기 때문이며, 본 논문은 기하학적 정규화 를 통해 VLA 모델의 견고성을 향상시키는 것을 목표로 합니다.#Review#VLA Models#Flow Matching#Robotics#Robustness#Distribution Shift#Wasserstein Distance#Geometric Regularization#Representation Learning2025년 12월 2일댓글 수 로딩 중