[논문리뷰] Distributionally Robust Mixture-of-Experts Training본 논문은 기존 MoE 모델이 로드 밸런싱(Load Balancing)을 통해 통계적 균형만을 강조할 뿐, 실제 라우팅 과정에서 발생하는 '비최적 expert 선택' 문제에는 취약하다는 점을 지적합니다 .#Review#Mixture-of-Experts#Distributionally Robust Optimization#Routing Robustness#Sparse LLMs#Expert Specialization#Load Balancing2026년 10월 11일댓글 수 로딩 중