[논문리뷰] How to Loop MoE: Flatten the Experts, Untie the Attention본 논문은 제한된 메모리와 파라미터 상황에서 모델의 연산 깊이를 효과적으로 늘리기 위한 Looped MoE 모델 설계 최적화 문제를 해결하고자 한다. 기존의 Looped MoE 연구는 고정된 레이어 구조에서 공유된 Attention과 전문가를 재사용함에 따라 성능 향상에 한계를 보인다 .#Review#Looped Transformers#Sparse Mixture-of-Experts (MoE)#Parameter Efficiency#Routing#Expert Flattening#Attention Untying2026년 10월 5일댓글 수 로딩 중