[논문리뷰] Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts본 논문은 Looped Mixture-of-Experts(MoE) 모델이 왜 기존 연구들에서 2개 루프 이상으로 확장하기 어려운지 그 근본 원인을 진단하고 해결책을 제시합니다. 기존의 Looped MoE 접근 방식은 추가적인 연산량 대비 성능 향상이 미미하거나 오히려 성능이 하락하는 문제를 겪어왔습니다.#Review#Looped Transformers#Mixture-of-Experts#Recurrent Depth#Computational Efficiency#Scaling Laws#Expert Selection Collapse#Curse of Depth2026년 10월 4일댓글 수 로딩 중