[논문리뷰] IntBMoE: Integrating Block-Level Conditioning into Expert Composition for Full-Participation Mixture-of-Experts본 논문은 기존의 MoE(Mixture-of-Experts) 아키텍처들이 Participation, Execution, Materialization이라는 세 가지 핵심 지표를 독립적으로 제어하지 못하는 근본적인 한계를 해결하고자 합니다 .#Review#Mixture-of-Experts#Expert Composition#Hypernetwork#Block-Level Conditioning#Sparse Routing#Full Participation#Parameter Materialization2026년 9월 20일댓글 수 로딩 중
[논문리뷰] Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts RoutingSparse Mixture-of-Experts (MoE) 모델에서 전문가들의 공동 선택은 흔히 '기하학적 보완성(geometric complementarity)'으로 설명되는데, 이는 선택된 전문가들이 서로 다른 표현 방향을 담당한다는 가정에 기반합니다 .#Review#Mixture-of-Experts#Sparse Routing#Expert Subspaces#Geometric Complementarity#Route Coherence2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Efficient Continual Learning in Language Models via Thalamically Routed Cortical Columns배포된 언어 모델(LLMs)이 비정상 데이터(non-stationary data) 환경에서 겪는 치명적 망각(catastrophic forgetting) 문제를 해결하고, 기존의 높은 지연 시간, 메모리 사용량, 밀집 연산 문제를 야기하는 지속 학습 방법론의 한계를 극복하고자 합니다.#Review#Continual Learning#Language Models#Sparse Routing#Cortical Columns#Thalamic Routing#Catastrophic Forgetting#Stability-Plasticity2026년 2월 26일댓글 수 로딩 중
[논문리뷰] The Illusion of Specialization: Unveiling the Domain-Invariant 'Standing Committee' in Mixture-of-Experts Models본 연구는 MoE(Mixture-of-Experts) 모델 이 희소 라우팅을 통해 도메인 특화(domain specialization)를 달성한다는 일반적인 가정에 의문을 제기합니다.#Review#Mixture-of-Experts (MoE)#Sparse Routing#Domain Specialization#Load Balancing#Interpretability#Standing Committee#LLM2026년 1월 8일댓글 수 로딩 중