[논문리뷰] SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization본 논문은 MoE의 개별 expert가 실제로 무엇을 책임지는지를 analyst가 사전에 정한 domain label이 아니라 모델 자체의 feature space에서 밝히고자 합니다.#Review#Mixture-of-Experts#Sparse Autoencoder#Expert Specialization#Mechanistic Interpretability#Auto-interpretation#Dominance Graph#Qwen3-30B-A3B2026년 11월 5일댓글 수 로딩 중
[논문리뷰] Distributionally Robust Mixture-of-Experts Training본 논문은 기존 MoE 모델이 로드 밸런싱(Load Balancing)을 통해 통계적 균형만을 강조할 뿐, 실제 라우팅 과정에서 발생하는 '비최적 expert 선택' 문제에는 취약하다는 점을 지적합니다 .#Review#Mixture-of-Experts#Distributionally Robust Optimization#Routing Robustness#Sparse LLMs#Expert Specialization#Load Balancing2026년 10월 11일댓글 수 로딩 중
[논문리뷰] ACC: Compiling Agent Trajectories for Long-Context Training본 연구는 기존 에이전트 학습(SFT)이 도구 응답을 차단함으로써 장거리 컨텍스트 상의 핵심 증거를 활용하지 못하는 Supervision Blind Spot 문제를 해결하고자 합니다.#Review#Agent Trajectories#Long-Context Training#Supervision Blind Spot#Agent Context Compilation#Dependency Modeling#Expert Specialization2026년 5월 21일댓글 수 로딩 중
[논문리뷰] Coupling Experts and Routers in Mixture-of-Experts via an Auxiliary Loss본 논문은 Mixture-of-Experts (MoE) 모델에서 라우터의 결정이 개별 전문가의 실제 역량과 충분히 연동되지 않아 발생하는 성능 한계를 해결하고자 합니다. 라우터와 전문가 간의 약한 결합 문제를 개선하여 모델 성능을 향상시키는 동시에 효율성을 유지하는 가벼운 보조 손실 함수를 제안하는 것이 목표입니다.#Review#Mixture-of-Experts (MoE)#Router-Expert Coupling#Auxiliary Loss#Expert Specialization#Large Language Models (LLMs)#Computational Efficiency2025년 12월 29일댓글 수 로딩 중
[논문리뷰] Expertise need not monopolize: Action-Specialized Mixture of Experts for Vision-Language-Action Learning본 연구는 Vision-Language-Action (VLA) 모델 스케일링의 두 가지 주요 과제, 즉 사전 훈련된 VLA 모델 가중치 활용을 통한 효율적인 스케일업과 실시간 제어를 위한 모델 용량 및 연산 효율성 균형을 해결하고자 합니다.#Review#Vision-Language-Action (VLA)#Mixture of Experts (MoE)#Robotic Manipulation#Expert Specialization#Decoupled Routing#Load Balancing#Transfer Learning2025년 10월 17일댓글 수 로딩 중