[논문리뷰] Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts본 논문은 Vision-Language MoE 모델에서 토큰 혼합 비율(image-to-text ratio)이 변할 때 발생하는 부하 불균형 문제를 해결하고자 합니다.#Review#Mixture-of-Experts#Load Balancing#Vision-Language Models#Router Geometry#Composition Shift#Expert Parallelism2026년 8월 3일댓글 수 로딩 중
[SGLang] Expert Parallel MoE: 분산 전문가 레이어 구현SGLang의 Expert Parallel MoE를 분석한다. 전문가를 여러 GPU에 분산하는 EP 구조, All-to-All 통신, 로컬/리모트 전문가 라우팅을 코드와 함께 살펴본다.#sglang#Expert Parallelism#EP-MoE#All-to-All#Distributed2026년 4월 12일댓글 수 로딩 중
[논문리뷰] VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo본 논문은 다양한 모달리티를 처리하는 복잡하고 이질적인 아키텍처 때문에 확장성이 부족하고 엔지니어링 오버헤드가 큰 옴니모달 LLM(Large Language Models) 훈련의 어려움을 해결하는 것을 목표로 합니다.#Review#Omni-modal LLMs#Distributed Training#Model-centric#Parallelism#FSDP#Sequence Parallelism#Expert Parallelism#Mixture-of-Experts2025년 8월 5일댓글 수 로딩 중