[논문리뷰] MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference본 논문은 Long-context LLM Inference에서 indexer 연산이 전체 비용의 지배적인 비중을 차지하는 문제를 해결하기 위해 MISA를 제안한다.#Review#Large Language Models#Long-Context#Sparse Attention#Mixture of Experts#Indexer#Inference Efficiency#Retrieval2026년 5월 10일댓글 수 로딩 중
[논문리뷰] MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation본 논문은 기존 S2ST 시스템이 의미론적 정확도는 높으나, 웃음이나 울음 같은 NVs를 보존하지 못해 실질적인 대화의 정서적 맥락을 상실하는 문제를 해결한다. 기존 시스템들은 고품질 NVs 데이터의 부족과, 복잡한 다중 감정 상태를 처리하기 어려운 모델 구조적 한계로 인해 표현력이 부족하다.#Review#Speech-to-Speech Translation#Non-verbal Vocalizations#Mixture of Experts#AudioLLMs#Expressive Speech#Data Efficiency2026년 4월 21일댓글 수 로딩 중
[논문리뷰] CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation본 논문은 사람·물체·텍스트·음성을 입력으로 받는 인간-객체 상호작용(HOI) 비디오 합성에서, 손과 얼굴의 구조적 안정성과 물리적으로 타당한 접촉을 보장하기 위해 Human-Aware MoE와 Spatially-Structured Co-Generation을 결합한 CoInteract을 제안합니다.#Review#Human-Object Interaction#Diffusion Transformer#Video Synthesis#Mixture of Experts#Physical Consistency#Co-Generation2026년 4월 21일댓글 수 로딩 중
[논문리뷰] On Token's Dilemma: Dynamic MoE with Drift-Aware Token Assignment for Continual Learning of Large Vision Language ModelsLVLM은 다양한 도메인에서 우수한 성능을 보이지만, 새로운 지식을 연속적으로 습득할 때 기존 지식을 잃어버리는 'Catastrophic Forgetting' 문제가 존재합니다.#Review#Multimodal Continual Learning#Large Vision Language Models#Mixture of Experts#Routing-drift#Catastrophic Forgetting2026년 3월 30일댓글 수 로딩 중
[논문리뷰] SLER-IR: Spherical Layer-wise Expert Routing for All-in-One Image Restoration다양한 이미지 손상(degradation)에 대해 단일 모델로 처리하는 올인원 이미지 복원(All-in-One Image Restoration) 프레임워크의 한계, 즉 특징 간섭과 전문가 특화 부족 문제를 해결하고자 합니다.#Review#Image Restoration#Mixture of Experts#Degradation Representation#Spherical Embedding#Contrastive Learning#Adaptive Routing#All-in-One Model#Global-Local Fusion2026년 3월 8일댓글 수 로딩 중
[논문리뷰] Parallel Latent Reasoning for Sequential Recommendation순차 추천 시스템에서 희소한 사용자 행동 시퀀스로부터 복잡한 사용자 선호를 포착하는 문제를 해결하는 것이 목표입니다.#Review#Sequential Recommendation#Latent Reasoning#Parallel Processing#Computational Scaling#Mixture of Experts#Contrastive Learning#Transformer Architecture2026년 1월 6일댓글 수 로딩 중
[논문리뷰] Mixture of Global and Local Experts with Diffusion Transformer for Controllable Face Generation논문은 기존 생성 모델이 의미론적 제어와 사진 같은 사실성 사이의 섬세한 균형을 맞추는 데 어려움을 겪고, 특히 Diffusion Transformer (DiT) 가 복잡한 다중 모드 조건부 설정에서 충분히 탐색되지 않았다는 문제를 해결하고자 합니다.#Review#Diffusion Transformer#Mixture of Experts#Controllable Generation#Face Generation#Multimodal Synthesis#Semantic Control#Image Generation2025년 9월 4일댓글 수 로딩 중
[논문리뷰] Omni-Effects: Unified and Spatially-Controllable Visual Effects Generation본 논문은 기존 비디오 생성 모델들이 개별 효과에 특화된 LoRA 훈련으로 인해 복합 시각 효과(multi-VFX)를 동시적이고 공간적으로 제어하는 데 한계가 있다는 문제를 해결합니다.#Review#Visual Effects#Video Generation#LoRA#Mixture of Experts#Spatial Control#Diffusion Models#Multi-VFX2025년 8월 12일댓글 수 로딩 중
[논문리뷰] Grove MoE: Towards Efficient and Superior MoE LLMs with Adjugate Experts본 논문은 기존 MoE (Mixture of Experts) LLM의 한계인 고정된 파라미터 활성화와 이로 인한 비효율적인 계산 문제를 해결하는 것을 목표로 합니다.#Review#Mixture of Experts#LLMs#MoE Architecture#Dynamic Activation#Adjugate Experts#Upcycling Strategy#Load Balancing2025년 8월 12일댓글 수 로딩 중
[논문리뷰] UniMoE-Audio: Unified Speech and Music Generation with Dynamic-Capacity MoE본 연구는 음성 및 음악 생성의 통합이라는 오랜 과제를 해결하는 것을 목표로 합니다.#Review#Mixture of Experts#Speech Generation#Music Generation#Multimodal AI#Dynamic Routing#Training Curriculum#Data Imbalance#Audio Synthesis2025년 10월 16일댓글 수 로딩 중
[논문리뷰] MoME: Mixture of Matryoshka Experts for Audio-Visual Speech Recognition논문은 대규모 언어 모델(LLMs) 기반 오디오-비주얼 음성 인식(AVSR) 시스템이 겪는 높은 계산 수요와 고정된 토큰 압축률의 한계를 해결하고자 합니다.#Review#Audio-Visual Speech Recognition#Mixture of Experts#Matryoshka Representation Learning#Large Language Models#Elastic Inference#Token Compression#Multimodal AI2025년 10월 7일댓글 수 로딩 중