[논문리뷰] SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers본 연구는 Looped Transformer의 성능 향상이 아키텍처 자체의 우수성인지, 아니면 반복 실행으로 인해 증가한 FLOPs와 같은 추가 자원 때문인지 규명하고자 한다.#Review#Looped Transformers#Mixture-of-Experts#Scaling Laws#Compute-Matched#Effective Depth#Inductive Bias#Attention Sink2026년 9월 1일댓글 수 로딩 중
[논문리뷰] MoTE: Mixture of Task Experts for Multi-Task Video Understanding본 논문은 멀티태스킹 비디오-언어 학습에서 발생하는 작업 간 간섭(Task conflict)과 컴퓨팅 효율성 문제를 해결하기 위해 고안되었습니다.#Review#Multi-Task Video Understanding#Mixture-of-Experts#Decoder Architecture#Task Routing#Instruction Tuning#Procedural Video#VideoLLM2026년 8월 25일댓글 수 로딩 중
[논문리뷰] Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts본 논문은 대규모 MoE 모델 훈련 시 필수적인 하이퍼파라미터, 특히 Learning Rate 최적화의 높은 비용과 복잡성 문제를 해결합니다. 기존의 2D 하이퍼파라미터 스윕(모델 규모 및 토큰 수 탐색)은 모델이 커질수록 계산 비용이 기하급수적으로 증가하여 실행 불가능한 수준입니다 .#Review#Mixture-of-Experts#Hyperparameter Transfer#Maximal Update Parameterization#Scaling Laws#Foundation Model2026년 8월 23일댓글 수 로딩 중
[논문리뷰] SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation본 논문은 공간 인지와 추론을 분리된 태스크로 다루는 기존의 한계를 극복하고, 이를 하나의 통합된 multimodal generative framework에서 해결하고자 합니다.#Review#Multimodal Foundation Models#3D Reconstruction#Spatial Reasoning#Dense Correspondence#Generative AI#Mixture-of-Experts2026년 8월 16일댓글 수 로딩 중
[논문리뷰] Motif 3: Technical Report본 논문은 대규모 모델의 파라미터 확장과 효율적인 컴퓨팅 자원 활용 사이의 간극을 해결하기 위해 Motif 3를 제안합니다. 기존의 일반적인 LLM들은 모델 크기가 커짐에 따라 추론 비용과 메모리 소모가 비효율적으로 증가하며, 특히 학습 과정에서의 expert 쏠림 현상이나 고차원 정보 처리의 안정성 문제가 발생합니다.#Review#Large Language Model#Mixture-of-Experts#Grouped Differential Latent Attention#Multi-token Prediction#Inference Efficiency#Training Stability2026년 8월 10일댓글 수 로딩 중
[논문리뷰] SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding본 논문은 기존의 Multimodal Large Language Models (MLLMs)가 3D 장면 이해 시 모든 모달리티를 고정된 방식으로 결합하여 발생하는 비효율성과 성능 저하 문제를 해결하기 위해 SmartMage를 제안합니다.#Review#3D Scene Understanding#Multimodal Learning#Adaptive Modality Selection#Mixture-of-Experts#Semantic-guided Routing#Embodied Intelligence2026년 8월 6일댓글 수 로딩 중
[논문리뷰] K-EXAONE 2.0 Technical Report본 연구는 글로벌 AI 경쟁 시대에 대응하여 국산 거대언어모델의 독자적인 구축 및 운영 능력을 확보하기 위해 수행되었다. 기존 모델을 폐기하고 처음부터 모델을 학습시키는 것은 방대한 계산 자원과 데이터, 학습 노하우를 낭비하는 결과를 초래한다.#Review#Foundation Model#Mixture-of-Experts#Upcycling#Speculative Decoding#Long-Context#Agentic Capability#Post-training2026년 8월 5일댓글 수 로딩 중
[논문리뷰] LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models본 논문은 대규모 MoE 기반 dLLM의 최적 Scaling 행동과 아키텍처 설계 원칙이 기존 AR 모델과는 다르다는 점을 지적하며, 이를 체계적으로 정립하고자 합니다.#Review#Diffusion Language Models#Mixture-of-Experts#Scaling Laws#Compute-Optimal#LLaDA#Sparse Activation2026년 8월 4일댓글 수 로딩 중
[논문리뷰] Relax Within, Balance Across: Geometry-Guided Load Balancing for Vision-Language Mixture-of-Experts본 논문은 Vision-Language MoE 모델에서 토큰 혼합 비율(image-to-text ratio)이 변할 때 발생하는 부하 불균형 문제를 해결하고자 합니다.#Review#Mixture-of-Experts#Load Balancing#Vision-Language Models#Router Geometry#Composition Shift#Expert Parallelism2026년 8월 3일댓글 수 로딩 중
[논문리뷰] Chimera: Designing and Chinchilla-Scaling Hybrid Visual Diffusion Transformers본 논문은 Token-intensive 환경에서 고해상도 이미지 및 긴 영상 데이터를 처리할 때 발생하는 Diffusion Transformer의 연산 및 메모리 비효율 문제를 해결하고자 한다. 기존의 Full Attention 구조는 시퀀스 길이에 따라 연산 비용이 제곱으로 증가하여 확장성에 한계가 있다.#Review#Diffusion Transformers#Hybrid Attention#Chinchilla Scaling#Mixture-of-Experts#Compute-Optimal#HeteroP2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Beyond Geometric Complementarity: Coherent Overlap in Sparse Mixture-of-Experts RoutingSparse Mixture-of-Experts (MoE) 모델에서 전문가들의 공동 선택은 흔히 '기하학적 보완성(geometric complementarity)'으로 설명되는데, 이는 선택된 전문가들이 서로 다른 표현 방향을 담당한다는 가정에 기반합니다 .#Review#Mixture-of-Experts#Sparse Routing#Expert Subspaces#Geometric Complementarity#Route Coherence2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Kimi K3: Open Frontier Intelligence본 논문은 기존 오픈소스 모델들이 1T 파라미터 규모에 정체되어 있는 반면, 상업적 모델들은 더 큰 규모와 복잡한 추론 능력을 갖추며 격차가 벌어지는 문제를 해결하고자 합니다. 특히 long-context와 agentic tasks를 동시에 처리하기 위한 모델의 확장성과 효율성이 부족하다는 점이 핵심 배경입니다.#Review#Mixture-of-Experts#Kimi Delta Attention#Long-context#Reinforcement Learning#Multimodal#Scaling Efficiency#Agentic Intelligence2026년 7월 27일댓글 수 로딩 중
[논문리뷰] Scaling Native Multimodal Pre-Training From Scratch본 논문은 전통적인 late-fusion 방식의 멀티모달 모델이 지닌 vision과 language 표현 학습 간의 불균형(asymmetry) 문제를 해결하고자, native multimodal pre-training의 scaling 법칙을 체계적으로 규명합니다.#Review#Native Multimodal Pre-Training#Compute-Optimal Scaling Laws#Pareto Frontier#Transformer#Mixture-of-Experts#Cross-Modal Transfer#In-Context Learning2026년 7월 26일댓글 수 로딩 중
[논문리뷰] Loop the Loopies!본 논문은 Looped Transformer가 고정된 컴퓨팅 자원 내에서 Vanilla Transformer보다 우수한 성능을 낼 수 있도록 하는 compute-matched scaling recipe를 정의합니다.#Review#Looped Transformers#Mixture-of-Experts#Layer-Loop#Compute-Matched Scaling#Post-Training#Reasoning Models2026년 7월 19일댓글 수 로딩 중
[논문리뷰] A Sovereign, Open-Source Foundation Model for German and English본 연구는 기존 오픈 소스 모델들이 가진 세 가지 핵심적인 한계를 해결하고자 합니다. 첫째, 상당수의 '오픈' 모델들이 실제로는 가중치만 공개하고 데이터와 학습 레시피를 불투명하게 처리하여 재현성을 저해하고 있습니다.#Review#Foundation Model#Mixture-of-Experts#Mamba-Transformer#Long-context#Sovereign AI#German-English#Open-Source2026년 7월 12일댓글 수 로딩 중
[논문리뷰] Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence기존의 비디오 생성 모델들은 주로 시각적 품질과 창의성에 집중하고 있어, embodied intelligence가 요구하는 물리적 현실성(physical realism)과 제어 가능성(controllability)이 부족한 도메인 불일치 문제를 겪고 있습니다.#Review#Mixture-of-Experts#Video Pretraining#Embodied Intelligence#Diffusion Transformer#Reinforcement Learning#Scalability2026년 7월 8일댓글 수 로딩 중
[논문리뷰] Gemma 4 Technical Report본 논문은 최신 LLM 생태계에서 요구되는 강력한 multimodal 이해도, 복잡한 추론 능력, 그리고 컴퓨팅 효율성을 동시에 달성하기 위해 Gemma 4 모델 제품군을 제안합니다.#Review#Multimodal#Mixture-of-Experts#Reasoning Trace#Speculative Decoding#Quantization-Aware Training#Long-context#Encoder-free2026년 7월 7일댓글 수 로딩 중
[논문리뷰] ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving본 논문은 PD-disaggregated MoE 서빙 환경에서 기존 라우팅 방식이 단순히 부하 분산(Load balancing)에만 집중하여 발생하는 비효율을 해결하고자 합니다.#Review#Mixture-of-Experts#PD-Disaggregated Serving#Expert Locality#Decode Routing#Prefix Caching#TPOT2026년 7월 1일댓글 수 로딩 중
[논문리뷰] Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent본 논문은 에이전트 모델의 성능을 향상시키기 위한 기존의 파라미터 스케일링 전략이 갖는 높은 비용과 재현성 문제를 해결하기 위해 에이전트 호라이즌(Horizon) 확장을 제안합니다 .#Review#Agents-A1#Long-Horizon#Knowledge-Action Graph#Mixture-of-Experts#On-Policy Distillation#Salient Vocabulary Alignment2026년 6월 29일댓글 수 로딩 중
[논문리뷰] Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE본 연구는 기존 Diffusion MoE 프레임워크에서 발생하는 불균형한 계산 자원 배분 문제를 해결하고자 합니다.#Review#Diffusion Models#Mixture-of-Experts#Saliency-Aware Routing#Post-Training#Visual Generation#Latent Features2026년 6월 29일댓글 수 로딩 중
[논문리뷰] Nemotron 3 Ultra: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning본 논문은 대규모 언어 모델의 추론 효율성과 복잡한 Agentic Reasoning 능력 사이의 상충 관계를 해결하기 위해 Nemotron 3 Ultra를 제안합니다. 기존의 거대 밀집(Dense) 모델들은 높은 성능을 보이지만, 대규모 컴퓨팅 자원을 요구하여 실시간 추론에 한계가 있습니다.#Review#Mixture-of-Experts#Mamba-Transformer#Agentic-Reasoning#Hybrid-Architecture#State-Space-Models2026년 6월 15일댓글 수 로딩 중
[논문리뷰] Pruning and Distilling Mixture-of-Experts into Dense Language Models본 연구는 MoE 모델의 높은 메모리 요구량으로 인해 발생하는 배포 제약 문제를 해결하기 위해, 전문가 기반 구조를 효율적인 Dense 모델로 변환하는 체계적인 프레임워크를 제안한다.#Review#Mixture-of-Experts#Knowledge Distillation#Model Pruning#D-Optimal Selection#Dense Language Models#Expert Scoring#Submodularity2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Confidence-Adaptive SwiGLU for Mixture-of-Experts본 논문은 MoE 모델 내 SwiGLU 활성화 함수의 게이트 선택성이 훈련 과정 전반에 걸쳐 고정되어 있다는 점을 해결하고자 합니다.#Review#Mixture-of-Experts#SwiGLU#Gate Sharpness#Routing Confidence#Transformer#Activation Function#MoE2026년 6월 1일댓글 수 로딩 중
[논문리뷰] dMoE: dLLMs with Learnable Block Experts본 논문은 MoE 기반 dLLM에서 블록 병렬 디코딩(block parallel decoding) 시 발생하는 과도한 전문가 활성화 문제를 해결하여 inference 효율성을 높이는 것을 목적으로 합니다.#Review#dLLM#Mixture-of-Experts#Parallel Decoding#Block-level Routing#Expert Compression#Memory-bound2026년 5월 31일댓글 수 로딩 중
[논문리뷰] PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft본 논문은 기존 LLM 기반 embodied agent가 의존하는 비파라미터식(non-parametric) 기억 방식의 근본적인 한계를 해결하고자 합니다.#Review#Embodied Agent#Parametric Memory#Contrastive Learning#Mixture-of-Experts#Continual Learning#Minecraft2026년 5월 27일댓글 수 로딩 중
[논문리뷰] Post-Trained MoE Can Skip Half Experts via Self-Distillation기존의 Dynamic MoE 연구들은 주로 모델을 밑바닥부터 재학습(from scratch)하거나 특정 작업에만 국한된 적응 방식을 취해왔습니다. 그러나 실제 현업에서는 이미 사전 학습 및 후속 학습(SFT, RL 등)이 완료된 Post-Trained MoE 모델을 활용하는 경우가 대부분입니다.#Review#Mixture-of-Experts#Dynamic Inference#Self-Distillation#Zero-Expert Injection#Large Language Models#Model Adaptation2026년 5월 18일댓글 수 로딩 중
[논문리뷰] BEAM: Binary Expert Activation Masking for Dynamic Routing in MoE본 논문은 표준 MoE 모델의 고정된 Top-K 라우팅 방식이 초래하는 연산 중복 문제를 해결하기 위해 BEAM을 제안한다. 기존의 Top-K 메커니즘은 토큰별 복잡도를 고려하지 않고 모든 토큰에 동일한 수의 Expert를 할당하여 불필요한 연산을 발생시킨다.#Review#Mixture-of-Experts#Dynamic Routing#Expert Sparsity#Inference Acceleration#Binary Expert Activation Masking#vLLM2026년 5월 14일댓글 수 로딩 중
[논문리뷰] Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts본 논문은 기존의 CL 방법론들이 20개 내외의 제한된 태스크 수에서만 검증되어 왔다는 한계를 지적하며, 매우 긴 태스크 시퀀스에서 발생하는 성능 저하 문제를 해결하고자 합니다.#Review#Continual Learning#Class-Incremental Learning#Mixture-of-Experts#Bi-Level Routing#Long Task Sequence2026년 5월 10일댓글 수 로딩 중
[논문리뷰] MACE-Dance: Motion-Appearance Cascaded Experts for Music-Driven Dance Video Generation본 논문은 음악 기반 댄스 비디오 생성 시 발생하는 모션의 비현실성과 시각적 일관성 부족 문제를 해결하는 것을 목표로 합니다. 기존 연구들은 주로 3D 모션 생성에만 집중하거나, 인물 이미지 애니메이션 기술을 그대로 적용하여 복잡한 댄스 동작을 제대로 처리하지 못하는 한계가 있습니다.#Review#Music-Driven Dance#Video Generation#Mixture-of-Experts#Diffusion Model#BiMamba-Transformer#Guidance-Free Training2026년 5월 10일댓글 수 로딩 중
[논문리뷰] Context Unrolling in Omni Models본 논문은 다양한 모달리티를 원천 학습하여 모델이 스스로 추론 경로를 구조화하도록 유도하는 Context Unrolling 프레임워크를 제안한다. 모델은 작업 관련 컨텍스트를 선택적으로 활성화하여 공유 작업 공간에 투입하며, 이는 최종 예측 전후로 긴밀하게 작동한다 .#Review#Multimodal Foundation Model#Context Unrolling#Unified Architecture#Cross-modal Reasoning#Spatial Intelligence#Mixture-of-Experts2026년 4월 23일댓글 수 로딩 중
[논문리뷰] LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction본 논문은 LoopCTR을 제안하며, 이는 재귀적 루프 블록을 통해 파라미터 효율성을 극대화한 Sandwich architecture를 채택한다. Loop Block 내의 표현력을 높이기 위해 MoE-Augmented Transformer를 적용하고, Hyper-Connected Residuals (HCR)를 도입하여 정보 흐름을 동적으로 조정한다 .#Review#CTR Prediction#Loop Scaling#Transformer#Mixture-of-Experts#Hyper-Connected Residuals#Parameter Efficiency#Process Supervision2026년 4월 21일댓글 수 로딩 중
[논문리뷰] LongCat-Next: Lexicalizing Modalities as Discrete Tokens기존의 멀티모달 시스템은 주로 언어 중심의 모델에 비언어적 모달리티를 외부 부착물(bolt-on) 형태로 결합하는 방식에 의존하여, 구조적 파편화와 최적화의 한계가 존재했습니다. 또한, 이산적 비전 모델링은 압축 과정에서의 정보 손실로 인해 성능의 상한선(ceiling)이 존재한다는 인식이 지배적이었습니다.#Review#Multimodality#Autoregressive Modeling#Discrete Tokenization#Vision Transformer#Audio Tokenization#Mixture-of-Experts#Next-Token Prediction2026년 3월 31일댓글 수 로딩 중
[논문리뷰] LongCat-Flash-Prover: Advancing Native Formal Reasoning via Agentic Tool-Integrated Reinforcement Learning최근 Large Language Models (LLMs)의 추론 능력 향상에도 불구하고, 현재 LLMs는 Lean4 와 같이 엄격하고 검증된 formal language를 요구하는 formal theorem-proving task에서 여전히 어려움을 겪고 있다.#Review#Mixture-of-Experts#Native Formal Reasoning#Tool-Integrated Reinforcement Learning#Lean4#Auto-formalization#Theorem Proving#Hierarchical Importance Sampling Policy Optimization2026년 3월 23일댓글 수 로딩 중
[논문리뷰] Nemotron-Cascade 2: Post-Training LLMs with Cascade RL and Multi-Domain On-Policy DistillationReinforcement Learning (RL)은 LLM Post-Training의 핵심으로 부상하며 Reasoning, Agentic Capabilities, Real-World Problem-Solving 발전에 기여하고 있습니다.#Review#LLM Post-Training#Cascade RL#Multi-Domain On-Policy Distillation#Mixture-of-Experts#Reasoning#Agentic Capabilities#Competitive Programming#Mathematical Olympiad2026년 3월 19일댓글 수 로딩 중
[논문리뷰] ConFu: Contemplate the Future for Better Speculative Sampling본 논문은 기존의 speculative decoding 드래프트 모델들이 현재 prefix에만 의존하여 예측하는 방식 때문에 발생하는 오류 누적 문제 를 해결하고자 합니다.#Review#Speculative Decoding#LLM Inference Acceleration#Draft Model#Future Prediction#Contemplate Tokens#Mixture-of-Experts#Token Acceptance Rate#Speedup Ratio2026년 3월 10일댓글 수 로딩 중
[논문리뷰] Arcee Trinity Large Technical Report본 논문은 희소한 Mixture-of-Experts (MoE) 아키텍처를 기반으로 하는 대규모 언어 모델인 Trinity Large 를 개발하고, 효율적인 학습 및 추론 성능과 높은 안정성을 달성하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sparse LLM#Training Stability#Load Balancing#MoE#Transformer Architecture#Context Extension#Muon Optimizer2026년 2월 19일댓글 수 로딩 중
[논문리뷰] ERNIE 5.0 Technical ReportERNIE 5.0은 텍스트, 이미지, 비디오, 오디오에 걸쳐 통합된 멀티모달 이해 및 생성 을 위한 본질적으로 자기회귀(autoregressive) 기반 파운데이션 모델 을 개발하는 것을 목표로 합니다.#Review#Multimodal Foundation Model#Autoregressive#Mixture-of-Experts#Elastic Training#Reinforcement Learning#Unified Architecture#Sparse MoE#Efficient Deployment2026년 2월 4일댓글 수 로딩 중
[논문리뷰] Solar Open Technical ReportSolar Open 논문은 기존 LLM 생태계에서 영어와 중국어 외의 언어들 , 특히 한국어와 같은 데이터 부족 언어 가 겪는 모델 개발의 어려움을 해결하는 것을 목표로 합니다.#Review#Large Language Models#Mixture-of-Experts#Korean LLM#Synthetic Data Generation#Curriculum Learning#Reinforcement Learning#Tokenizer Optimization#Multilingual AI2026년 1월 13일댓글 수 로딩 중
[논문리뷰] Token-Level LLM Collaboration via FusionRoute논문은 여러 전문 LLM 간의 효과적인 토큰 수준 협업 을 통해 단일 모델보다 높은 품질의 응답을 생성하는 것을 목표로 합니다.#Review#LLM Collaboration#Token-level Routing#Mixture-of-Experts#Complementary Logits#Preference Optimization#FusionRoute#Domain Adaptation2026년 1월 8일댓글 수 로딩 중
[논문리뷰] MiMo-V2-Flash Technical Report본 논문은 빠른 추론 속도와 강력한 추론 및 에이전트 능력을 동시에 갖춘 효율적이고 비용 효율적인 대규모 언어 모델(LLM)인 MiMo-V2-Flash를 개발하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Sliding Window Attention#Multi-Token Prediction#Multi-Teacher On-Policy Distillation#Reinforcement Learning#Long-Context Modeling#Agentic AI2026년 1월 6일댓글 수 로딩 중
[논문리뷰] Nemotron 3 Nano: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning본 논문은 오픈 소스 로 제공되며, 효율적 이면서도 에이전트적 추론 능력이 뛰어난 Mixture-of-Experts (MoE) 하이브리드 Mamba-Transformer 언어 모델 인 Nemotron 3 Nano를 개발하는 것을 목표로 합니다.#Review#Mixture-of-Experts#Mamba-Transformer#Agentic Reasoning#Long Context LLM#FP8 Quantization#Supervised Fine-Tuning#Reinforcement Learning2025년 12월 24일댓글 수 로딩 중
[논문리뷰] NVIDIA Nemotron 3: Efficient and Open IntelligenceNemotron 3 가족 모델(Nano, Super, Ultra)을 공개하여 강력한 agentic, 추론, 대화 능력 을 제공하는 효율적인 오픈 모델을 구축하는 것이 목표입니다.#Review#Hybrid Mamba-Transformer#Mixture-of-Experts#LatentMoE#NVFP4 Training#Multi-Token Prediction#Long Context#Reinforcement Learning#Open Models2025년 12월 24일댓글 수 로딩 중
[논문리뷰] INTELLECT-3: Technical Report본 논문은 기존 오픈소스 LLM RL 인프라의 복잡성과 확장성 한계를 해결하고, 106B 파라미터 Mixture-of-Experts (MoE) 모델인 INTELLECT-3 를 통해 최첨단 성능을 달성하는 것을 목표로 합니다.#Review#Reinforcement Learning#Large Language Models#Mixture-of-Experts#Asynchronous Training#Distributed Systems#Agentic AI#Code Execution#Model Evaluation2025년 12월 23일댓글 수 로딩 중
[논문리뷰] ProPhy: Progressive Physical Alignment for Dynamic World Simulation기존 비디오 생성 모델들이 대규모 또는 복잡한 다이내믹스에서 물리적으로 일관된 결과를 생성하는 데 어려움을 겪는 문제를 해결하는 것이 목표입니다.#Review#Video Generation#Physics-aware#World Simulation#Progressive Alignment#Mixture-of-Experts#Vision-Language Models#Token-level Routing2025년 12월 7일댓글 수 로딩 중
[논문리뷰] Qwen3-VL Technical ReportQwen3-VL은 기존 Qwen 시리즈 중 가장 강력한 Vision-Language Model (VLM) 을 개발하여 광범위한 멀티모달 벤치마크에서 뛰어난 성능을 달성하는 것을 목표로 합니다.#Review#Vision-Language Model#Multimodal Reasoning#Long-Context#Interleaved Data#Mixture-of-Experts#DeepStack#Agentic AI2025년 12월 3일댓글 수 로딩 중
[논문리뷰] YOLO Meets Mixture-of-Experts: Adaptive Expert Routing for Robust Object Detection본 연구는 객체 탐지 분야에서 YOLOv9-T 모델의 성능과 견고성을 향상시키기 위해 새로운 Mixture-of-Experts (MoE) 프레임워크를 제안합니다.#Review#Object Detection#YOLOv9#Mixture-of-Experts#Adaptive Routing#Deep Learning#Computer Vision#Feature Specialization2025년 11월 30일댓글 수 로딩 중
[논문리뷰] Soft Adaptive Policy Optimization본 논문은 LLM(Large Language Models)의 RL(Reinforcement Learning) 학습 과정에서 발생하는 높은 분산의 토큰 레벨 중요도 비율 문제와, MoE(Mixture-of-Experts) 모델에서 증폭되는 이러한 현상으로 인한 불안정한 정책 업데이트 문제를 해결하고자 합니다.#Review#Reinforcement Learning#Large Language Models#Policy Optimization#Importance Ratios#Soft Clipping#Trust Region#Mixture-of-Experts#Asymmetric Temperature2025년 11월 25일댓글 수 로딩 중
[논문리뷰] Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation본 논문은 '모든 활성화가 추론 능력을 향상시킨다'는 원칙 아래, 1조 개의 파라미터를 가진 추론 중심의 개방형 언어 파운데이션 모델(Ling 2.0) 을 개발하는 것을 목표로 합니다.#Review#Large Language Models#Mixture-of-Experts#Reasoning Capability#Sparse Activation#Scaling Laws#FP8 Training#Efficient Training#Instruction Tuning2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Phased DMD: Few-step Distribution Matching Distillation via Score Matching within Subintervals본 논문은 Distribution Matching Distillation (DMD) 을 통해 스코어 기반 생성 모델을 효율적인 few-step 생성기로 증류하는 과정에서 발생하는 한계점들을 해결하고자 합니다.#Review#Distribution Matching Distillation#Few-step Diffusion#Score Matching#Mixture-of-Experts#Generative Models#Image Generation#Video Generation#Model Distillation2025년 11월 9일댓글 수 로딩 중
[논문리뷰] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning본 논문은 기존의 Softmax Attention 이 긴 시퀀스 길이에서 겪는 계산 및 I/O 오버헤드 문제 를 해결하고, 순수 Linear Attention 모델의 성능 한계를 극복하기 위해 효율적인 하이브리드 아키텍처를 제안합니다.#Review#Long-Context LLM#Hybrid Attention#Linear Attention#Mixture-of-Experts#FP8 Training#GPU Optimization#Training-Inference Alignment#Reinforcement Learning2025년 10월 23일댓글 수 로딩 중
[논문리뷰] Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training본 논문은 대규모 언어 모델(LLM) 사전 훈련의 급증하는 계산 비용 문제를 해결하기 위해, 기존의 사전 훈련된 체크포인트에 투자된 '매몰 비용(sunk cost)'을 효율적으로 재활용하여 모델을 성장시키는 방법을 제안합니다.#Review#Mixture-of-Experts#Large Language Models#Checkpoint Recycling#Model Growth#Efficient Pretraining#Depth Growth#Width Growth#Sunk Cost2025년 10월 10일댓글 수 로딩 중
[논문리뷰] NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints본 논문은 기존 Compositional MLLMs의 분리된 훈련으로 인한 불분명한 멀티모달 스케일링 속성 문제를 해결하고자 합니다.#Review#Multimodal Large Language Models#Native MLLMs#Scaling Laws#Data Constraints#Visual Encoder#LLM Initialization#Mixture-of-Experts#End-to-end Training2025년 10월 10일댓글 수 로딩 중
[논문리뷰] Qwen3-Omni Technical Report본 논문은 텍스트, 이미지, 오디오, 비디오 등 다양한 모달리티 전반에 걸쳐 단일 멀티모달 모델(Qwen3-Omni) 이 기존 단일 모달 모델과 비교하여 성능 저하 없이 최첨단 성능을 유지 하는 것을 목표로 합니다. 또한, 교차 모달 추론 능력 과 실시간 시청각 상호작용 을 향상시키는 것을 주된 연구 목적으로 삼습니다.#Review#Multimodal Model#Thinker-Talker Architecture#Mixture-of-Experts#Low-latency#Audio Understanding#Cross-modal Reasoning#State-of-the-Art#Real-time Interaction2025년 9월 23일댓글 수 로딩 중
[논문리뷰] SAIL-VL2 Technical Report본 논문은 포괄적인 멀티모달 이해 및 추론을 위한 개방형 비전-언어 파운데이션 모델인 SAIL-VL2 를 소개합니다. 특히 2B 및 8B 파라미터 스케일에서 다양한 이미지 및 비디오 벤치마크에 걸쳐 최첨단 성능을 달성하며, 효율적이고 확장 가능한 오픈소스 멀티모달 커뮤니티의 기반을 마련하는 것을 목표로 합니다.#Review#Vision-Language Model#Multimodal Understanding#Mixture-of-Experts#Progressive Training#Data Curation#Supervised Fine-tuning#Reinforcement Learning#SAIL-ViT2025년 9월 18일댓글 수 로딩 중
[논문리뷰] Speed Always Wins: A Survey on Efficient Architectures for Large Language Models본 설문조사 논문은 기존 Transformer 기반 대규모 언어 모델(LLMs)의 Quadratic 복잡성 과 높은 연산 및 메모리 요구사항 으로 인한 비효율성 문제를 해결하기 위한 혁신적인 아키텍처를 체계적으로 검토하는 것을 목표로 합니다.#Review#Large Language Models#Efficient Architectures#Transformer Optimization#Linear Attention#State Space Models#Mixture-of-Experts#Sparse Attention#Diffusion LLMs2025년 8월 19일댓글 수 로딩 중
[논문리뷰] Learning to Align, Aligning to Learn: A Unified Approach for Self-Optimized Alignment이 논문은 대규모 언어 모델(LLM) 정렬(alignment) 방법론의 한계를 해결하고자 합니다. 기존 방법론들( SFT, DPO, PPO, GRPO )은 특정 정렬 방식에 고정되거나 정량적 지표만을 최적화하여 일반화 및 견고성 측면에서 부족함을 보였습니다.#Review#LLM Alignment#Reinforcement Learning from Human Feedback#Preference Learning#Group Relative Alignment Optimization#Self-Optimization#Mixture-of-Experts#Imitation Learning2025년 8월 14일댓글 수 로딩 중
[논문리뷰] GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models본 논문은 오픈소스 MoE(Mixture-of-Experts) 기반 대규모 언어 모델인 GLM-4.5 를 소개합니다. 핵심 목표는 에이전트, 추론, 코딩(ARC) 태스크 전반에서 강력한 성능을 달성하고, 사고 및 직접 응답 모드를 지원하는 하이브리드 추론 방식을 통해 계산 효율성을 극대화하는 것입니다.#Review#Large Language Model#Mixture-of-Experts#Agentic AI#Reasoning#Code Generation#Reinforcement Learning#Foundation Model2025년 8월 11일댓글 수 로딩 중
[논문리뷰] VeOmni: Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo본 논문은 다양한 모달리티를 처리하는 복잡하고 이질적인 아키텍처 때문에 확장성이 부족하고 엔지니어링 오버헤드가 큰 옴니모달 LLM(Large Language Models) 훈련의 어려움을 해결하는 것을 목표로 합니다.#Review#Omni-modal LLMs#Distributed Training#Model-centric#Parallelism#FSDP#Sequence Parallelism#Expert Parallelism#Mixture-of-Experts2025년 8월 5일댓글 수 로딩 중