[논문리뷰] LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Fengqi Zhu, Shaoxuan Xu, Jingyang Ou, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• dLLMs (Diffusion Language Models): 기존의 AR(Autoregressive) 패러다임 대신 반복적인 Denoising 과정을 통해 텍스트 시퀀스를 생성하는 확률적 생성 모델입니다.
• MoE (Mixture-of-Experts): 고정된 파라미터 크기 대비 모델의 표현력을 확장하기 위해, Feed-forward Network를 여러 개의 Expert로 분할하고 입력 토큰별로 일부만 활성화(Sparse Activation)하는 아키텍처입니다.
• IsoFLOP Analysis: 고정된 전체 Compute Budget 내에서 활성화된 모델 연산(Activated Model-side Computation)과 학습 데이터(Training Tokens) 간의 최적 분배를 찾기 위한 분석 방법론입니다.
• Activation Ratio (A): 토큰당 활성화되는 Expert 용량의 비율로, Routing Sparsity와 모델 효율성을 결정하는 핵심 지표입니다.
• Shared-Expert Ratio (S): 전체 활성화 용량 중 모든 토큰이 공통으로 사용하는 Shared Expert가 차지하는 비중입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대규모 MoE 기반 dLLM의 최적 Scaling 행동과 아키텍처 설계 원칙이 기존 AR 모델과는 다르다는 점을 지적하며, 이를 체계적으로 정립하고자 합니다. 기존 연구들은 주로 Dense 아키텍처 기반의 dLLM에 집중해 왔으며, AR 환경에서 확립된 MoE scaling 법칙이 dLLM에 직접적으로 전이되지 않는다는 한계가 있습니다. 특히 dLLM은 Next-token 예측이 아닌 Masked Denoising 목적 함수를 사용하므로, 데이터와 모델 간의 최적 Compute 할당 전략을 새로 정의할 필요가 있습니다 [Figure 3]. 이에 본 연구는 optimization hyperparameters, compute allocation, 아키텍처 구성을 아우르는 MoE dLLM 전용 Scaling 법칙을 도출합니다.

Figure 3 — Compute 할당을 위한 IsoFLOP 분석

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 고정된 Compute Budget 내에서 최적의 batch size, learning rate, 데이터-모델 분배, 그리고 Expert 아키텍처(A, G, S)를 결정하는 Scaling Framework를 제안합니다. 실험 결과, 높은 Compute 환경에서는 더 큰 nominal batch size와 더 빠른 learning rate decay가 필요함을 확인했습니다 [Figure 1, Figure 2]. Compute 할당 측면에서는 데이터-사이드 투자 비중이 AR 모델보다 더 큰(slightly data-side tilt) 경향을 보이며, 이는 Sparse Activation과 Diffusion objective의 복합적 효과로 분석됩니다 [Table 2]. 아키텍처 설계와 관련하여, 규모가 커질수록 낮은 Activation Ratio가 유리하며, Expert Granularity G=8~16이 매우 견고함을 증명했습니다 [Figure 4]. 최종적으로 23.5T 토큰으로 학습된 30B-A3B 규모의 LLaDA MoE v2는 Qwen3 모델 대비 약 65%의 사전 학습 토큰만을 사용하고도 지식, 추론, 코딩 벤치마크에서 대등한 성능을 달성했습니다 [Table 3]. 또한, SFT(Supervised Fine-Tuning) 이후에도 SDAR Chat 대비 7/8개 Reasoning/Coding 벤치마크에서 우수한 성과를 보였습니다 [Table 4].

Figure 4 — MoE 아키텍처 차원별 스케일링 결과

4. Conclusion & Impact (결론 및 시사점)

본 논문은 MoE dLLM의 확장성을 위한 실용적인 Scaling 법칙과 설계 원칙을 체계적으로 확립하였습니다. 연구 결과는 AR 기반 Scaling 법칙이 MoE dLLM 설계의 유용한 Prior가 될 수는 있으나, 목적 함수의 차이로 인한 정밀한 Calibration이 필수적임을 시사합니다. 제안된 LLaDA MoE v2의 성공적인 학습 결과는 dLLM이 향후 대규모 언어 모델 생태계에서 고효율 및 고성능 대안으로 자리 잡을 수 있음을 강력히 뒷받침합니다. 이러한 Scaling 법칙은 향후 더 큰 규모의 Diffusion 기반 모델을 설계하고 자원을 배분하는 데 표준 가이드라인이 될 것으로 기대됩니다.

Figure 1 — Batch size 및 LR 스케일링 곡선

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.