[논문리뷰] SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving

링크: 논문 PDF로 바로 열기

메타데이터

저자: Gunho Park, Kyoungho Jeun, Juntaek Oh, Byeongjun Shin, Baeseong Park, Minsoo Rhu

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• MoE (Mixture-of-Experts): 전체 파라미터 대비 추론 시 일부 Expert만 활성화하여 계산 효율성을 높이는 모델 아키텍처.
• Expert Pruning: 추론 비용을 줄이기 위해 중요도가 낮은 Expert를 제거하는 모델 압축 기법.
• KV Cache Handoff: Prefill 단계에서 생성된 KV Cache를 압축된 Decode 모델로 별도의 변환 없이 전달하는 방식.
• PD-disaggregation (Prefill–Decode Disaggregation): Prefill과 Decode 작업을 별도의 인스턴스에서 수행하여 자원을 최적화하는 serving 프레임워크.
• Phase-aware Masking: Decode 단계에서만 특정 Expert를 비활성화하기 위해 Router Logits에 마스킹을 적용하는 기술.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 MoE 모델 Serving 시 batched decoding에서 발생하는 Expert-weight 로딩 병목 문제를 해결하기 위해 SlimWise를 제안한다. 기존의 Expert Pruning 기법은 Prefill과 Decode 단계에 동일한 압축 모델을 적용하여, 계산 집약적인(compute-bound) Prefill 성능을 저하시키고 모델 품질을 희생시키는 한계가 있다. 저자들은 Prefill 단계에서는 전체 모델을 사용하고, Decode 단계에서만 압축 모델을 사용하여 성능과 품질의 균형을 맞추고자 한다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) SlimWise는 Full-model을 활용한 Prefill과 pruned model을 활용한 Decode를 결합하는 serving 프레임워크이다. 핵심은 두 단계 사이의 KV Cache Handoff를 통해 추가적인 학습 없이도 압축된 모델이 Prefill 상태를 계승하도록 하는 것이다. 또한, 압축으로 인한 생성 품질 저하를 보완하기 위해 Prefill 이후의 상태를 유지하며 학습하는 Low-cost distillation 단계를 도입하여 성능을 개선하였다 [Figure 3].

실험 결과, Qwen3.6-35B-A3B 모델에 적용했을 때 50%의 Expert Pruning 비율에서 최대 **1.81×**의 Decode throughput 향상을 달성하였다. 이는 conventional pruning 대비 모델 품질 저하를 최소화하면서도, 정량적 지표뿐만 아니라 모델의 생성 길이 왜곡 현상까지 효과적으로 제어함을 보여준다 [Figure 4].

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 Prefill과 Decode의 서로 다른 연산 특성을 고려하여 MoE 모델의 expert capacity를 분리 배분하는 새로운 관점을 제시한다. SlimWise의 핵심적인 기여는 KV Cache Handoff와 최소한의 distillation 과정을 통해 성능 효율성과 정확도 유지라는 두 마리 토끼를 잡았다는 점이다. 본 연구는 향후 고성능 LLM serving 시스템 설계에 있어 컴퓨팅 자원을 보다 효율적으로 운영하는 전략적 이정표가 될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.