[논문리뷰] Disaggregated Quantization: Specializing LLM Prefill and Decode

링크: 논문 PDF로 바로 열기

The paper "Disaggregated Quantization: Specializing LLM Prefill and Decode" by Andrei Panferov et al. proposes a new quantization approach for LLMs. I will now extract the required information for the summary.

Part 1: Summary Body

• Authors: Andrei Panferov, Maximilian Kleinegger, Sweta Priyadarshi, Tijmen Blankevoort, Dan Alistarh
• Keywords: Disaggregated Quantization, LLM Inference, Prefill, Decode, Quantization-Aware Distillation, Low-Bit Quantization, Offloaded Prefill

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Disaggregated Quantization (DQ): LLM inference의 prefill 및 decode phase에 특화된 연산 포맷, 가중치(weights), 그리고 저장 위치를 사용하는 quantization 접근 방식.
• Prefill Phase: 사용자 prompt를 처리하여 Key-Value (KV) 캐시를 구축하는 LLM inference의 초기 단계.
• Decode Phase: Prefill phase에서 생성된 KV 캐시를 소비하며 응답 토큰을 생성하는 LLM inference의 후속 단계.
• Quantization-Aware Distillation with Disaggregation (QADD): SFT(Supervised Fine-Tuning) assistant 토큰 마스크를 활용하여 양자화된 모델 레이어에서 prefill/decode 계산 경로를 분리하고, 두 경로를 공통 응답 목표로 함께 최적화하는 훈련 기법.
• Offloaded Disaggregated Prefill (ODP): Prefill weights를 SSD에서 블록 단위로 로드하고 디바이스 버퍼를 재사용하여 추가적인 디바이스 메모리 점유 없이 prefill 속도를 향상시키는 기법.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Large Language Models (LLMs)의 inference 과정에서 prefill 및 decode phase가 서로 다른 연산 및 메모리 요구사항을 가진다는 점에 주목하며, 이를 효과적으로 최적화하기 위한 Disaggregated Quantization (DQ)을 제안한다. 기존 LLM은 input processing과 output generation에 동일한 파라미터와 아키텍처를 공유하지만, 실제 instruction-following 시나리오에서는 prefill이 prompt KV 캐시를 구축하고 decode가 이를 소비하여 응답을 생성하는 논리적 구분이 재등장한다. 이러한 두 phase의 작업 부하(workload) 차이에도 불구하고, 기존의 quantization 접근 방식은 두 phase에 공통된 형식이나 가중치를 적용하여 각 phase의 특성을 충분히 반영하지 못했다. 특히, 컴퓨팅 집약적인 prefill과 메모리 집약적인 decode는 최적의 quantization 전략이 다름에도 불구하고, 하나의 통일된 quantization format을 사용함으로써 특정 phase에서 성능 저하를 겪게 되는 문제가 있었다. 저자들은 이러한 한계를 극복하기 위해 DQ를 통해 각 phase에 최적화된 quantization 전략을 적용함으로써 정확도와 추론 속도를 동시에 향상시키는 것을 목표로 한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 LLM prefill 및 decode phase를 전문화하는 Disaggregated Quantization (DQ) 방법론과 이를 구현하기 위한 Quantization-Aware Distillation with Disaggregation (QADD) 기법을 제안한다. QADD는 SFT assistant 토큰 마스크를 사용하여 prefill 및 decode 계산 경로를 분리하고, 단일 forward-backward pass에서 두 경로를 공통 응답 목표로 훈련한다 [cite: 1, Figure 3]. DQ는 세 가지 주요 scheme으로 나뉜다: (1) Format Disaggregation은 quantized compute prefill과 low-bitwidth weight-only decode를 결합하여 weight storage나 inference cost 증가 없이 decode-heavy tasks의 정확도를 향상시킨다. (2) Full Disaggregation은 별도의 compute-native prefill weights를 훈련하여 weight-only compression 대비 prefill 속도를 높이고, low-bitwidth decode weights의 정확도를 prefill-heavy 및 decode-heavy workload 모두에서 향상시킨다 [cite: 1, Figure 5]. (3) Offloaded Disaggregated Prefill (ODP)은 prefill weights를 SSD에서 블록별로 로드하고 디바이스 버퍼를 재사용하여 추가 디바이스 메모리 점유 없이 긴 prompt 길이에서 로딩 오버헤드를 상쇄한다 [cite: 1, Figure 6]. 실험 결과, Format Disaggregation은 Qwen 3 및 Gemma 3 모델에서 decode-heavy task의 평균 정확도를 NVFP4의 경우 1.9~3.1 포인트, LUT3의 경우 4.5~3.7 포인트 향상시켰다 [cite: 1, Table 1]. Full Disaggregation은 2~3-bit 모델에서 비분할(non-disaggregated) 방식 대비 decode-heavy task에서 LUT3의 경우 6.3~5.2 포인트, LUT2의 경우 10.7~7.4 포인트의 정확도 향상을 보였으며, prefill-heavy task에서도 유사한 개선을 달성했다 [cite: 1, Figure 5, Table 1]. 특히, Qwen3.8-27B 모델에서 ODP는 8K context 길이에서 weight-only baseline 대비 1.78배의 time-to-first-token (TTFT) 속도 향상을 제공했다 [cite: 1, Figure 1]. 또한, 기존 Qwen3.8-27B GGUF 디코더를 위한 NVFP4 prefiller를 훈련한 결과, 1-bit 정확도가 MMLU-Pro에서 32.5 포인트, MMMU-Pro에서 35.3 포인트 향상되었다 [cite: 1, Figure 1, Table 5].

## 4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM inference의 prefill 및 decode phase의 고유한 특성을 고려한 Disaggregated Quantization (DQ)이라는 새로운 접근 방식을 성공적으로 제시한다. DQ는 각 phase에 최적화된 quantization format과 가중치 저장 방식을 통해 정확도와 추론 효율성을 동시에 향상시킬 수 있음을 입증했다. 특히 Format Disaggregation은 메모리 및 속도 오버헤드 없이 decode-heavy task의 정확도를 개선하며, Full Disaggregation은 저비트(low-bit) decode에서 상당한 정확도 향상과 더 빠른 prefill을 제공한다. 또한, Offloaded Disaggregated Prefill (ODP)은 추가적인 디바이스 메모리 점유 없이 prefill weights를 효율적으로 관리하여 로컬 환경에서의 LLM 배포를 위한 실용적인 솔루션을 제시한다. 이 연구는 LLM quantization 분야에서 phase-aware specialization의 중요성을 강조하며, 향후 LLM serving 시스템 설계 및 최적화에 중요한 영향을 미칠 것으로 예상된다. 특히, 다양한 모델 크기와 기존 양자화된 체크포인트와의 호환성을 고려한 광범위한 실험은 DQ의 범용성과 실용적 가치를 높인다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.