[논문리뷰] Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs

링크: 논문 PDF로 바로 열기

저자: Haiquan Lu, Zigeng Chen, Gongfan Fang, Xinyin Ma, Xinchao Wang

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Agentic LLM: Planning, tool use, memory retrieval 등 다단계 상호작용을 수행하는 LLM 기반 시스템을 의미합니다.
• Prefilling Stage: 모델이 입력 프롬프트를 병렬로 인코딩하여 Key-Value(KV) 캐시를 생성하는 연산 집약적인 단계입니다.
• NVFP4: NVIDIA Blackwell 아키텍처에서 지원하는 4-bit microscaling 부동소수점 포맷으로, 정밀도와 하드웨어 효율성을 동시에 보장합니다.
• Phase-aware Quantization: 연산 단계별(Prefilling vs Decoding) 특성과 에러 민감도를 고려하여 서로 다른 양자화 전략을 적용하는 최적화 프레임워크입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 Agentic LLM의 추론 과정에서 발생하는 입력 기반(input-heavy) 오버헤드와 연산 단계 간 성능 저하 문제를 해결합니다. Agentic 워크플로우는 도구 사용 및 메모리 검색으로 인해 컨텍스트가 반복적으로 길어지며, 이는 Prefilling 단계가 전체 추론의 주요 병목이 되게 합니다 [Figure 1]. 기존의 균일한 양자화(Uniform Quantization) 기법을 전체 추론 과정에 적용하면 Decoding 단계에서의 에러 누적으로 인해 최종 작업 성능이 급격히 저하되는 문제가 발생합니다. 따라서 본 연구는 Prefilling의 연산 효율은 극대화하면서, Decoding의 정밀도는 유지하는 단계별 최적화 전략의 필요성을 제기합니다 [Figure 2].

Figure 1 — Agentic 워크플로우와 병목

Figure 2 — Mix-Quant 전체 구조

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 Prefilling 단계에는 고속 NVFP4 양자화를 적용하고, Decoding 단계에는 고정밀 BF16을 유지하는 Mix-Quant 프레임워크를 제안합니다. Mix-Quant는 두 단계를 분리(Disaggregation)하여 각 단계에 최적화된 하드웨어 경로를 사용함으로써 연산 효율과 생성 품질 사이의 균형을 맞춥니다 [Figure 2]. 주요 실험 결과, Mix-Quant는 균일한 NVFP4 대비 에러 누적을 효과적으로 억제하여 agentic 벤치마크 성능을 크게 향상시켰습니다. 특히, Qwen3.5-9B 모델 등 다양한 아키텍처에서 Prefilling 단계 기준 최대 3배(3×)의 추론 속도 향상(Speedup)을 달성했습니다 [Figure 4]. 또한, 긴 컨텍스트에 대한 어텐션 집중도 분석을 통해 Prefilling 단계의 양자화가 전체 결과에 미치는 부정적인 영향을 최소화할 수 있음을 입증했습니다 [Figure 3].

Figure 4 — Prefill 단계 속도 향상

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 Agentic LLM의 추론 병목 현상을 해결하기 위해 연산 단계별 특성을 고려한 Mix-Quant 프레임워크를 제안하였습니다. 이 연구는 고속의 NVFP4와 고정밀 BF16을 결합함으로써 연산 집약적인 에이전트 환경에서 효율성과 안정성을 모두 확보하는 핵심적인 방향을 제시합니다. 이러한 단계 인지형(Phase-aware) 최적화 방식은 향후 대규모 에이전트 배포 환경에서 비용 절감과 성능 유지라는 두 마리 토끼를 잡기 위한 표준적인 시스템 설계 원칙으로 활용될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.