[논문리뷰] QuantVLA: Scale-Calibrated Post-Training Quantization for Vision-Language-Action Models

링크: 논문 PDF로 바로 열기

저자: Jingxuan Zhang, Yunta Hsieh, Zhongwei Wan, Haokun Lin, Xin Wang, Ziqi Wang, Yingtie Lei, Mi Zhang

핵심 연구 목표

Vision-Language-Action (VLA) 모델은 로봇 제어 및 추론 태스크에서 강력한 성능을 보이지만, 점차 증가하는 컴퓨팅 및 메모리 요구 사항으로 인해 실용적인 배포에 상당한 어려움을 겪고 있습니다. 이 논문은 VLA 시스템, 특히 DiT(Diffusion Transformer) 액션 헤드 의 효율성 병목 현상을 해결하기 위해 훈련 없는(training-free) Post-Training Quantization (PTQ) 프레임워크 를 개발하는 것을 목표로 합니다.

핵심 방법론

QuantVLA 는 선택적 양자화 레이아웃 과 두 가지 경량 스케일 보정 메커니즘 을 통합합니다. 선택적 양자화 레이아웃 은 LLM의 모든 선형 레이어와 DiT의 모든 MLP 레이어를 정수화하는 반면, 어텐션 프로젝션(Q, K, V, O) 은 부동 소수점 상태로 유지하여 스케일 드리프트를 완화합니다. Attention Temperature Matching (ATM) 은 헤드별 스케일링을 통해 로짓 분포를 정렬하고, Output Head Balancing (OHB) 은 레이어별 잔차 인터페이스에서 후처리된 에너지 드리프트를 보정합니다.

주요 결과

LIBERO 벤치마크에서 QuantVLA 는 전체 정밀도(full-precision) 모델의 작업 성공률을 초과 달성했으며, 양자화된 구성 요소에서 약 70%의 상대적 메모리 절약 을 달성했습니다. 특히, OpenPI π0.5 에서 평균 97.6% 성공률 을 기록하며 기준선과 같거나 능가했고, GR00T N1.5 에서 평균 88.0% 정확도 를 달성했습니다. W4A4 와 같은 낮은 비트폭에서도 95.3%의 평균 성공률 을 유지하여 안정적인 성능을 입증했습니다.

AI 실무자를 위한 시사점

QuantVLA 는 VLA 모델의 실용적인 배포를 위한 핵심 경로 를 제시하며, 엄격한 컴퓨팅, 메모리, 전력 제약이 있는 환경에서 로봇 시스템의 저비트 임베디드 인텔리전스 를 가능하게 합니다. 특히, 훈련 없이 DiT 기반 액션 헤드 를 성공적으로 양자화하여 이전 PTQ 방법론의 한계를 극복했습니다. 이는 온디바이스 AI 및 엣지 로보틱스 애플리케이션에서 대규모 VLA 모델의 채택 을 가속화할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.