[논문리뷰] OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

링크: 논문 PDF로 바로 열기

메타데이터

저자: Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang, Liming Jiang, Priyadarshini Panda, Timo Mertens, Saurabh Shukla

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Diffusion Transformers (DiTs): 기존의 U-Net 기반 구조를 대체하여 고성능 이미지 및 비디오 생성을 주도하는 Transformer 기반 denoiser 아키텍처입니다.
• RPBH (Randomized Permuted Block-Hadamard): 입력 데이터의 분포를 고정된 Gaussian marginal로 정규화하기 위해 제안된 효율적인 회전 행렬 연산 기법입니다.
• Distributional Codebook: 입력 데이터에 의존하지 않고, 회전된 공간에서의 이론적 확률 분포(marginal)에 기초하여 오프라인에서 미리 계산된 MSE-optimal Lloyd–Max codebook입니다.
• Data-Agnostic Quantization: 특정 입력 데이터셋에 대한 보정(calibration) 없이 모델 자체의 기하학적 특성만을 활용하여 양자화를 수행하는 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Diffusion Transformers의 추론 효율성을 높이기 위해 데이터 보정(calibration)이 필요 없는 새로운 Post-Training Quantization (PTQ) 프레임워크인 OrbitQuant를 제안합니다. 기존의 PTQ 기법들은 타임스텝(timestep), 프롬프트, guidance 분기마다 변화하는 DiT의 활성화 값(activation) 분포로 인해 매번 새로운 보정 데이터를 수집하고 재설정해야 하는 한계가 있습니다. 이러한 분포 변화는 DiT 추론을 compute-bound 문제로 만들며, 범용적인 압축 성능을 달성하는 데 큰 걸림돌이 됩니다. OrbitQuant는 이러한 문제를 해결하기 위해 데이터 의존적인 범위 추정(range estimation)을 배제하고 정규화된 회전 공간에서 양자화를 수행합니다 [Figure 2].

Figure 2 — OrbitQuant 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 RPBH 회전을 통해 입력 활성화 값을 공통의 고정 분포로 매핑하고, 이를 기반으로 공유된 Lloyd–Max codebook을 사용하여 양자화를 수행하는 OrbitQuant를 제안합니다. 이 과정에서 회전 행렬은 가중치(weight) 행렬 내부로 미리 흡수(folding)되어 추론 시에는 추가적인 역회전 연산 없이 효율적인 순방향 연산만 남게 됩니다. 또한, RPBH에 포함된 무작위 순열(random permutation)은 회전된 좌표들이 서로 독립적으로 잘 분포되도록 보장합니다. 실험 결과, OrbitQuant는 FLUX.1, Wan 2.1, CogVideoX 등 주요 모델에서 W4A4와 W2A4 설정 모두 최고 수준의 생성 품질을 기록하였습니다. 특히 GenEval 및 VBench 평가에서 기존 보정 기반 기법들(예: ViDiT-Q, SVDQuant) 대비 우수한 정량적 성능을 보여주었으며, W2A4 비트 폭에서도 유의미한 결과물을 생성하는 유일한 방법론임을 입증하였습니다 [Table 1], [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 고정된 분포 기반의 양자화 설계를 통해 Diffusion Transformers의 PTQ 과정에서 발생하는 보정 데이터 의존성을 완전히 제거했습니다. OrbitQuant는 다양한 모달리티와 모델 구조에 걸쳐 일관되게 적용 가능하며, 특히 초저비트(ultra-low-bit) 환경에서도 모델 성능을 안정적으로 유지합니다. 이 프레임워크는 컴퓨팅 자원이 제한된 환경에서 고성능 생성 모델의 배포 비용을 획기적으로 낮출 수 있는 실질적인 토대를 마련하였다는 점에서 학계와 산업계에 큰 시사점을 줍니다.

Figure 3 — RPBH 회전 후 분포 매칭 결과

Figure 4 — 모델별 정성적 품질 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.