[논문리뷰] OmniPack: Unified Token Compression for Efficient Omni-modal Large Language Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Wanshun Su, Yang Shi, Feihu Liu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Omni-LLMs: Audio, visual, text 등 다양한 모달리티를 통합적으로 처리하고 이해하는 Multimodal Large Language Models를 지칭합니다.
• Pre-LLM Compression: LLM의 Transformer 블록에 입력되기 전, 인코더 단계에서 수행되는 토큰 압축 기법으로, 구조적 중복성 제거에 초점을 맞춥니다.
• Inner-LLM Compression: LLM 내부의 특정 Transformer 블록 중간 단계에서 수행되는 압축으로, 텍스트 가이드와 모달리티 간 상호작용을 고려한 의미론적(semantic) 정제 과정입니다.
• DPC-KNN: Density Peak Clustering과 K-Nearest Neighbors를 결합하여 데이터의 국소적 구조를 유지하면서도 대표 토큰을 효율적으로 선별하는 알고리즘입니다.
• FLOPs (Floating Point Operations): 모델 연산량을 측정하는 지표로, 본 논문에서는 토큰 압축을 통한 효율성을 정량화하는 데 사용되었습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 Omni-LLMs가 장문의 오디오-비주얼 입력 시 발생하는 방대한 계산 및 메모리 오버헤드 문제를 해결하고자 합니다. 기존 토큰 압축 방법들은 낮은 토큰 예산(token budget) 환경에서 다음과 같은 한계를 보입니다: 1) 사전 단계(pre-LLM)에서 구조적 중요성만 고려하여 전역적인 문맥 정보를 상실하거나, 2) 내부 단계(inner-LLM)에서 모달리티 간 협력적인 상호작용을 충분히 활용하지 못합니다. 이에 따라 본 논문은 단계별 특화 전략을 통해 이러한 구조적 정보 보존과 의미론적 정제를 동시에 달성하는 새로운 프레임워크를 제안합니다 [Figure 2].

Figure 2 — OmniPack 프레임워크 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들이 제안하는 OmniPack은 훈련(training) 과정 없이 토큰을 점진적으로 압축하는 두 단계 프레임워크입니다. 사전 단계에서는 Importance Selection, Coverage Selection, Similarity-Aware Token Merging을 결합하여 모달리티별 구조적 중복을 제거하고 정보를 보존합니다. 이후 LLM 내부 단계에서는 쿼리(Query)에 기반한 텍스트 가이드와 오디오-비주얼 협력을 통해 의미론적으로 정제된 표현을 유지합니다. 실험 결과, Qwen2.5-Omni-7B 모델에서 OmniPack은 기존 방식 대비 탁월한 성능-효율 트레이드오프를 보여줍니다 [Figure 1]. 구체적으로, 토큰 유지 비율(retention ratio)이 10%일 때 기존 성능의 92.9%를 유지하면서 FLOPs를 6.8% 수준으로 대폭 절감했습니다. 또한 15%/7.5% retention 비율 설정 시, 95.6%의 성능을 보존하며 FLOPs를 10.0배 감축하고 4.5배의 프리필(prefill) 속도 향상을 달성했습니다 [Table 1].

Figure 1 — 모델별 성능-효율성 비교

4. Conclusion & Impact (결론 및 시사점)

본 논문은 모달리티 특화 구조적 압축과 쿼리 조건부 내부 정제를 통합한 OmniPack 프레임워크를 통해 Omni-LLMs의 효율적 추론을 가능하게 합니다. 훈련이 필요 없는(training-free) 이 접근 방식은 다양한 백본 모델과 벤치마크에서 일관된 성능 우위를 점함으로써 실용적인 배포 가능성을 크게 높였습니다. 이번 연구는 향후 모달리티를 아우르는 장시간 영상 및 음성 이해 모델이 자원 제약 환경에서도 원활히 작동할 수 있는 기술적 토대를 마련했다는 점에서 학계와 산업계에 중요한 시사점을 제공합니다.

Figure 3 — 내부 압축 레이어 위치에 따른 영향

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.