[논문리뷰] OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoyang Huang, Wenjie Huang, Tianqi Xu, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• OmniLLM: 텍스트, 오디오, 비디오를 통합적으로 이해하고 추론하는 멀티모달 Large Language Model입니다.
• Token Compression: 긴 멀티모달 시퀀스로 인한 메모리 및 연산 비용을 줄이기 위해 중요하지 않은 토큰을 제거하는 기술입니다.
• Budget Allocation: 전체 토큰 중 유지(retained)할 비율이 고정되었을 때, 이를 모달리티 간(Inter-modal) 혹은 모달리티 내(Intra-modal) 단위별로 어떻게 분배할지 결정하는 최적화 문제입니다.
• Skill Pool: Query와 모달리티 간의 적합성을 판단하기 위해 정의된 대표적인 Task 관련 키워드 집합입니다.
• Token Pruning: 할당된 Budget 내에서 실제 중요도가 높은 토큰을 선별하여 남기는 프로세스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 OmniLLM의 긴 오디오-비디오 토큰 시퀀스로 인한 높은 Latency와 메모리 비용 문제를 해결하기 위해, 기존의 고정된 토큰 예산 할당 방식의 한계를 지적합니다 [Figure 5]. 기존 연구들은 단순히 어떤 토큰을 제거할지(Token Pruning)에만 집중하여, 정작 유지해야 할 토큰의 총예산을 어떻게 배분할지에 대한 문제인 Budget Allocation을 간과해왔습니다. 저자들은 직접적인 Query-to-Audio/Video 유사도 측정이 모달리티 간 할당에 부적절하며 [Figure 1], 모달리티 내에서 동일한(Uniform) 예산을 배분하는 방식은 중요한 정보를 손실시키고 중복 정보를 유지하게 만든다는 점을 입증합니다 [Figure 3].

Figure 1 — Query 유사도 측정의 실패 사례

Figure 3 — 예산 할당 진단 분석

Figure 5 — OmniDelta 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Training-free 방식의 OmniDelta 프레임워크를 제안하며, 이는 Intent-Aware Inter-modal Allocation과 Content-Aware Intra-modal Allocation으로 구성됩니다 [Figure 5]. 먼저, Query와 사전에 정의된 Skill Pool 간의 유사도를 바탕으로 오디오와 비디오 모달리티 사이의 예산(Budget)을 유동적으로 이동시킵니다 [Figure 2]. 이후, 각 모달리티 내부에서는 로컬 영역의 Complexity와 Temporal Redundancy를 분석하여 오디오 세그먼트와 비디오 프레임 단위로 예산을 재분배합니다. 실험 결과, Qwen2.5-Omni-7B 모델에서 25% 토큰 유지 조건 하에 GPU Memory를 22.0% 절감하였으며, Full-token 추론 대비 1.64배의 End-to-End Speedup을 달성했습니다 [Table 1, Table 2]. OmniDelta는 기존의 Pruning 전략과 호환되면서도, 더 정교한 예산 배분을 통해 정확도와 효율성의 Pareto frontier를 새롭게 정의했습니다 [Table 1, Figure 6].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Token Compression 분야에서 Budget Allocation이 Pruning만큼이나 필수적인 과정임을 규명하고, 효율적인 대안인 OmniDelta를 성공적으로 제시했습니다. 이 연구는 복잡한 Omni-modal 환경에서 추론 비용을 획기적으로 줄이면서도 정보 손실을 최소화하는 기술적 방향성을 제시합니다. 특히 모델 학습 없이도 Query 의도에 따른 유연한 대응이 가능하다는 점에서 실용적인 AI 시스템 구축에 큰 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.