[논문리뷰] VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression

링크: 논문 PDF로 바로 열기

저자: Yupeng Zheng, Kai Zou, Bin Liu, Nenghai Yu

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• VisCo: 사전 학습된 VLM 자체를 내재적(intrinsic) 압축기로 활용하여 visual token을 소수의 메모리 토큰으로 압축하는 Self-Compression 프레임워크입니다.
• Hierarchical KV-Pass: encoder의 각 레이어에서 생성된 메모리 토큰의 KV cache를 디코더에 계층적으로 전달하여, 다중 해상도 의미 정보를 보존하는 메커니즘입니다.
• Asymmetric Autoencoder: 인코딩 단계에서만 LoRA 어댑터를 사용하고, 디코딩 단계에서는 원본 VLM을 동결(frozen)하여 사용하는 경량화된 학습 구조입니다.
• Visual Token: Vision Encoder와 Multimodal Projector를 통해 입력 이미지로부터 추출된 시각적 특징 단위입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 VLM이 고해상도 이미지를 처리할 때 발생하는 과도한 시각적 토큰으로 인한 inference latency와 KV cache 메모리 오버헤드 문제를 해결하고자 합니다. 기존의 training-free 방식은 휴리스틱한 prunning이나 병합 과정에서 global semantics를 상실하여 성능이 급격히 저하되는 한계가 있으며, 기존의 training-based 방식은 추가적인 모듈 도입이나 무거운 retraining 비용으로 인해 VLM 본연의 우선순위(prior)를 훼손하는 단점이 있습니다. VisCo는 이러한 문제들을 극복하기 위해 VLM의 내재된 인코딩 능력을 활용하여 최소한의 학습 비용으로 강력한 토큰 압축을 수행하는 것을 목표로 합니다 [Figure 2].

Figure 2 — 제안하는 VisCo 프레임워크가 기존 방식과 어떻게 차별화되는지를 보여주는 핵심 아키텍처 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) VisCo는 인코딩 단계에서 소수의 학습 가능한 Memory Token을 도입하여 시각 정보를 요약하고, 이를 계층적으로 디코더에 전달함으로써 원본 VLM의 구조를 변형하지 않고도 뛰어난 압축 성능을 달성합니다. 실험 결과, LLaVA-1.5-7B 기반 환경에서 VisCo는 32개의 토큰을 유지할 때 원본 성능의 91.8%를 보존하며 기존 기법들보다 우수한 성능을 나타냈습니다 [Table 1]. 특히 1개의 토큰만 사용하는 극단적인 압축 환경에서도 85.3%의 성능을 유지하여, 다른 베이스라인들 대비 압도적인 경쟁력을 입증하였습니다. 또한 Qwen2-VL 환경에서도 기존의 내장 압축 기법을 상회하는 안정적인 성능을 확보하며, 메모리 토큰이 단순한 요약본이 아닌 보완적(complementary) 표상을 제공함을 확인하였습니다 [Table 2].

Table 1 — 다양한 토큰 압축률에서 기존 SOTA 모델들과 성능을 비교한 핵심 결과 테이블

Table 2 — Qwen2-VL 백본에서의 VisCo 범용성과 성능 우위를 입증하는 핵심 결과 테이블

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 사전 학습된 VLM의 강력한 내재적 인코딩 우선순위를 활용하는 VisCo 프레임워크를 통해, 효율적인 visual token compression의 새로운 패러다임을 제시합니다. 이 연구는 추가적인 대규모 재학습 없이도 높은 압축 비율에서 성능 저하를 최소화할 수 있음을 입증하였으며, 실시간 서비스와 자원 제약 환경에서의 VLM 배포를 가속화할 것으로 기대됩니다. 향후 연구에서는 더욱 정교한 토큰 할당 방식과 비디오 도메인으로의 확장을 통해 시각 모델의 효율성을 극대화할 수 있을 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.