[논문리뷰] Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval

링크: 논문 PDF로 바로 열기

메타데이터

저자: Suhyeong Park, Junha Jung, Jungwoo Park, Jaewoo Kang, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Multi-vector Retrieval: 이미지와 텍스트를 토큰 임베딩의 집합으로 표현하고, MaxSim(Maximum Similarity) 연산을 통해 세밀한 정보를 비교하는 검색 방식입니다.
• SaMer (Semantic-aware Merging): 객체 단위의 증거를 보존하면서 이미지의 visual tokens를 압축하는 object-aware 토큰 병합 프레임워크입니다.
• Post-projector Token Compression: 인코더를 거친 후 투영 레이어(Projection Layer)를 지난 임베딩 단계에서 토큰 수를 줄여 스토리지와 연산 효율을 높이는 기법입니다.
• Object-aware Merge Prior: 학습 과정에서 객체 주석(Bbox)을 사용하여 서로 다른 객체 인스턴스가 섞이지 않도록 토큰 병합을 유도하는 방식입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 다중 벡터 기반의 Vision-Language Retrieval에서 발생하는 과도한 스토리지 비용과 추론 지연 문제를 해결하고자 합니다. 기존의 토큰 압축 기법(Pruning, Pooling 등)은 쿼리에 중요한 객체나 영역 수준의 정보까지 불필요하게 삭제하거나 병합하여 검색 성능을 저하시키는 한계가 있습니다 [Figure 1]. 이러한 방식은 특히 쿼리가 특정 객체나 속성을 요구할 때 필요한 증거를 손실시킬 위험이 있습니다. 따라서 저자들은 단순히 토큰 수를 줄이는 것을 넘어, 추후 MaxSim 질의에서 선택될 수 있는 객체 단위의 정보를 보존하는 것이 핵심이라고 정의합니다.

Figure 1 — SaMer 프레임워크 개요

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 SaMer를 제안하며, 이는 feature-spatial soft assignment를 통해 visual tokens를 K개의 대표 토큰으로 압축합니다 [Figure 1]. 학습 시에는 객체 주석을 병합 가이드로 활용하여 인스턴스 간 혼합을 방지하며, 추론 시에는 별도의 탐지기(Detector) 없이 압축을 수행합니다. 특히, Vision Encoder와 Language Backbone을 고정하고 투영 레이어만을 학습시키는 Projection-Only Adaptation을 통해 기존 검색 아키텍처와의 호환성을 유지합니다. 실험 결과, K=64 설정에서 ColPali 모델의 이미지 측 스토리지 요구량을 약 16.09배 감소시켰습니다 [Table 1]. 또한, Flickr30K와 MSCOCO 데이터셋에서 각각 R@1 성능을 77.0에서 82.4로, 47.4에서 51.6으로 향상시키며 기존 압축 기법들을 상회하는 결과를 달성했습니다 [Table 1]. 이는 객체 정보 보존이 효율적인 다중 벡터 검색의 핵심임을 정량적으로 입증합니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 토큰 압축을 단순히 정보량 축소의 관점이 아닌, 검색 엔진이 참조할 객체 단위의 증거 보존 문제로 재정의했습니다. SaMer는 모델의 아키텍처를 변경하지 않고도 효과적으로 스토리지와 연산 복잡도를 개선하며, 높은 검색 정밀도를 동시에 유지합니다. 이 연구는 대규모 멀티모달 모델에서 효율적인 검색 시스템을 구축하려는 학계 및 산업계 연구자들에게 중요한 프레임워크를 제시합니다. 향후 다양한 도메인의 Vision-Language 모델에 적용되어 멀티모달 검색의 실용성을 한층 높일 것으로 기대됩니다.

Figure 2 — 토큰 예산과 R@5 성능 트레이드오프

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.