[논문리뷰] UEmbed: Unified Sparse and Dense Multimodal Embeddings

링크: 논문 PDF로 바로 열기

메타데이터

저자: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Learned Sparse Retrieval (LSR): 신경망 모델을 사용하여 텍스트의 어휘적(lexical) 중첩과 의미적(semantic) 확장을 결합한 희소 벡터(Sparse Vector)를 생성하는 검색 방식입니다.
• Decoder-only MLLM: 전방향(causal) 어텐션 메커니즘을 기반으로 하는 멀티모달 대규모 언어 모델로, 기존의 인코더 기반 검색 모델과 달리 통합적인 생성 및 검색 프레임워크를 제공합니다.
• Partitioned Sparse Heads: 모델의 전체 어휘 사전(Vocabulary)을 여러 개의 하위 집합(Subset)으로 분할하고, 각 하위 집합을 별도의 학습 가능한 토큰이 담당하게 하여 희소 벡터를 생성하는 구조입니다.
• InfoNCE Loss: 대조 학습(Contrastive Learning)에 활용되는 손실 함수로, 쿼리와 양성(Positive) 문서 간의 유사도를 극대화하고 부정(Negative) 샘플과의 유사도는 최소화합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 기존 LSR 기법들이 인코더 기반의 양방향 아키텍처에 종속되어 있어 최신 Decoder-only 모델의 효율성을 활용하기 어렵다는 문제점을 해결하고자 합니다. 기존 멀티모달 검색 모델들은 별도의 보조 교차 모달(Cross-modal) 모듈을 사용해야 하므로 모델의 확장성과 배포 효율성이 낮다는 한계가 있습니다. 또한, 단일 토큰(예: CLS)에 의존하여 거대한 어휘 공간을 투영할 때 발생하는 정보 병목 현상은 희소 표현의 용량을 제한합니다. 이에 저자들은 단일 모델 내에서 dense와 sparse 표현을 모두 생성할 수 있는 통합된 프레임워크인 UEmbed를 제안합니다 [Figure 1].

Figure 1 — UEmbed 모델 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

UEmbed는 입력 시퀀스 끝에 N=16개의 학습 가능한 특수 토큰을 추가하고, k-means 클러스터링을 통해 어휘 사전을 분할하여 각 토큰이 고유한 의미적 하위 공간을 담당하게 설계되었습니다. 이 모델은 단일 Causal Forward Pass를 통해 dense 임베딩(EOS 토큰 기반)과 sparse 벡터(특수 토큰 기반)를 동시에 생성하며, vLLM과 같은 고성능 서빙 프레임워크와의 높은 호환성을 보장합니다. 실험 결과, UEmbed-9B는 MMEB-v2 벤치마크에서 dense(71.8) 및 sparse(71.0) 모두에서 강력한 성능을 기록했습니다 [Table 1]. 특히 sparse 모드는 기존 dense 모델인 Ops-MM-Embed-7B를 능가하는 성능을 보였으며, BEIR 벤치마크에서도 SPLADE-v3와 대등한 결과를 나타내어 통합된 검색 모델로서의 우위를 입증했습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 희소 검색을 독립된 레거시 모듈에서 MLLM의 기본 부산물로 전환시키는 새로운 패러다임을 제시했습니다. UEmbed는 dense와 sparse 검색 방식을 단일 백본으로 통합함으로써 검색 성능뿐만 아니라 배포 효율성 및 비용 측면에서 탁월한 실용적 이점을 제공합니다. 특히 Agentic Search 환경에서 희소 모드가 dense 모드 대비 더 적은 도구 호출(Tool-call)로 효율적인 검색을 수행함을 확인하여, 실제 산업 현장의 검색 시스템 설계에 중요한 방향성을 제시합니다 [Table 6].

Figure 2 — 학습 방식 및 하이퍼파라미터 실험

Figure 3 — 다양한 모달리티에 대한 희소 토큰 활성화 사례

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.