[논문리뷰] OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

링크: 논문 PDF로 바로 열기

저자: Xuyang Liu, Shihao Wang, Xinyu Wei, Minghan Li, Zeqing Wang, Zuhao Yang, Zichen Wen, Lei Zhang et al.

1. Key Terms & Definitions

본 논문에서 다루는 핵심 기술 용어 및 개념은 다음과 같습니다:

• Omni-Modal Video Grounding and Understanding: 언어적 또는 시각적 단서를 통해 비디오 내의 타겟을 식별하고, 시간적(Temporal) 및 공간적(Spatial)으로 그 증거를 Grounding하며, 오디오-비주얼(Audio-Visual) 증거를 통합하여 이벤트(Event)를 이해하는 포괄적인 과정을 의미합니다.
• Temporal Grounding (TG): 참조된 타겟이 비디오 내에서 언제 나타나는지를 평가하는 태스크(Task)입니다.
• Spatial Grounding (SG): 참조된 타겟이 비디오 내에서 어디에 위치하는지를 평가하는 태스크입니다.
• Question Answering (QA): 비디오 내에서 어떤 일이 발생하는지, 즉 특정 이벤트에 대한 질문에 답변하는 태스크입니다.
• OmniCompass-VL: 시각적 증거(Visual Evidence)만을 요구하는 태스크에서 비전-언어(Vision-Language) 모델의 성능을 평가하는 OmniCompass 벤치마크의 트랙(Track)입니다.
• OmniCompass-AV: 오디오-비주얼 증거(Audio-Visual Evidence)를 모두 요구하는 태스크에서 옴니-모달(Omni-Modal) 모델의 성능을 평가하는 OmniCompass 벤치마크의 트랙입니다.
• Cross-Specification Consistency Scores (CS): Text-only와 Text+Image의 두 가지 타겟 명세(Target Specification) 설정 간에 모델의 예측 정확성(Accuracy) 및 일관성(Consistency)을 함께 측정하기 위해 도입된 메트릭(Metric)입니다.

2. Motivation & Problem Statement

본 논문은 Multimodal Large Language Models (MLLMs)의 급속한 발전에 따라 비디오 이해 능력에 대한 종합적인 평가의 필요성을 핵심 문제로 제기합니다. 기존 비디오 이해 벤치마크들은 평가 차원의 일부만을 다루어 옴니-모달 비디오 Grounding 및 이해 능력에 대한 체계적인 진단을 제한하고 있습니다. 구체적으로, 기존 연구의 한계점은 세 가지로 요약됩니다. 첫째, Limited video-evidence coverage로, 대부분의 벤치마크가 시각 정보 또는 오디오-비주얼 콘텐츠 중 하나에만 초점을 맞춰 포괄적인 평가를 어렵게 합니다. 둘째, Inflexible target-specification settings로, 대다수 벤치마크가 Text-only 또는 Text+Image 중 한 가지 방식으로만 타겟을 명세하여, 동일한 타겟에 대한 다양한 참조 방식 간 일관성 평가가 불가능합니다. 셋째, Fragmented task coverage로, 많은 벤치마크가 QA에 집중하거나 Grounding에만 초점을 맞추고 있으며, 특히 오디오-비주얼 벤치마크에서는 Grounding 태스크가 드물어 전체적인 능력 진단에 한계가 있습니다. 이러한 제약 사항들로 인해 MLLMs의 복잡한 비디오 이해 및 Grounding 능력을 체계적으로 진단하는 데 새로운 접근 방식이 필요합니다.

3. Method & Key Results

본 논문은 기존 벤치마크의 한계점을 해결하기 위해 OmniCompass라는 옴니-모달 비디오 Grounding 및 이해를 위한 Holistic 벤치마크를 제안합니다. OmniCompass는 Complementary Video Evidence, Flexible Target Specification, Unified Task Coverage, Diverse Durations and Content라는 네 가지 주요 특징을 통합합니다 [cite: 1, Figure 2]. 특히, OmniCompass-VL은 시각적 콘텐츠만을 평가하고, OmniCompass-AV는 오디오-비주얼 콘텐츠를 모두 활용하여 모델을 평가합니다. 각 트랙(Track)은 Temporal Grounding (TG), Spatial Grounding (SG), Question Answering (QA)의 세 가지 보완적인 태스크를 포함하며, 동일한 타겟에 대해 Text-only와 Text+Image의 두 가지 Paired target specifications을 제공합니다 [cite: 1, Figure 2]. 벤치마크 구축에는 약 1,800 human-hours가 소요되었으며, 비디오 수집, 태스크 어노테이션(Annotation), 다중 라운드 품질 검증(Multi-round Quality Verification) 과정을 거쳤습니다 [cite: 1, Figure 3]. 또한, 예측의 정확성과 일관성을 동시에 측정하는 새로운 메트릭인 Cross-Specification Consistency Scores (CS)를 도입하였습니다.

50개 MLLMs에 대한 실험 결과는 다음과 같은 핵심 인사이트를 보여줍니다. OmniCompass-VL 트랙에서 Gemini-3.8-Flash가 42.8%의 가장 높은 CS Avg 점수를 달성했으며, 오픈 소스 모델 중에서는 Kimi-K3가 39.6%로 선두를 차지했습니다 [cite: 1, Figure 1, Table 2]. OmniCompass-AV 트랙에서는 Gemini-3.8-Flash가 57.4%로 역시 가장 높은 CS Avg를 기록하며, 오픈 소스 모델 선두인 MiMo-V2.5의 24.6%를 크게 앞섰습니다 [cite: 1, Table 3]. 이러한 결과는 Proprietary 모델이 오픈 소스 모델, 특히 Audio-visual understanding 분야에서 전반적으로 우위에 있음을 시사합니다. 모델들은 QA 성능에서 최대 69.1% (VL) 및 78.2% (AV)의 높은 CS QA를 보였으나, Temporal Grounding (최고 CS TG 27.1%) 및 Spatial Grounding (최고 CS SG 34.9%)에서는 상대적으로 낮은 성능을 기록하여 Grounding과 Fine-grained perception이 여전히 도전적인 영역임을 나타냅니다 [cite: 1, Table 2, Table 3]. 또한, Cross-Specification Consistency는 여전히 제한적이며, CS 점수가 단일 설정 점수보다 평균 4.3%~6.4% 낮아, 단일 설정에서 높은 정확도를 보이더라도 다른 참조 방식 간 일관성이 부족함을 확인했습니다 [cite: 1, Table 2]. 추가 분석 결과, Frame-level timestamps는 모든 태스크 및 트랙에서 모델 성능을 향상시켰으며 (VL에서 평균 6.5%, AV에서 평균 4.9% CS Avg 상승), 오디오 추가는 CS QA 성능을 일관되게 향상시켰습니다 (평균 22.9% 상승).

4. Conclusion & Impact

본 논문은 옴니-모달 비디오 Grounding 및 이해를 위한 포괄적인 벤치마크인 OmniCompass를 성공적으로 소개합니다. 이 벤치마크는 TG, SG, QA 태스크를 VL 및 AV 트랙에 걸쳐 통합하며, 동일한 비디오에 대한 Paired Text 및 Text+Image specifications을 통해 모델의 예측 정확성뿐만 아니라 일관성까지 평가할 수 있는 CS metric을 제공합니다. 본 연구의 평가 결과, 선도적인 Proprietary 모델들이 오픈 소스 모델들을 능가하며, 특히 Audio-visual understanding에서 강점을 보였지만, Precise grounding, Fine-grained perception, Audio-visual event binding은 여전히 MLLMs에 도전적인 과제임을 밝혀냈습니다. 이 연구는 향후 MLLMs가 더 강력한 Multimodal alignment와 신뢰할 수 있는 Audio-aware grounding 능력을 개발해야 할 필요성을 제시합니다. OmniCompass는 QA, Precise grounding, Cross-reference consistency를 태스크 및 모달리티 전반에 걸쳐 통합적으로 평가하는 토대를 제공함으로써, 모델의 한계를 진단하고 신뢰할 수 있는 옴니-모달 비디오 이해를 향한 발전을 측정하는 데 중요한 기여를 할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.