[논문리뷰] CAPEval: A Decoupled Caption Evaluation across Understanding and Generation

링크: 논문 PDF로 바로 열기

## 1. Key Terms & Definitions (핵심 용어 및 정의)
- **CAPEval**: Multimodal Understanding 및 Text-to-Image Generation 전반에 걸쳐 Caption 품질을 평가하기 위해 제안된 decoupled evaluation benchmark이다.
- **Coverage (C)**: Caption이 Ground-Truth factual content를 얼마나 철저하게 포함하는지를 정량화하는 지표로, Semantic completeness를 측정한다.
- **Precision (P)**: Caption에 표현된 모든 Claim의 factual correctness rate를 반영하는 지표로, Factual reliability를 측정한다.
- **Vision-Language Understanding (VLM Understanding)**: Vision-Language Model (VLM)이 시각 및 언어 정보를 통합하여 이해하는 능력을 의미한다.
- **Text-to-Image Generation (T2I Generation)**: 텍스트 설명으로부터 이미지를 생성하는 모델의 성능을 의미한다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)
기존의 Caption Quality Evaluation 방식은 Caption 품질을 단일 Scalar Objective로 간주하여, Caption이 담는 Visual information의 범위(Coverage)와 주장하는 내용의 Factual correctness (Precision)라는 두 가지 distinct property를 혼동하는 문제점을 안고 있었다. 이러한 접근 방식은 Downstream multimodal capabilities에 대한 Caption properties의 구체적인 영향을 불분명하게 만들었다. 기존 연구들(예: BLEU, METEOR, CIDEr 기반 평가 또는 DOCCI, DetailCaps와 같은 Fine-grained checklist 기반 방법론)은 Coverage와 Reliability를 통합된 점수로 제공하거나, Caption을 Standalone Output으로 평가하여 training supervision signal로서의 실제 Utility를 측정하지 못했다. 이에 본 연구는 Downstream multimodal models가 Broad visual content Coverage로부터 더 많은 이점을 얻는지, 아니면 Fewer but more reliable claims로부터 이점을 얻는지, 그리고 이러한 결론이 Understanding Task와 Generation Task 간에 차이가 있는지 체계적으로 평가하기 위한 새로운 접근 방식의 필요성을 제기한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 Caption 품질을 Decouple하여 평가하고 Downstream Multimodal Performance와 연결하는 CAPEval Framework를 제안한다 [cite: 1, Figure 1]. CAPEval은 4단계 Pipeline으로 구성된다: (1) High-resolution Images와 Human-annotated Ground-Truth (GT) captions로부터 8가지 Semantic Dimension에 걸친 Dense atomic checklists를 구축한다 [cite: 1, Figure 1a, Figure 3a]. (2) Judge model (Qwen2.5-72B)을 사용하여 각 Candidate caption의 <strong>Coverage (C)</strong>와 **Precision (P)** 점수를 산출한다 [cite: 1, Figure 1b]. (3) 10개의 Captioner가 생성한 Captions를 유일한 Variable로 하여 Controlled VLM pretraining 및 T2I fine-tuning 실험을 수행, 각 Captioner에 대한 Understanding score (U)와 Generation score (G)를 도출한다 [cite: 1, Figure 1c]. (4) **Coverage**와 **Precision**이 Downstream Performance에 미치는 영향을 체계적으로 분석하기 위해 Ordinary Least Squares (OLS) Regression (U or G = β₀ + βc C + βp P)을 적용한다 [cite: 1, Figure 2].

주요 실험 결과, Downstream Task에 따라 Caption Quality Dimension의 중요성이 비대칭적으로 나타났다 [cite: 1, Figure 2, Figure 6]. **VLM Understanding** Performance의 경우, **Coverage**가 더 강력하고 일관된 Predictor로 작용했다 [cite: 1, Figure 2, Figure 6]. 예를 들어, SigLIP-Qwen3 Pipeline에서 **Coverage**의 회귀 계수는 **+0.118** (p-value = **0.026**)로 통계적으로 유의미했으며, CLIP-Vicuna Pipeline에서도 **+0.215** (p-value = **0.047**)로 나타났다 [cite: 1, Figure 6]. 반면 **Precision**은 통계적으로 유의미하지 않았다 [cite: 1, Figure 6]. 그러나 Hallucination Performance는 **Precision** (p-value = **0.124**)과 더 강한 연관성을 보였다 [cite: 1, Figure 7].

**T2I Generation** Performance에서는 **Precision**이 지배적인 Predictor였다 [cite: 1, Figure 2, Figure 6]. SD3.5M Pipeline에서 **Precision**의 회귀 계수는 **+0.189** (p-value < **0.001**)로 매우 유의미했으며, Qwen-Image Pipeline에서도 **+0.235** (p-value < **0.001**)로 나타났다 [cite: 1, Figure 6]. **Coverage**는 Generation Task에서 통계적으로 유의미하지 않았다 [cite: 1, Figure 6]. 또한, Captioner Scale이 Downstream Utility를 항상 결정하는 것은 아니며, Caption Quality Profile이 Downstream Objective와 더 잘 일치할 때 Smaller Captioner가 Larger Captioner보다 우수한 성능을 보일 수 있음을 밝혔다 [cite: 1, Table 1]. 예를 들어, InternVL3.5 계열 내에서 1B 모델은 더 높은 **Coverage**로 8B 모델보다 Understanding 성능(Avg. U = **58.5** vs **57.3**)이 높았고, 4B 모델은 더 높은 **Precision**으로 8B 모델보다 Generation 성능(Avg. G = **71.6** vs **71.0**)이 우수했다 [cite: 1, Table 1].

## 4. Conclusion & Impact (결론 및 시사점)
본 논문은 Caption 품질을 시각적 정보의 **Coverage**와 사실적 주장의 **Precision**이라는 두 가지 Distinct Axis로 분해하여 평가하는 CAPEval Framework를 성공적으로 제시했다. Controlled training experiments를 통해 CAPEval은 Caption Quality Dimension이 VLM Understanding 및 T2I Generation Downstream Task에 미치는 Causal Contribution을 분리하여 분석했으며, 각 Task에 따라 **Coverage**와 **Precision**의 중요성이 달라지는 일관된 Task-Dependent Dissociation을 입증했다. 즉, VLM Understanding은 **Coverage**에 더 크게 의존하는 반면, T2I Generation은 **Precision**에 더 강하게 의존한다 [cite: 1, Figure 2]. 이 연구 결과는 Captioner Scale만으로는 Downstream Utility를 예측하기에 불충분하며, Task Objective에 맞는 **Coverage–Precision Profile**을 가진 Captioner를 선택하는 것이 중요함을 시사한다 [cite: 1, Table 1]. CAPEval은 Single-score Caption Evaluation의 한계를 넘어, 학계 및 산업계에서 Task-aware Caption Data Curation, Captioner Selection 및 Multimodal Dataset Construction을 위한 실용적이고 Objective-driven Framework의 기반을 제공하며, Multimodal Research의 발전에 중요한 시사점을 던진다.

![Figure 1: CAPEval 개요](/paper-images/2026-08-05/2608.02589/figure_1.png)

*Figure 1 — CAPEval 개요*

![Figure 2: 다운스트림 성능과 CAPEval 점수 관계](/paper-images/2026-08-05/2608.02589/figure_2.png)

*Figure 2 — 다운스트림 성능과 CAPEval 점수 관계*

![Figure 6: 회귀 분석 결과 (Coverage, Precision)](/paper-images/2026-08-05/2608.02589/figure_6.png)

*Figure 6 — 회귀 분석 결과 (Coverage, Precision)*

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.