[논문리뷰] SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Keyu Tu, Zhuowei Chen, Mengqi Huang, Yuxin Wang, Jiahao Zhu, Zhendong Mao, Yongdong Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Semantic Task Completion Video Generation: 단순히 시각적 일관성을 유지하는 것을 넘어, 특정 Instruction에 명시된 결과를 성공적으로 생성하고 참조 이미지와 의미적으로 일치(Semantic Grounding)해야 하는 새로운 생성 과제입니다.
• Outcome Achievement (OA): 생성된 비디오가 Instruction에서 요구하는 최종 결과물에 도달했는지, 그리고 참조 이미지와의 의미적 연관성을 보존했는지를 평가하는 지표입니다.
• Generation Reliability (GR): 생성된 비디오의 시각적, 물리적 결함 유무(물리적 타당성, 선명도, 왜곡 등)를 측정하는 보조 평가 지표입니다.
• SemComp-Data: 6개 도메인에 걸쳐 Reference Image, Brief/Detailed Instruction, Outcome-centric 비디오 클립으로 구성된 표준화된 평가 데이터셋입니다.
• SemComp-Bench: VLM을 활용하여 구조화된 이진 질문을 던짐으로써, 생성 모델의 성능을 증거 기반으로 정량화하는 평가 프로토콜입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 현존하는 Video Generation 모델들이 시각적 품질이나 시간적 일관성은 뛰어나지만, 사용자의 구체적인 작업 목표를 달성하는 능력은 제대로 평가받지 못하고 있다는 문제 인식에서 출발합니다. 기존 벤치마크들은 주로 Visual Fidelity나 Prompt Adherence에 치중되어 있어, 참조 이미지와 연결된 복합적인 의미적 과제(Semantic Task)의 성공 여부를 정밀하게 측정하지 못합니다. 저자들은 이러한 한계를 극복하고자, 작업 목표 달성(Outcome Achievement)과 참조 이미지와의 의미적 연결(Semantic Grounding)을 핵심으로 하는 새로운 평가 프레임워크인 SemComp-Bench를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 실세계 비디오를 활용한 4단계 큐레이션 파이프라인을 통해 SemComp-Data를 구축하며, 이를 기반으로 VLM이 증거 기반의 이진 판단을 내리는 평가 체계를 수립합니다 [Figure 3]. 이 파이프라인은 Candidate Filtering, State Mining, Video Extension, Instruction Structuring 순으로 진행되며, 각 데이터 인스턴스는 두 가지 수준의 Instruction(Brief/Detailed)을 포함하여 생성 난이도에 따른 모델의 대응력을 테스트합니다. 주요 실험 결과, HunyuanVideo-1.5-720P-I2V 모델이 OA Score 37.8%로 가장 우수한 성능을 보였으나, 전체적으로 40% 미만의 낮은 성취율을 기록하여 여전히 해결해야 할 과제가 많음을 시사합니다 [Table 1]. 또한, Generation Reliability 측면에서는 Seedance 2.0이 91.8%의 GR Score로 가장 높은 점수를 기록했으나, 모델의 신뢰도가 반드시 높은 결과 성취도(Outcome Achievement)와 비례하지 않는다는 점이 확인되었습니다 [Table 2]. 특히 I2V(Image-to-Video) 모델이 T2V(Text-to-Video) 모델보다 참조 이미지의 정보를 활용하여 더 높은 의미적 일관성을 보임을 정량적으로 입증하였습니다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 비디오 생성 분야에서 '의미론적 작업 완성'이라는 새로운 평가 기준을 정립하고, 이를 정량화할 수 있는 데이터셋과 벤치마크를 성공적으로 제시하였습니다. 이 연구는 생성 모델이 단순히 예쁜 영상을 만드는 단계를 넘어, 사용자의 구체적인 목적을 이해하고 수행하는 '행동 대행자(Agency)'로서 발전하는 데 중요한 이정표가 될 것입니다. 학계와 산업계는 SemComp-Bench를 통해 모델의 실패 원인을 세부적으로 진단하고, 더욱 목적 지향적인 생성 모델 개발을 촉진할 수 있을 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 과제 개요

Figure 3 — 데이터 구축 파이프라인

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.