[논문리뷰] OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Wenxue Li, Peiyan Guan, Haoyang Jiang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Omni R2V Generation: 콘텐츠, 모션, 스타일, 구조, 서사 등 다채로운 참조 유형을 composition하여 제어하는 차세대 비디오 생성 패러다임.
• Factor-Grounded Evaluation: 단순히 전체적인 유사도를 측정하는 대신, 의도된 참조 요소(Reference Factor)가 목표물에 충실히 보존, 분리(Disentangled), 라우팅되었는지 체크리스트 기반으로 평가하는 정밀 진단 방식.
• Omni-R2V Dataset: 340K 규모의 학습 데이터셋으로, 다양한 참조 유형과 multi-reference 구성을 포함하여 실무 수준의 R2V 모델 학습을 지원함.
• Task Families: Content, Motion, Style, Structure, Narrative, Multi-Content, Cross-Aspect 등 R2V 모델의 능력을 측정하는 7개의 핵심 범주.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 R2V 생태계가 더욱 복잡하고 composition 중심적인 방식으로 진화함에 따라 발생하는 평가 및 학습 자원의 부족 문제를 해결하고자 한다. 기존 벤치마크들은 특정 참조 유형에만 치중되어 있으며, holistic한 유사도 평가에만 의존하여 개별 참조 요소가 정확히 분리되고 제어되는지를 판별하지 못한다는 한계가 있다 [Table 1]. 또한, 다양한 R2V 작업을 위한 대규모 학습 데이터셋이 부족하고, 학습 효율을 높일 수 있는 정제된(processed) 데이터 공급이 미흡하다는 점이 새로운 접근 방식의 필요성을 제기한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 OmniVBench와 Omni-R2V Dataset을 통해 R2V 모델의 평가와 학습을 위한 체계적인 프레임워크를 제안한다 [Figure 1]. 방법론적으로는 7개의 Task Families와 18개의 세부 작업을 정의하고, 12,172개의 사례별 체크리스트를 활용하여 참조 요소의 보존, 분리, 의도 실현 여부를 정밀하게 평가하는 Factor-Grounded Evaluation을 도입했다 [Figure 3]. Omni-R2V Dataset은 전문 비디오를 기반으로 구축된 340K 규모의 데이터를 제공하며, task-specific 파이프라인을 통해 고품질의 reference-target pair를 생성한다 [Figure 5]. 실험 결과, 최신 모델들은 Content 작업에서는 높은 성능을 보이나, Narrative나 Cross-Aspect와 같은 복잡한 구성에서는 성능 격차가 두드러지게 나타났다 [Table 3]. 특히 MiniMax H3와 같은 모델이 전반적인 지표에서 우수한 성능을 입증했으나, 여전히 복합적인 참조 요소를 동시에 제어하는 능력에는 개선의 여지가 있음을 확인했다.

Figure 1 — OmniVBench 전체 개요

Figure 3 — OmniVBench 작업 예시

Figure 5 — 데이터 구축 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 OmniVBench와 Omni-R2V Dataset을 통해 R2V 생성 분야의 포괄적인 평가 표준과 학습 자원을 확립했다. 이번 성과는 단순히 holistic 평가를 넘어, factor 단위의 정밀한 진단을 가능케 함으로써 향후 연구자들이 모델의 명확한 개선 방향을 설정하는 데 기여할 것으로 기대된다. 또한, 공개된 고품질 데이터와 구축 파이프라인은 학계와 산업계 모두에서 더 발전된 Omni R2V 모델 개발을 가속화할 중요한 자산이 될 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.