[논문리뷰] Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhenghan Chen, Zekai Shao, Xin Lin, Leting Cheng, Siming Chen

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Code-based Video Generation: 직접적인 픽셀 생성 대신, MLLM이 실행 가능한 코드(HTML/CSS, SVG, Three.js 등)를 작성하여 비디오를 생성하는 패러다임입니다.
• T2V/I2V/V2V: 각각 텍스트, 이미지, 비디오 입력으로부터 비디오를 생성하는 Task 세팅을 지칭하며, 본 논문은 이를 통합적으로 다룹니다.
• Complexity Dimensions: 비디오 생성의 난이도를 결정하는 3가지 요소로, Construction(시각적 구축), Dynamic Animation(시간적 조직), State Dependency(상태 의존성)를 의미합니다.
• Dual-Level Evaluation: 12개의 정량적(Objective) 지표와 5개의 정성적(Subjective) 지표를 결합하여 코드 기반 비디오 생성 성능을 다각도로 평가하는 프레임워크입니다.
• MLLM-as-a-judge: MLLM(Gemini 3.8 Flash 등)을 심사위원으로 활용하여 비디오의 Instruction Following 및 창의적 품질을 평가하는 프로토콜입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 코드 기반 비디오 생성 연구들이 특정 도메인(예: 교육용 비디오)에 국한되어 있어, 일반적인 창의적 비디오 생성 전반을 포괄하는 포괄적인 벤치마크가 부족하다는 점을 해결하고자 합니다. 기존 연구들은 생성된 비디오의 품질과 실행 신뢰성을 동시에 평가하는 통합적인 프레임워크가 결여되어 있습니다. 특히, 복잡한 비디오 생성 과정에서 요구되는 Construction, Dynamic Animation, State Dependency 수준에 따른 모델의 성능 저하를 면밀히 분석할 필요가 있습니다. 본 연구는 다양한 입력 모달리티(T2V, I2V, V2V)를 통합한 Code2Video-Compass를 제안하여 이러한 학계의 공백을 메우고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 2,104개의 Task와 10개의 카테고리로 구성된 Code2Video-Compass를 구축하고, 12개의 정량적 지표와 5개의 정성적 지표를 포함하는 Dual-Level Evaluation Framework를 제안합니다. 데이터는 전문적인 모션 디자인 포트폴리오와 사용자 생성 비디오에서 파생되었으며, 복잡도 수준에 따라 세분화되었습니다. 실험 결과, Claude Opus 5.5가 T2V, I2V, V2V 전 부문에서 가장 우수한 평균 순위(Avg. Rank)를 기록하며 가장 강력한 성능을 보였습니다. 흥미롭게도, 높은 수준의 코드 생성 노력(Token Consumption)이 반드시 높은 비디오 품질로 이어지지는 않으며, 모델마다 Execution Success와 비디오 품질 사이의 상관관계가 다르다는 점이 확인되었습니다. 전반적으로 모델들은 Construction 및 Dynamic Animation 복잡도가 L1에서 L2로 증가할 때 급격한 성능 저하를 보였으며, State Dependency는 L2에서 L3로 갈 때 더 큰 난관을 겪는 것으로 나타났습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 코드 기반 비디오 생성을 위한 종합적인 벤치마크인 Code2Video-Compass를 성공적으로 제시하며, 최신 MLLM들의 기술적 한계를 명확히 규명했습니다. 연구 결과는 생성 모델이 복잡한 프로그래밍 작업과 시각적 동적 요구 사항을 결합하는 데 있어 아직 상당한 신뢰성 개선이 필요함을 시사합니다. 이 벤치마크는 향후 MLLM의 코드 생성 능력과 시각적 제어력을 높이기 위한 중요한 진단 도구로 활용될 것입니다. 본 연구는 정량적·정성적 평가의 통합을 통해 보다 신뢰할 수 있고 고도화된 프로그래밍 기반 시각 창작 기술 발전에 기여합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.