[논문리뷰] MultiRef-Compass: Towards Comprehensive Evaluation of Multi-Reference-to-Audio-Video Generation

링크: 논문 PDF로 바로 열기

저자: Xiaohan Zhang, Yuqing Wen, Junlin Chen, Yuqi Tang, Yiting He, Lizhuo Shao, Weiming Zhu, Tengfei Liu, Yang Shi, Jialu Chen, Yuanxing Zhang, Huaxiong Li

1. Key Terms & Definitions (핵심 용어 및 정의)

• MR2AV (Multi-reference-to-audio-video): 다수의 참조 이미지(multi-reference)와 텍스트 지시사항을 조건으로 받아 일관된 오디오-비디오 콘텐츠를 생성하는 과업.
• MultiRef-Compass: MR2AV 생성을 체계적으로 평가하기 위해 설계된 데이터셋이자 통합 평가 프레임워크.
• MLLM-as-a-Judge: 사전 학습된 Multimodal Large Language Model을 평가자로 활용하여 생성된 비디오의 품질, 일관성, 지시 이행 여부를 정량적으로 측정하는 기법.
• Rejudging: 초기 MLLM 평가 결과의 편향이나 불일치를 해소하기 위해 수행되는 보조 검증 단계로, 평가의 신뢰성과 재현성을 강화함.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 기존 비디오 생성 벤치마크들이 단일 참조(single-reference) 기반의 과업에 치중되어 있어, 실제 콘텐츠 제작 현장에서 요구되는 복합적인 다중 참조(multi-reference) 기반의 생성 능력을 충분히 평가하지 못한다는 문제에서 출발한다 [Table 1]. 현재 모델들은 다수의 참조 이미지로부터 동일 피사체를 식별하는 데 실패하거나, 텍스트 명령과 참조 정보를 적절하게 결합(compositional binding)하지 못하는 한계가 있다. 또한, 단순히 참조 이미지를 복사하여 붙여넣는 비자연적인 결과물(artifact)을 생성하는 등 시각적 통합 능력의 미흡함도 주요 과제로 지적된다. 따라서 본 논문은 MR2AV 모델의 다각적 이해와 compositional binding 성능을 정밀하게 진단할 수 있는 체계적인 벤치마크의 필요성을 제기한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 taxonomy-driven 파이프라인을 통해 구축된 350개의 샘플로 구성된 MultiRef-Compass를 제안하며, 이는 다각도 피사체 보존, 다중 개체 결합 등 복합적인 생성 시나리오를 포괄한다 [Figure 2]. 제안된 평가 프레임워크는 Basic Quality, Reference Consistency, Audio-Visual Consistency, Instruction Following이라는 4가지 핵심 차원을 설정하고, 총 14개의 세부 메트릭을 통해 모델을 진단한다 [Figure 1]. 특히, 자동화된 메트릭과 rejudging 단계가 통합된 MLLM-as-a-Judge 방식을 사용하여 평가의 auditable 성능을 높였다. 실험 결과, 현재의 대표적인 8개 모델들(예: Seedance 2.0, Kling 3.0, Wan 2.7 등)은 Reference Consistency와 Instruction Following 차원에서 상당한 개선 여지가 있음이 확인되었다 [Table 2, Table 3]. 예를 들어, Entity Fidelity (EF) 메트릭에서 모델 간 성과 차이가 두드러졌으며, 이는 복잡한 다중 참조 환경에서 생성 일관성을 유지하는 것이 현재 모델들의 주요 도전 과제임을 시사한다.

Figure 1 — 평가 프레임워크 개요

Figure 2 — 데이터 구축 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 연구는 MultiRef-Compass를 통해 MR2AV 생성 분야의 복합적인 평가 기준을 정립하고, 현존하는 최첨단 모델들의 생성 한계를 명확히 규명하였다. 본 벤치마크는 단순한 리더보드 점수를 넘어, 모델이 참조 간의 관계를 어떻게 이해하고 개체들을 어떻게 바인딩하는지에 대한 세밀한 분석을 가능하게 한다. 이 연구는 향후 오디오-비디오 생성 모델이 더 정교하고 인간 의도에 부합하는 결과를 생성하도록 유도하는 중요한 초석이 될 것으로 기대된다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.