[논문리뷰] VidUEU-Agent: A Data-Curation Agent for Multimodal Understanding, Editing, and Unified Tasks

링크: 논문 PDF로 바로 열기

메타데이터

저자: Tengju Ru, Weitong Lian, Zecong Tang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• VidUEU-Agent:Raw video를 활용하여 multimodal understanding, editing, unified task를 위한 instruction data를 자동으로 생성하는 4단계 파이프라인 에이전트입니다.
• Unified Multimodal Models (UMMs): Multimodal understanding과 generation 능력을 통합된 아키텍처 내에서 수행하는 모델을 지칭합니다.
• VidUEU-100K: VidUEU-Agent를 통해 생성된 100K 규모의 고품질 multimodal instruction 데이터셋으로, understanding, editing, unified task를 포괄합니다.
• Autonomous Data Iteration: 하위 모델의 학습 피드백을 기반으로 데이터 분포를 자동으로 조정하여 데이터 품질과 학습 효율을 최적화하는 루프입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 고품질 instruction 데이터의 부족이 multimodal 모델 발전의 핵심 병목 현상이라는 문제에서 출발한다. 기존 연구들은 주로 정적인 이미지에 의존하여 실제 세계의 동적 상호작용을 포착하는 데 한계가 있으며, 수동 주석 생성의 높은 비용으로 인해 데이터 확장이 어렵다 [Figure 1]. 또한, 기존의 개별적인 이해(understanding)와 생성(generation) 데이터셋은 Unified Multimodal Models(UMMs)를 학습시키기에 부족한 구조적 한계를 지닌다. 따라서 본 연구는 방대한 raw video 데이터를 활용하여 이해와 생성을 모두 지원하는 고품질 데이터셋을 자동으로 구축하는 확장 가능한 프레임워크를 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Global Perception, Keyframe Mining, Metadata Construction, Instruction Data Construction의 4단계로 구성된 VidUEU-Agent를 제안한다 [Figure 2]. 각 단계에서는 Gate A부터 Gate C까지의 다단계 품질 관리 메커니즘을 적용하여 저품질 데이터를 필터링하고, 도구(tool) 사용을 통해 시각적 신호를 검증한다. 또한, 모델의 학습 성과를 기반으로 데이터 분포를 반복적으로 개선하는 Autonomous Data Iteration 전략을 도입하였다. 실험 결과, InternVL3-8B 및 Bagel-14B 모델을 VidUEU-100K로 fine-tuning한 결과, 다양한 벤치마크에서 기존 대비 유의미한 성능 향상을 입증하였다 [Table 1]. 예를 들어, InternVL3-8B 모델은 MME 벤치마크에서 2369.3, MMDU 벤치마크에서 61.1의 점수를 기록하며 우수한 이해 능력을 보였다. 또한, GEdit-Bench-En에서 Bagel-14B는 G_SC 7.565, G_PQ 7.328의 수치를 기록하며 편집 성능과 시각적 구조 보존 능력에서 탁월한 우위를 점하였다 [Table 2]. [Figure 3]은 에이전트 파이프라인에서 거부된 데이터 사례를 보여주며, 본 연구의 품질 관리 정밀도를 뒷받침한다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 raw video에서 고품질 multimodal 데이터를 자동으로 구축하는 VidUEU-Agent와 이를 통해 생성된 VidUEU-100K 데이터셋을 제안하였다. 제안된 프레임워크는 대규모 데이터셋 생성의 효율성을 극대화하고, 이해와 생성을 결합한 통합 모델 학습의 기반을 제공한다. 이 연구는 인적 자원 투입을 최소화하면서도 고성능 multimodal 모델을 구현할 수 있는 확장 가능한 파이프라인을 제시함으로써 학계와 산업계의 multimodal 학습 데이터 부족 문제를 해결하는 데 중요한 기여를 한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.