[논문리뷰] Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhen Fang, Yu Zeng, Wenxuan Huang, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Video-DeepResearch (Video-DR): 정적 이미지에서 나아가 비디오 스트림 내의 복잡한 정보를 시공간적으로(spatiotemporally) grounding하고, 외부 웹 검색을 통해 심층 연구를 수행하는 에이전트 패러다임.
• Modality Bias: 에이전트가 시각적 도구를 활용한 능동적 탐색보다 익숙한 텍스트 기반 검색에만 의존하려는 경향.
• Parametric Knowledge Leakage: 에이전트가 외부 도구 없이 내부 메모리(학습된 파라미터)만으로 질문에 답하는 현상으로, 평가의 신뢰성을 저해함.
• GRPO (Group Relative Policy Optimization): 다중 경로 탐색을 통해 그룹 내 상대적 보상을 계산하여, 별도의 Value Network 없이도 효율적인 강화 학습을 가능하게 하는 최적화 기법.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현재의 Multimodal Agent들이 비디오 기반의 심층 연구(Video-DR) 환경에서 직면한 두 가지 핵심 문제를 해결하고자 한다. 첫째, 에이전트들이 시각적 도구 사용을 회피하고 텍스트 검색에 의존하는 Modality Bias가 심각하다는 점이다 [Figure 1]. 둘째, 기존 벤치마크는 에이전트가 외부 검색 없이도 내부 지식만으로 정답을 유추할 수 있는 Parametric Knowledge Leakage 문제가 존재하여 실제 탐색 능력을 평가하지 못한다. 이러한 한계를 극복하기 위해 저자들은 시각적 인식과 웹 탐색을 분리한 새로운 파이프라인을 제안한다.

Figure 1 — Video-DR 파이프라인 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Decoupled Perception-Exploration 파이프라인을 도입하여 시각적 Grounding을 강제하고, 2단계 학습 방식(SFT + GRPO)을 통해 에이전트의 자율적 탐색 성능을 극대화한다 [Figure 3]. 구체적으로 Select_Keyframe과 Crop_Search 도구를 단계별로 언락(unlocking)하여, 모델이 충분한 시각적 근거를 확보한 후에만 웹 검색을 수행하도록 설계하였다. 또한, 200개의 복잡한 다중 도약(multi-hop) VQA로 구성된 VideoDR-Bench를 구축하여 엄격한 평가 환경을 마련하였다 [Figure 2]. 실험 결과, 제안 모델인 Video-DeepResearch-35B-A3B는 64.0%의 정확도를 달성하며 기존 최상위 모델인 Claude-4.5-Sonnet(59.0%)을 5.0%p 차이로 상회하는 State-of-the-art 성능을 입증하였다. 또한 Video-DeepResearch-30B-A3B 모델 역시 59.3%의 정확도를 기록하며, 대규모 모델 대비 월등한 효율성과 강력한 도구 활용 능력을 증명하였다.

Figure 2 — VideoDR-Bench 구성

Figure 3 — Video-DeepResearch 상세 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Video-DR의 성능 향상이 단순히 모델의 스케일업(scaling)이 아닌, 시각적 Grounding과 자율적 탐색을 통합하는 정교한 학습 패러다임에 달려 있음을 증명하였다. 제안된 Video-DeepResearch 프레임워크와 VideoDR-Bench는 향후 멀티모달 에이전트 연구의 중요한 벤치마크가 될 것으로 기대된다. 이 연구는 에이전트가 실제 복잡한 환경에서 정보를 능동적으로 습득하고 검증하는 AGI로 나아가는 기술적 토대를 마련하였다는 점에서 학계 및 산업계에 큰 시사점을 준다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.