[논문리뷰] OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video

링크: 논문 PDF로 바로 열기

메타데이터

저자: Hongyu Li, Manyuan Zhang, Kaituo Feng, Shu Chen, Dian Zheng, Hao Li, Hao Yu, Zhangquan Chen, Zoey Guo, Ray Zhang, Shaofei Huang, Tianrui Hui, Linjiang Huang, Si Liu

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VGEG (Visually Grounded Evidence Graph): 로컬라이즈된 시각적 앵커(Visual Anchor), 외부에서 검색된 팩트, 그리고 답변 생성 과정을 연결하여 추론의 증거 관계를 구조화한 통합 참조 모델입니다.
• EVGR (Evidence-aware Visual-Grounded Rubric): VGEG에 기반하여 모델의 추론 경로가 증거를 충분히 활용했는지(traceability)와 시각적 요소가 정확하게 참조되었는지(grounding)를 평가하는 보상(Reward) 체계입니다.
• OneSearch-VL: 단일 이미지, 다중 이미지, 그리고 비디오 입력에 대해 통합적인 딥 리서치(Deep Research)를 수행하기 위해 설계된 멀티모달 에이전트입니다.
• Visual Anchor: 이미지나 비디오 프레임 내에서 질문 해결의 핵심 근거가 되는 특정 객체, 영역, 혹은 이벤트를 지칭합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 단일 이미지, 다중 이미지, 그리고 비디오 환경을 아우르는 통합된 멀티모달 딥 리서치 에이전트의 부재를 해결하고자 합니다. 기존 연구들은 각 시각적 입력 타입에 따라 서로 다른 접근 방식을 사용하여, 시각적 앵커와 외부 지식, 그리고 답변 생성 간의 의존성을 유지하는 데 한계가 있었습니다. 특히 비디오 데이터의 경우, 단순히 키프레임을 추출하여 검색의 씨앗(Seed)으로 활용하는 것에 그쳐, 최종 답변까지의 증거 추적성(Provenance)이 결여되어 있습니다. 저자들은 이러한 한계를 극복하고 시각적 정보와 외부 웹 지식을 일관되게 결합하는 구조적 접근이 필요하다고 판단하였습니다 [Figure 1].

Figure 1 — VGEG 데이터 엔진 파이프라인

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 VGEG를 중심으로 하는 데이터 엔진을 통해 고품질의 학습 데이터를 구축하고, 이를 활용하여 에이전트를 학습시키는 프레임워크를 제안합니다. 제안된 데이터 엔진은 웹 비디오에서 시각적 앵커를 자동으로 탐색하고, 이를 웹 증거 그래프(Web Evidence Graph)와 연결하여 다단계 추론 학습이 가능하도록 합니다 [Figure 1]. 학습 단계에서는 OneSearch-VL-SFT-110K를 통한 지도 학습 후, EVGR 기반의 강화 학습(RL)을 통해 증거 추적 능력과 시각적 정밀도를 강화합니다 [Figure 3]. 실험 결과, OneSearch-VL-8B 모델은 기존 Qwen3-VL-8B 대비 OneSearch-MI-Bench에서 20.2%p, OneSearch-Video-Bench에서 17.6%p의 성능 향상을 기록하였습니다. 또한, 기존 VideoDR 벤치마크에서도 27.0%p의 개선을 보이며 통합 모델로서의 우수성을 입증하였습니다. 특히 EVGR을 적용했을 때 평균 성능이 57.3에서 61.1로 크게 향상되어, 제안된 보상 체계의 효과를 정량적으로 증명하였습니다.

Figure 3 — EVGR 보상 시스템 개요

4. Conclusion & Impact (결론 및 시사점)

본 연구는 단일 이미지부터 비디오까지 확장 가능한 통합 멀티모달 딥 리서치 프레임워크인 OneSearch-VL을 성공적으로 제시하였습니다. VGEG를 통해 시각적 정보와 텍스트 기반 증거 간의 강력한 연결 고리를 구축함으로써, 에이전트의 설명 가능성과 추론 성능을 동시에 확보하였습니다. 본 연구는 향후 복잡한 멀티모달 데이터에 대한 딥 리서치 분야에서 에이전트의 신뢰성과 정확성을 높이는 데 핵심적인 기여를 할 것으로 기대됩니다.

Figure 2 — 연구 작업 기반 벤치마크 설계

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.