[논문리뷰] Open-o3-Video-v2: Seek, Ground, and Reason with Verifiable Spatio-Temporal Evidence

링크: 논문 PDF로 바로 열기

저자: Jiahao Meng, Zhongyuan Bao, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Open-o3-Video-v2: 비디오 추론을 에이전트 기반의 증거 중심(evidence-grounded) 과정으로 재정의한 모델입니다.
• STGR-v2-CoT-135K: 에이전트 기반의 다중 턴 grounded reasoning trajectories를 포함하는 학습용 데이터셋입니다.
• CS-GRPO (Clue-Seek GRPO): 누적된 temporal clue 상태 변화를 추적하여 에이전트의 관측 결정을 최적화하는 강화학습 알고리즘입니다.
• Crop_video: 모델이 특정 시간 구간을 정밀하게 관측하기 위해 사용하는 도구입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 고정된 프레임 샘플링에 의존하는 기존 모델들이 긴 비디오나 복잡한 장면에서의 정밀한 추론 및 검증에 한계가 있다는 점을 해결하고자 합니다. 기존 모델들은 초기 관측에만 국한되어 결정적인 단서가 되는 짧은 이벤트나 작은 객체를 놓칠 위험이 큽니다. 특히, 단순히 비디오를 관측하는 것을 넘어, 모델이 자신의 추론 과정에서 필요한 증거를 직접 찾고 이를 시각적으로 명확히 입증(verifiable evidence)할 수 있는 구조가 필요합니다 [Figure 1].

Figure 1 — 기존 방식과 제안하는 Seek-Ground-Reason 프로세스의 차이를 명확히 보여주는 핵심 구조도

## 3. Method & Key Results (제안 방법론 및 핵심 결과) Open-o3-Video-v2는 부족한 정보를 식별하고 필요한 시점에 적절한 비디오 구간을 추가로 관측하여, 해당 내용을 grounded reasoning trajectory에 포함하는 'Seek-Ground-Reason' 프로세스를 도입했습니다 [Figure 1]. 이 모델은 CS-GRPO를 통해 각 tool call이 이전 관측 정보와 비교하여 얼마나 새로운 정보(evidence gain)를 제공했는지 평가하며, 불필요한 반복이나 파편화된 호출에 페널티를 부여하여 효율적인 관측을 유도합니다 [Figure 3]. 성능 평가 결과, Open-o3-Video-v2-4B는 V-STaR 벤치마크에서 mAM 40.4%, mLGM 56.3%를 달성하여 Qwen3-VL-4B 베이스라인 대비 각각 8.5%, 12.6% 향상된 성능을 기록했습니다 [Table 2]. 또한, Video-Holmes와 LVBench와 같은 일반 비디오 이해 벤치마크에서도 각각 10.7%, 7.2%의 성능 개선을 보이며 범용성을 입증했습니다 [Table 3].

Table 2 — 주요 벤치마크인 V-STaR에서의 모델 성능 비교 데이터

Table 3 — 다양한 일반 비디오 이해 벤치마크에서의 성능 비교 데이터

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 에이전트 기반의 증거 획득과 spatio-temporal grounding의 결합이 신뢰성 높은 비디오 추론을 위한 핵심임을 증명합니다. 제안된 프레임워크는 모델의 추론 과정을 인간이 검증 가능한 시각적 증거(timestamp, object bounding box)로 남김으로써, 블랙박스 형태인 기존 LLM의 한계를 넘어 투명한 추론을 가능하게 합니다. 이러한 접근법은 긴 비디오 이해 및 복잡한 시각적 논리 추론이 필요한 다양한 학술적, 산업적 응용 분야에서 비디오 이해 모델의 성능과 신뢰성을 크게 향상시킬 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.