본문으로 건너뛰기

[논문리뷰] VideoNexus: Video Perception Beyond the Reasoning Context

링크: 논문 PDF로 바로 열기

저자: Yancheng Long, Xuanyu Zheng, Wei Chen, et al. (The Chinese University of Hong Kong, KlingAI Research, HKUST)


1. Key Terms & Definitions (핵심 용어 및 정의)

  • Coupled vs. Decoupled Multimodal Context: Coupled agent에서는 tool이 가져온 frame과 clip 같은 raw media가 Planner의 reasoning context에 그대로 쌓입니다. Observation 크기는 대략 (구간 길이) × (frame rate × frame당 token + 초당 audio token)에 비례합니다. Decoupled agent에서는 별도의 perception 함수 Φ가 독립된 context에서 media를 처리한 뒤, Planner가 작성한 local task κ에 맞춘 compact report만 돌려줍니다.

  • Planner / Perception Sub-agents: Planner는 video stream을 직접 받지 않습니다. 대신 어느 구간을 볼지, sampling density를 얼마로 할지, 언제 멈출지를 결정합니다. Sub-agent인 Transcribe(ASR), Overview(전역 sparse scan), Inspect(local 정밀 관찰)는 각각 짧게 쓰고 버리는 독립 context에서 native audio–video를 처리합니다.

  • Finding Protocol: Inspect가 반환하는 JSON report입니다. 다음 항목으로 구성됩니다.

    • status: ok / absent / uncertain / failed 중 하나
    • conclusion
    • evidence 목록: {claim, [t0, t1], modality}

    시간은 absolute source timeline 기준입니다. Harness는 inspected interval 밖의 evidence를 제거하고, evidence가 남지 않은 ok 상태를 uncertain으로 낮춥니다. 이 검증은 구조와 시간 범위만 확인하며 사실관계의 정확성까지 보장하지는 않습니다.

  • Evidence Card: 시각적 Finding에 첨부되는 contact sheet입니다. 인용된 evidence 구간에서 고른 최대 6개 frame을 절대 시각 label과 함께 담습니다. Card 크기는 inspected duration이 아니라 evidence 양에 따라 달라집니다.

  • Native Timeline Addressing: Clip을 잘라 re-encoding하지 않고 원본 파일의 start/end offset과 frame rate로 구간을 지정하는 방식입니다. 덕분에 여러 Finding, transcript, Overview의 시간을 직접 비교할 수 있습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는 long video agent에서 "무엇을 관찰할 것인가"와 "reasoning context에 무엇을 남길 것인가"가 결합(coupling)되어 있다는 점입니다. Static ingestion은 1시간 영상을 1 fps로 샘플링해도 수십만 개의 visual token을 만들어 내며, evidence localization, perception, reasoning을 모두 하나의 multimodal context 안에서 처리하게 합니다. EVA, VideoTemp-o3 같은 video agent는 관찰 위치를 선택적으로 정할 수 있습니다. 그러나 tool이 raw frame을 Planner에 돌려주는 한 visual input은 reasoning history와 함께 계속 쌓입니다. 저자들의 controlled comparison에서 coupled 설계는 decoupled 설계보다 1.47× 많은 planner input을 사용했습니다.

VideoSeek, VideoXAgent처럼 perception을 위임하는 기존 연구에도 두 가지 한계가 남아 있습니다.

  • Sparse sampling은 짧은 event나 미세한 detail을 놓칠 수 있습니다.
  • Per-frame description interface에서는 observation 크기가 여전히 sampling density에 비례합니다. VideoSeek의 global scan은 frame마다 description을 하나씩 반환하며, 저자들의 re-run에서 읽은 frame당 평균 28 token을 돌려줬습니다.

따라서 저자들은 상세한 관찰을 허용하면서도 각 observation이 reasoning context에 더하는 양은 통제하는 interface가 필요하다고 봅니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 VideoNexus를 제안합니다. Detailed video perception을 evidence-driven planning 및 reasoning과 분리하는 training-free framework입니다.

방법론

  • Planner는 약 10문장 분량의 짧은 "skill" policy만 받습니다. 이 policy는 다음을 명시합니다.
    • Transcript에 오류가 있을 수 있다.
    • Overview는 evidence가 아니라 navigation clue다.
    • Visual claim에는 visual evidence가 필요하다.
    • 답이 뒷받침되면 멈춘다.
  • Overview는 query-conditioned global scan을 수행합니다(최대 1 fps, 1,024 frames, full audio 포함). 결과로 최대 8개 candidate interval을 relevance와 uncertainty와 함께 반환합니다. 정답 option 선택은 금지된 locator 역할이며, 질문당 최대 2회 호출할 수 있습니다.
  • Inspect는 Planner가 지정한 구간과 frame rate로 neutral하게 표현된 local task를 수행하고 Finding을 반환합니다. 정답 option 선택이 금지되어 있어 Planner의 hypothesis를 그대로 되풀이하는 것을 막습니다.
  • 구현 측면에서 각 질문은 독립된 headless Claude Code session에서 실행되고, perception tool은 Model Context Protocol (MCP)로 제공됩니다. Training이나 model weight 접근은 필요하지 않습니다.

정량적 결과

  • Full LVBench (1,549문항, Gemini 3.8 Flash 공유 backbone): VideoNexus는 88.6%를 기록했습니다.
    • Static (85.0%) 대비 +3.6 point이며, McNemar p=5×10⁻⁷로 유의합니다.
    • Gemini Agentic (87.5%) 대비 +1.1 point를 비용의 44%($0.140 vs $0.319/q)로 달성했습니다. 다만 이 차이는 통계적으로 유의하지 않습니다(p=0.10).
    • VideoSeek re-run (81.4%) 대비 +7.2 point이며, 비용도 더 낮습니다.
    • 단, VideoSeek에는 audio path가 없어 speech를 받지 못하므로 audio access 조건이 다릅니다. 이 비대칭은 VideoNexus에 유리합니다.
    • 모델 호출 수는 질문당 9.7회로, VideoSeek의 18.6회보다 적습니다.
  • Coupling ablation (dev-200): Raw clip 대신 text Finding을 반환하면 planner input이 18.1M → 12.3M token (−32%)으로 줄고, accuracy는 86.5% → 89.0%로 올랐습니다(p=0.23, 유의하지 않음). Local evidence card를 추가하면 accuracy가 다음과 같이 올랐습니다.
    • Gemini 3.0 Flash: 74.5% → 79.5%
    • Gemini 3.8 Flash: 89.0% → 90.0%
  • Observation size: Overview는 평균 141k media token을 소비하고 740 token을 반환해 191× 압축했습니다. Report 크기와 소비한 media 양 사이의 log–log slope는 0.00입니다. Inspect는 slope 0.18로 sub-linear하게 증가했습니다. 최저/최고 decile 사이에서 frame 수는 16.8× 늘었지만 반환 text는 **1.67×**만 늘었습니다.
  • Density 효과: Frame budget을 VideoSeek 수준으로 줄이면(질문당 평균 621 → 117 frames) accuracy가 90.0% → 87.0%로 떨어졌습니다(p=0.11, 유의하지 않음). Planner 호출과 output token은 오히려 늘었습니다.
  • Transfer:
    • Video-GAIA (Kimi K3): 공식 ReAct harness 대비 51.7% → 60.2% (+8.5)이며, 특히 L2에서 +11.5입니다. 단, 이 문항들은 web/crop tool 개발에도 사용되었으므로 저자들도 calibrated margin이 아닌 transfer 결과로 해석합니다.
    • Gemini 3.0 Flash, LVBench: +6.4 (단, 이전 harness 설정을 사용해 backbone 효과만 분리되지는 않음)
    • Kimi K3, 200문항 LVBench subset: +6.5

4. Conclusion & Impact (결론 및 시사점)

이 논문은 perception을 독립 context로 분리하고 compact, temporally grounded evidence만 교환하면, 상세한 관찰과 효율적인 reasoning을 함께 얻을 수 있음을 보여줍니다. VideoNexus는 LVBench에서 88.6%를 Gemini 내장 agentic mode 비용의 44%로 달성했으며, 여러 planner model에서도 일관된 성능 향상을 보였습니다.

저자들이 직접 밝힌 한계도 있습니다.

  • 일부 ablation 차이는 통계적으로 유의하지 않습니다.
  • 비용 수치는 provider 가격 체계에 따라 달라집니다.
  • Baseline과 speech 접근 조건이 비대칭이며, 이는 VideoNexus에 유리합니다.
  • Ablation은 paired 비교이지만 held-out 평가는 아닙니다.
  • Crop의 spatial readability가 남은 과제입니다.

산업 측면에서는 학습 없이 기존 agent runtime과 MCP tool만으로 상용 MLLM의 long video 성능과 비용 효율을 동시에 개선할 수 있다는 실용적 근거를 제공합니다. 학계에는 video agent 설계에서 "어떤 frame을 고를 것인가"만큼 "observation interface가 context에 무엇을 남기는가"가 중요하다는 새로운 분석 축을 제시합니다. 저자들은 향후 과제로 uncertainty에 따라 observation density와 retained evidence를 적응적으로 조절하는 방향을 제시합니다.

참고로 Part 2는 빈 배열입니다. 이 논문의 Figure는 독립된 이미지 파일이 아니라 HTML/TikZ로 inline 렌더링되어 있어, Figure 전체를 가리키는 <img> URL을 찾을 수 없었습니다. 페이지에 있는 이미지는 Figure 안에 들어간 개별 video frame 조각뿐이고, Table은 HTML table입니다. 이 때문에 본문에서도 Figure/Table 번호를 참조하지 않았습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글