[논문리뷰] DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the information and construct the summary and JSON output.

Authors: Boyuan Sun, Deshui Miao, Wenzhao Gao, Shaoyong Jia, Shaohui Jiao, Chi Liu, Yan Shu, Derek Li, Bryan Dai, Shengsheng Qian, Qibin Hou Title: DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

Keywords (from Abstract and Introduction): Streaming Video Understanding, Agentic Framework, Hierarchical Memory, Query-Driven Planning, Targeted Replay, Delta-Augmented Observation, Tool Use

Key Terms & Definitions:

• Streaming Video Understanding (SVU): 실시간으로 연속적으로 들어오는 비디오 스트림을 분석하여 질문에 응답하는 시스템의 능력. 전체 비디오가 미리 주어지는 오프라인 비디오와는 대조적이다.
• Delta-Augmented Observation: 인접한 프레임 간의 시각적 변화(deltas)를 명시적으로 기록하는 방식. 단순한 장면 묘사를 넘어 사건의 전개 과정을 보존한다.
• Traceable Hierarchical Memory: Working Memory, Episodic Memory, Long-Term Pins의 세 계층으로 구성된 메모리 구조로, 원본 관찰 및 비디오 프레임으로 연결되는 소스 포인터를 포함하여 기록의 추적성을 보장한다.
• Query-Driven Planner: 질의가 도착했을 때, 필요한 증거의 종류와 시간적 위치(과거, 현재, 미래)를 식별하고, 메모리 검색, 지속적인 관찰, 도구 사용을 안내하는 에이전트의 구성 요소이다.
• Targeted Replay: 텍스트 메모리에서 누락된 픽셀 수준의 시각적 세부 정보를 복구하기 위해 과거 프레임을 재방문하는 메커니즘.

Motivation & Problem Statement: Streaming video understanding (SVU) 시스템은 미래 질의가 어떤 세부 사항을 요구할지 알기 전에 증거를 보존해야 하는 문제에 직면한다. 기존 접근 방식들은 비디오 히스토리를 압축할 때 이벤트 전환을 모호하게 하고 관련 세부 정보를 생략하는 경향이 있으며, 누락된 시각적 증거를 복구할 수 없는 한계가 있다. 이러한 한계점은 기존 패러다임이 주로 토큰 예산 관리에 초점을 맞추고 변화 기록 및 누락된 증거 복구에는 불충분한 관심을 기울였기 때문에 발생한다. 이로 인해 시스템은 지속적인 관찰을 통해 구조화된 메모리를 구축하고 업데이트하며, 질문이 도착했을 때 메모리를 적극적으로 조사하고, 필요시 과거 프레임을 재방문하여 픽셀 수준의 세부 정보를 복구하는 새로운 접근 방식이 필요하게 된다. [Figure 1]은 기존 방식과 DeltaStreamer의 차이를 보여준다.

Method & Key Results: DeltaStreamer는 인간의 관찰, 기억, 조사를 모방한 Agentic Streaming Video Understanding 프레임워크를 제안한다. 질의가 도착하기 전, 시스템은 스트림을 지속적으로 관찰하고 인접 프레임 간의 시각적 변화인 Delta-Augmented Observation을 명시적으로 기록하여 사건 전개 과정을 보존한다. 이러한 관찰 내용은 Working Memory, Episodic Memory, Long-Term Pins의 Traceable Hierarchical Memory에 소스 링크와 함께 계층적으로 구성된다. 질의가 도착하면 Query-Driven Planner가 필요한 증거를 식별하고 메모리 검색, 지속적인 관찰, 도구 사용을 안내하는 계획을 생성한다. 특히, 검색된 설명에 필요한 시각적 세부 정보가 부족할 경우, 에이전트는 소스 링크를 따라 관련 과거 프레임을 찾아 Targeted Replay를 통해 픽셀 수준의 증거를 복구할 수 있다. [Figure 2]는 DeltaStreamer의 전체 아키텍처를 보여준다.

실험 결과, DeltaStreamer는 OVO-Bench 벤치마크에서 66.07%의 Overall Score를 달성하며 EventMemAgent 대비 +5.32 포인트 성능 향상을 보였다. 특히 Action Sequence Identification (ASI)에서 79.05%, Hallucination Detection (HLD)에서 69.89%의 높은 점수를 기록하여, 이벤트 구별 및 질의 관련 증거 수집 능력의 중요성을 입증했다. StreamingBench 벤치마크에서는 59.53%의 Overall Score를 기록하며 STRIDE 대비 +1.95 포인트 개선을 보였고, Contextual Understanding에서 우수한 성능을 나타냈다. 어블레이션 연구에서는 Delta-Augmented Observation이 2F-NoDelta 대비 OVO-Bench 점수를 61.12%에서 66.07%로 향상시켰음을 보여, 명시적인 변화 기록의 효과를 확인했다. [Table 1]과 [Table 2]는 각각 OVO-Bench와 StreamingBench에서의 정량적 결과를 제시한다.

Conclusion & Impact: 본 논문은 인간과 유사한 Agentic Streaming Video Understanding 프레임워크인 DeltaStreamer를 소개한다. 이 시스템은 추적 가능한 계층적 메모리에 명시적인 프레임 간 변화를 기록하여 이벤트 전환을 보존하고, 질의 기반 플래너가 증거 필요성을 지정하며 증거가 불충분할 경우 Targeted Replay를 안내한다. OVO-Bench 및 StreamingBench에 대한 실험과 어블레이션 연구는 변화 인식 메모리와 계획된 증거 수집의 결합이 SVU 성능 향상에 기여함을 입증했다. 이러한 연구 결과는 시스템이 지속적으로 관찰하고 기억하며, 질의가 도착했을 때 적극적으로 조사하는 Streaming Paradigm의 유효성을 뒷받침한다. DeltaStreamer는 SVU 분야에서 Temporal Reasoning 및 Contextual Understanding 능력을 크게 향상시키는 중요한 시사점을 제공한다.

Fig. 1 — 스트리밍 비디오 이해 패러다임 비교

Fig. 2 — DeltaStreamer 개요

Fig. 4 — DeltaStreamer 정성적 예시

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.