[논문리뷰] StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding

링크: 논문 PDF로 바로 열기

저자: Xichen Zhang, Guankai Li, Yinghao Zhu, Shijian Wang, Sitong Wu, Shaozuo Yu, Meng Chu, Yuan Lu, Jiaya Jia

1. Key Terms & Definitions

• StreamArena: hour-scale, interactive streaming video understanding을 위한 새로운 벤치마크로, open-ended questions, timestamped evidence를 특징으로 하며 네 가지 핵심 capability를 평가합니다.
• StreamMind: continuous interaction과 long-horizon multimodal comprehension 간의 tension을 해결하기 위해 제안된 two-tier architecture입니다.
• Real-time Multimodal Perception (RTP): query 시간 주변의 짧은 window 내에서 audio-visual evidence를 사용하여 질문에 응답하는 agent의 능력을 지칭합니다.
• Historical Retrospection (HR): stream의 더 이른 시점으로부터 factual information을 회상하는 agent의 능력으로, 종종 한 시간을 초과하는 evidence-to-query gap을 포함합니다.
• Multimodal Tool Utilization (Tool): video stream 자체에서 관찰할 수 없는 정보를 획득하기 위해 external search tools (예: Google Search, image search)를 활용하는 agent의 능력입니다.
• Proactive Interaction (Pro): 등록된 condition에 대해 stream을 자율적으로 모니터링하고, 명시적인 prompt 없이 target event 발생 시 alert를 발생시키는 agent의 능력입니다.
• Query-to-answer Latency: query 도착부터 final-answer generation까지의 wall-clock interval을 의미하며, query에 의해 촉발된 모든 operation (routing, recall, external search, model inference)을 포함합니다.

2. Motivation & Problem Statement

본 논문은 autonomous multimodal agents를 continuous, real-world environments에 배포하는 데 있어 기존 모델과 벤치마크의 한계점을 해결하고자 합니다. Hour-scale의 audio-visual stream을 ingest하고 long-horizon memory를 유지하는 것이 필수적이지만, 전통적인 turn-based models는 dynamic settings에서 passive prompt-response loop에 갇혀 causal continuity를 방해하며 중요한 fleeting cues를 놓치곤 합니다.

기존 벤치마크는 대부분 짧은 video clips과 multiple-choice question formats에 의존하여, last four frames만을 처리하는 minimal baselines조차 복잡한 streaming models의 성능과 유사하거나 능가할 수 있게 합니다. 이는 language shortcuts을 통해 audio-visual grounding에서의 실제 실패를 가리는 문제가 있습니다. 또한, 기존 벤치마크들은 long-video comprehension, online perception, proactive response 등 특정 capability만을 고립적으로 평가하는 경향이 있으며, 이로 인해 hour-scale stream에 대한 지속적이고 causal한 이해를 제대로 검증하지 못합니다. 특히, 최근 frame만 유지하는 방법은 distant events를 복구하지 못하고, 과거 observation을 text로 변환하는 방법은 visual evidence를 손실하며, visual memory를 반복적으로 압축하는 방법은 fine-grained details를 시간이 지남에 따라 보존하기 어렵습니다.

3. Method & Key Results

본 논문은 responsive interaction과 long-horizon multimodal understanding 사이의 tension을 해결하기 위해 StreamMind라는 two-tier architecture를 제안합니다 [Figure 2]. StreamMind는 latency-sensitive interaction을 long-horizon cognition으로부터 decoupling하며, independently scheduled, function-specific workers를 통해 이를 구현합니다. Frontend는 user와의 interaction과 task dispatch를 담당하는 Front Worker를 포함하며, Monitor Workers는 future conditions를 추적하여 latency-critical interaction을 방해하지 않습니다. Backend에서는 Memory Writer가 hierarchical events, entity relations, key frames를 포함하는 persistent multimodal memory인 Memory Bank를 asynchronously 구축합니다. Router, Recall, Search Workers는 evidence-driven retrieval을 수행하며, 이러한 분리된 구조는 visual evidence를 보존하는 동시에 memory construction과 multistep reasoning을 response-critical path에서 분리시킵니다.

Figure 2 — StreamMind 아키텍처 개요

주요 실험 결과에 따르면, StreamMind는 모든 네 가지 capability에서 기존 스트리밍 baseline을 크게 능가하는 성능을 보였습니다. StreamMind는 Real-time Multimodal Perception (RTP)에서 58.4%, Historical Retrospection (HR)에서 53.7%, Multimodal Tool Utilization (Tool)에서 228.1%, 그리고 Proactive Interaction (Pro)에서 54.7%의 상대적 정확도 개선을 달성했습니다 [Table 3]. 특히, 동일한 Qwen3.5-397B-A17B backbone을 사용할 경우, StreamMind는 pooled query-to-answer latency를 66.2% (81.4초에서 27.5초로) 감소시켰는데 [Table 4], 이는 query가 도착하기 전에 지속적으로 memory를 구축하고 task-relevant events 및 key frames를 on demand로 검색함으로써 persistent state reuse를 통해 이루어진 결과입니다. HR의 long-horizon comprehension 측면에서 StreamMind는 모든 temporal gap bucket에서 강력한 스트리밍 baseline 대비 24.0%에서 73.0%까지의 상대적 이득을 보였으며, 이는 transient context나 textual summary에 의존하는 대신 retrievable multimodal evidence를 보존하는 것이 long-horizon streaming에 유리함을 입증합니다.

4. Conclusion & Impact

본 논문은 continuous, interactive, long-horizon agentic streaming video understanding을 위한 최초의 포괄적인 벤치마크인 StreamArena를 소개합니다. StreamArena는 open-ended questions, timestamped evidence, continuous protocol을 통해 기존의 short-clip 또는 multiple-choice 평가에서 숨겨져 있던 shortcuts을 명확히 드러냅니다. 본 연구는 responsive interaction과 persistent multimodal understanding 사이의 근본적인 tension을 확인하고, StreamMind라는 decoupled architecture를 통해 이를 효과적으로 해결합니다. StreamMind는 frontend interaction과 asynchronous memory construction, historical recall, external search를 결합함으로써 모든 네 가지 핵심 capability에서 기존 스트리밍 baseline 대비 향상된 성능을 제공하고, query-to-answer latency를 크게 줄이는 데 기여합니다.

이 연구는 학계 및 산업계에 큰 시사점을 제공합니다. 첫째, StreamArena는 미래 연구가 실제 시나리오에 더욱 부합하는 agent 시스템을 개발하도록 유도하는 강력한 평가 프레임워크를 제공합니다. 둘째, StreamMind의 아키텍처는 효율적인 memory management와 asynchronous processing을 통해 embodied robotics 및 wearable devices와 같이 실시간 대화 및 자율적 감시가 필요한 real-world 환경에서 AI agent의 배포를 가속화할 잠재력을 가지고 있습니다. 마지막으로, hour-scale recall, proactive monitoring, continuous processing efficiency 등 남아있는 격차를 명확히 식별함으로써, practical always-on multimodal agents 개발을 위한 구체적인 연구 방향을 제시합니다.

Figure 1 — StreamArena 벤치마크 개요

Figure 3 — 진단 서브셋 정확도 분석

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.