[논문리뷰] Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

링크: 논문 PDF로 바로 열기

저자: Yiran Guan, Liang Yin, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Video Streaming Thinking (VST) : 스트리밍 비디오 이해를 위한 새로운 패러다임으로, 'thinking while watching' 메커니즘을 통해 실시간으로 들어오는 비디오 클립에 대해 추론을 활성화하여 시의적절한 이해와 일관된 인지를 향상시킨다.
• Thinking While Watching : VST 의 핵심 메커니즘으로, 비디오 스트리밍 중 LLM 추론 Latency를 비디오 재생에 분할 상환(amortizing)하여 실시간 반응성을 유지하면서 추론을 수행하는 방식이다.
• Chain-of-Thought (CoT) : 복잡한 추론 작업을 중간 단계로 분해하여 LLM이 단계별로 사고 과정을 명시하도록 유도하는 프롬프팅 기법. 기존에는 주로 쿼리 이후에 적용되어 Latency 문제를 야기했다.
• StreamingBench & OVO-Bench : 온라인 비디오 이해 모델의 실시간 추론 능력과 Temporal awareness를 평가하는 벤치마크.
• VST-SFT / VST-RL : VST 모델을 학습시키는 두 단계의 후처리 학습 파이프라인. VST-SFT 는 오프라인 VideoLLM 을 인과적 스트리밍 추론에 적응시키고, VST-RL 은 다중 턴 비디오 상호작용 환경에서 자가 탐색(self-exploration)을 통해 엔드투엔드 성능을 향상시킨다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

온라인 Video Large Language Models (VideoLLMs) 는 스트리밍 시각 입력(streaming visual inputs)을 해석하고 실시간으로 응답하는 데 필수적이며, 특히 Embodied Intelligence와 상호작용형 AI 어시스턴트에서 중요하다. 그러나 기존의 온라인 VideoLLMs 는 스트리밍 Perception에 중점을 두어 논리적 추론 스트림(logical reasoning stream)이 동기화되지 않는 한계를 가지고 있다. 반면, Chain-of-Thought (CoT) 와 같은 Test-time Scaling 기법을 직접 적용하면 QA Latency 가 너무 높아져 실시간 시나리오에서 허용 불가능한 수준이 된다. 따라서 저자들은 명시적인 추론(explicit reasoning)과 실시간 반응성(real-time responsiveness) 사이의 Trade-off를 해결하고, 엄격한 Temporal Causality, 실시간 처리, 그리고 제한된 Context Window라는 온라인 비디오 이해의 핵심 과제를 해결하고자 한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 이러한 Trade-off를 해결하기 위해 Video Streaming Thinking (VST) 이라는 새로운 패러다임을 제안한다. VST 는 Thinking While Watching 메커니즘을 통해 Pre-query Reasoning을 활성화하여 스트리밍 중 들어오는 비디오 클립에 대해 추론을 수행한다. 이 메커니즘은 LLM 추론 Latency를 비디오 재생에 분할 상환하여 실시간 응답성을 유지하면서 시의적절한 이해와 일관된 인지를 향상시킨다. VST 는 Short-term Native Video Memory와 Long-term Textual Semantic Memory를 유지하는 듀얼-메모리 시스템을 활용한다.

제안하는 방법론은 두 단계의 후처리 학습 파이프라인으로 구성된다: VST-SFT 와 VST-RL . VST-SFT 는 스트리밍 어텐션 마스크를 적용하여 VideoLLM 이 Temporal Causality를 따르도록 구조적으로 적응시킨다 [Figure 3a]. VST-RL 은 Agentic Loop를 통해 온-정책(on-policy) 최적화를 수행하며, 최종 응답의 정확성을 기반으로 보상을 계산하여 스트리밍 사고의 품질을 향상시킨다 [Figure 3b]. 또한, 저자들은 비디오 Knowledge Graph를 활용하여 고품질 스트리밍 QA 쌍과 엔티티-관계 기반 Streaming Chain-of-Thought 를 생성하는 자동화된 데이터 합성 파이프라인을 개발했다 [Figure 4].

광범위한 평가 결과, VST-7B 는 온라인 벤치마크에서 강력한 성능을 보여주었다. StreamingBench 에서 79.5% , OVO-Bench 에서 59.3% 의 정확도를 달성하며 기존 오픈소스 스트리밍 SOTA 모델들을 크게 능가했다 [Table 1, Table 2]. 특히, StreamingBench 에서는 GPT-4o 및 Gemini 1.5 pro 보다 각각 6.2% 및 3.8% 더 높은 성능을 보였다. OVO-Bench 의 Backward Tracing 태스크에서는 56.7% 를 달성하여 Streamforest 보다 +4.7% 우수했다. 오프라인 추론 벤치마크인 VideoHolmes 에서는 VST-7B 가 41.9% 를 기록하며 Video-R1 보다 +5.4% 높은 성능을 보여주었다 [Table 3]. 효율성 측면에서 VST-7B 는 Video-R1 보다 15.7배 더 빠르게 응답하여 효율성과 강력한 일반화 능력을 입증했다 [Figure 1a]. 또한, VST 는 3B 에서 32B 매개변수 범위의 VideoLLM 으로 원활하게 확장 가능하며, 모델 크기와 관계없이 일관된 성능 향상을 보였다 [Table 5].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 실시간 응답성과 논리적 추론 스트림의 동기화를 가능하게 하는 새로운 스트리밍 비디오 이해 패러다임인 Video Streaming Thinking (VST) 을 제안한다. VST 의 Thinking While Watching 메커니즘은 비디오 스트리밍 중에 들어오는 클립에 대해 추론을 수행함으로써, 기존 CoT 방식의 높은 Latency 문제를 해결하며 시의적절한 이해를 가능하게 한다. VST-SFT 및 VST-RL 을 포함하는 후처리 학습 파이프라인과 Knowledge Graph 기반 데이터 합성 파이프라인을 통해 VST 는 강력한 스트리밍 추론 능력을 갖추게 되었다. VST 는 여러 온라인 및 오프라인 비디오 이해 벤치마크에서 강력한 성능을 보여주었으며, VideoLLM 규모에 관계없이 원활하게 확장되어 뛰어난 일반화 능력과 넓은 적용 가능성을 입증했다. 이 연구는 스트리밍 시나리오를 위한 실용적인 Test-time Scaling 접근 방식을 확립하고, 명시적인 CoT 생성과 실시간 반응성을 동시에 가능하게 함으로써 Embodied Intelligence 및 상호작용형 AI 어시스턴트 분야의 발전에 크게 기여할 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.