[논문리뷰] Reading, Writing, Sharing, and Interacting with the World through Video

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shengqiong Wu, Meng Luo, Bobo Li, Ziwei Liu, Shuicheng Yan, Ming-Hsuan Yang, Philip Torr, Hao Fei

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• World Modeling Lens: 관찰된 비디오를 잠재적 temporal world의 손실이 있는(lossy) 시계열적 투영으로 간주하고, 이를 통해 비디오 모델을 분석하는 통합적 관점입니다.
• Reading: 관찰된 비디오로부터 물리적 상태, 시간적 흐름, 인과관계 등 세상의 속성(world properties)을 추론하는 이해(Understanding)의 과정입니다.
• Writing: 특정 조건이나 학습된 세계 상태를 바탕으로 새로운 비디오 시퀀스를 합성(Synthesis)하는 생성의 과정입니다.
• Sharing: 이해와 생성을 공통된 모델링 메커니즘(shared representation, tokenization)으로 통합하여 perception과 synthesis를 연결하는 기법입니다.
• Interacting: 행동(action)과 진화하는 관찰을 기반으로 세계 상태(world states)를 예측 및 업데이트하여 환경과 상호작용하는 모델링 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 비디오 기반 AI 모델의 파편화된 발전 양상을 World Modeling이라는 하나의 통합된 렌즈로 체계화하는 것을 목적으로 합니다. 기존 연구들은 비디오 이해(Understanding)와 생성(Generation)을 독립적인 태스크로 다루어 왔으며, 이로 인해 비디오 모델이 물리적 세계의 역학(dynamics)을 어떻게 표현하고 활용하는지에 대한 통합된 논의가 부족했습니다 [Figure 1]. 이러한 단편화는 모델이 단순한 영상의 인식이나 시각적 충실도(perceptual fidelity)를 넘어, 물리적 인과관계와 지속적인 상태 보존(persistent state)을 이해하는 데 한계를 야기합니다. 따라서 저자들은 비디오를 단순히 시각 데이터의 집합이 아닌, 진화하는 세계를 관찰하는 도구로 재정의하고 이를 위한 새로운 분석 프레임워크를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 비디오 모델의 발전을 네 가지 핵심 작업인 Reading, Writing, Sharing, 그리고 Interacting으로 분류하여 분석하는 새로운 프레임워크를 제안합니다. Reading은 스패이셜-템포럴 인코더와 Video-LLMs를 통해 세상의 속성을 추출하는 데 집중하며, Writing은 Diffusion-based, Autoregressive, Flow-based 모델을 사용하여 잠재 표현으로부터 영상을 합성합니다. Sharing은 Discrete-token이나 Continuous latent-space를 공유하여 이해와 생성을 하나의 프레임워크로 통합하는 최근의 추세를 설명합니다. Interacting은 행동 조건부 예측(action-conditioned prediction)을 통해 에이전트가 환경을 예측하고 계획을 수립하게 하는 차세대 모델링 지향점을 제시합니다. 정량적으로는 기존의 CLIP 기반 모델들이 가졌던 정적인 특징 추출의 한계를 넘어, 최신 모델들은 256K tokens에 달하는 긴 문맥을 처리하거나(예: Qwen3-VL), 물리적 상호작용을 통해 미래 상태를 예측하는 성능에서 유의미한 우위를 보여주고 있습니다 [Figure 1]. 또한 본 연구는 모델의 평가 기준이 단순 지표에서 상태 지속성(state persistence)과 제어 가능성(controllability)으로 이동하고 있음을 강조합니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 비디오 Foundation Model들이 시각적 피상성을 넘어 물리적 세계의 역학을 모델링하는 방향으로 수렴하고 있음을 학술적으로 체계화했습니다. 이러한 World-Modeling 관점은 향후 비디오 모델이 단순히 데이터를 처리하는 수준을 넘어, 에이전트가 현실 세계와 상호작용하고 추론할 수 있는 지능적 기반이 될 것임을 시사합니다. 본 연구에서 제시한 분류법과 분석 프레임워크는 연구자들이 모델 설계 시 고려해야 할 핵심 요소인 상태 보존, 물리적 인과성, 상호작용 가능성을 명확히 함으로써, 차세대 범용 AI 개발의 나침반 역할을 할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 비디오 이해, 생성 및 모델링의 발전 과정

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.