[논문리뷰] VideoLoop: Looped Working Memory Against Semantic Thrashing in Long-Form Video Agents

링크: 논문 PDF로 바로 열기

저자: Jinfa Huang, Jianming Xu, Jingyang Lin, Zhengyuan Yang, Jiebo Luo, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Semantic Thrashing: append-only working memory를 사용하는 기존 에이전트 시스템에서, 축적된 노이즈로 인해 핵심 증거에 대한 LLM의 attention이 약화되고, 이미 찾은 정보에 대한 접근성이 저하되는 현상입니다. 이는 운영체제의 Thrashing 현상에 비유됩니다 [Figure 1].
• Append-Only Working Memory: 새로운 관찰(observation)이 들어올 때마다 단순히 기존 working memory에 추가하는 방식으로, irrelevant evidence를 제거하거나 ordered context growth를 방지하는 rewrite operator가 부재합니다.
• Dual-Loop Bounded Working Memory: 본 논문에서 제안하는 working memory 설계로, video exploration을 담당하는 outer loop와 memory orchestration을 담당하는 inner loop로 구성되며, bounded working memory를 매 단계마다 rewrite하여 관련성 높은 증거를 유지합니다.
• Memory Orchestrator (πm): inner loop를 구성하는 별도의 LLM으로, 이전 working memory, 현재 action, observation, 그리고 filesystem index를 기반으로 bounded working memory를 적극적으로 rewrite하는 역할을 수행합니다.
• Filesystem (ℱ): outer loop 에이전트가 비디오 탐색 및 분석 결과(artifacts)를 저장하는 unbounded external store입니다. 모든 관찰 및 중간 분석 결과를 손실 없이 보존하여 필요 시 검색할 수 있도록 합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Long-form video understanding은 여러 추론 단계를 거쳐 수많은 프레임에서 증거를 반복적으로 수집해야 하는 과제입니다. 기존의 대부분의 agentic methods는 Semantic Thrashing 문제에 직면합니다 [Figure 1]. 이 문제는 append-only working memory가 증가함에 따라, 핵심 증거에 대한 attention이 붕괴되고 에이전트가 이전에 찾았던 정보에 대한 접근성을 잃는 현상을 의미합니다. 저자들은 append-only memory가 새로운 관련 증거를 통합할 수는 있지만, 축적된 노이즈를 제거하거나 ordered context growth를 방지할 수 있는 rewrite operator가 없기 때문에 이러한 문제가 구조적으로 발생한다고 주장합니다. 이는 working memory의 state divergence를 증가시키며, 장기적인 또는 노이즈가 많은 시나리오에서 append-only memory가 취약하다는 것을 보여줍니다. 따라서, 모든 관찰을 손실 없이 보존하는 unbounded external store와 매 단계마다 재작성되는 bounded working memory를 통해 redundant content를 삭제하고 missing target evidence를 다시 가져올 수 있는 새로운 메모리 설계가 필요합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Semantic Thrashing 문제를 해결하기 위해 VideoLoop라는 dual-loop architecture를 제안합니다 [Figure 1, 2]. VideoLoop는 multimodal agent인 outer loop와 memory orchestrator인 inner loop로 구성됩니다. outer loop는 비디오를 탐색하고 그 결과를 persistent filesystem에 저장하며, inner loop는 매 outer step 이후 filesystem에서 질문과 관련된 artifacts를 검색하고 bounded working memory를 재작성(rewrite)합니다. 이를 통해 각 루프는 고정된 context budget 내에서 작동하며, orchestrator는 전체 trajectory history에 대한 random-access read 권한을 유지하여 메모리를 consolidation합니다. VideoLoop는 metadata, narrative understanding, timestamped evidence, temporal coverage, activity log, open investigation targets의 6가지 섹션으로 구성된 3단계 메모리 계층(working memory, step manifest, sandbox filesystem)을 유지하며, Update, Append, Delete 작업을 통해 working memory를 관리합니다.

실험 결과, VideoLoop는 세 가지 long-form video benchmark에서 강력한 성능을 보여주었습니다. Gemini 3.1 Pro를 policy model로 사용했을 때, VideoMME (long)에서 88.3%, VideoMMMU에서 88.8%, LongVideoBench (long)에서 80.9%의 정확도를 달성했습니다 [Table 1]. 이는 native LVLM인 Gemini 3.1 Pro 대비 각각 +4.5, +4.2, +3.2 percentage points의 향상을 나타냅니다. 특히, VideoMME (long)에서 기존의 strongest prior agentic methods보다 +7.1 points 높은 성능을 보였습니다. Ablation study 결과, filesystem access를 추가한 완전한 VideoLoop는 append-only 에이전트 대비 +3.9 points, native inference 대비 +5.1 points의 정확도 향상을 가져왔으며, 특히 가장 어려운 난이도의 질문(Q4)에서 +9.3 points의 가장 큰 개선을 보였습니다 [Table 2]. Token efficiency 분석에서는, VideoLoop가 append-only baseline과 유사한 총 토큰 사용량(append-only 614.9K, VideoLoop 618.2K)으로 +3.9pp의 정확도 향상을 달성하여, filesystem을 통해 중간 증거를 외부화하고 선택적으로 재사용함으로써 효율성을 높였음을 입증했습니다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 long-form video understanding을 위한 dual-loop agentic framework인 VideoLoop를 성공적으로 제안했습니다. 기존 비디오 에이전트의 append-only context로 인한 Semantic Thrashing 문제를 해결하기 위해, VideoLoop는 outer multimodal agent와 inner LLM 기반 memory orchestrator를 결합하여 bounded working memory를 동적으로 rewrite하는 방식을 채택합니다. 이 연구는 세 가지 long-form video benchmark에서 정확도를 크게 향상시켰으며, 이러한 성능 향상은 여러 LVLM backbone에 plug-and-play 방식으로 적용될 수 있음을 보여주었습니다. VideoLoop는 long-horizon agents에게 "메모리는 축적되는 것이 아니라 큐레이션되어야 한다"는 일반적인 원칙을 제시하며, 비디오 이해 분야를 넘어 장기적인 에이전트 시스템 설계에 중요한 시사점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.