[논문리뷰] Beyond Retrieval: Progressive Latent Memory Evolution for Streaming Video Understanding

링크: 논문 PDF로 바로 열기

저자: Hongyu Qu, Guangming Yao, Ling Xing, Xiaobin Hu, Rongxing Ding, Guibin Zhang, Fan Zhang, Yi Yuan, Xiangbo Shu, Shuicheng Yan

1. Key Terms & Definitions (핵심 용어 및 정의)

• LatentStream: 기존의 "store-and-retrieve" 패러다임을 "retrieve-and-internalize"로 전환하여 스트리밍 비디오 이해를 위한 점진적 Latent Working Memory 프레임워크.
• Query-Agnostic Hierarchical Streaming Memory (HSM): 입력되는 visual tokens를 fixed budget 하에 short-, mid-, long-term memory level로 계층적으로 구성하는 모듈.
• Hierarchical Latent Memory Evolution (HME): Latent Memory Tokens (LMTs) 그룹이 확장되는 memory receptive fields를 통해 계층적 streaming memory에서 task-relevant historical evidence를 반복적으로 검색(retrieve)하고 latent space 내로 내부화(internalize)하는 메커니즘.
• Progressive Confidence-guided Latent Memory Optimization (PMO): 그룹별 predictive entropy에서 hierarchical progression reward를 구성하여 LMTs와 검색된 evidence를 공동으로 최적화하여, 확장되는 history scope에 따라 예측 confidence를 높이는 최적화 전략.
• Latent Memory Tokens (LMTs): Multimodal Large Language Model (MLLM)의 latent space 내에서 task-relevant historical evidence를 축적하고 지속적으로 진화하는 compact, fixed-length latent state.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 MLLMs가 엄격한 causality와 bounded memory 제약 하에 continuous visual input을 처리하고 사용자 query에 응답해야 하는 streaming video understanding의 한계를 해결한다. 기존 접근 방식들은 일반적으로 historical observations를 외부 memory bank에 압축하고 query-relevant evidence를 추가 visual context로 retrieval 하는 "store-and-retrieve" 패러다임을 따른다. 그러나 이러한 방식은 historical evidence를 외부 visual context로 유지하여, streaming reasoning을 지속적으로 안내할 수 있는 compact하고 evolving latent memory로 내부화되는 것을 방해한다 [Figure 1, cite: 1]. 결과적으로, query-agnostic streaming memory와 query-conditioned reasoning이 느슨하게 결합되어, model의 latent space 내에서 task-relevant historical evidence를 축적하고 streaming video reasoning 프로세스와 함께 지속적으로 evolution 하는 compact latent memory representation이 부재하다. 이러한 문제점을 해결하기 위해 본 연구는 retrieved visual evidence를 variable-length reasoning context로 모델에 노출하는 대신, task-relevant history를 fixed-length latent state로 점진적으로 internalize하고, 이 latent state가 streaming video reasoning 프로세스를 further guide 하는 "latent working memory"의 필요성을 제기한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 기존 "store-and-retrieve" 패러다임을 "retrieve-and-internalize" 패러다임으로 전환하는 LatentStream이라는 progressive latent working memory 프레임워크를 제안한다 [Figure 1, 2, cite: 1]. LatentStream은 세 가지 상호 조정된 컴포넌트로 구성된다. 첫째, Query-Agnostic Hierarchical Streaming Memory (HSM)는 Jenks-guided adaptive consolidation을 통해 visual history를 short-, mid-, long-term memory level로 고정된 memory budget 하에 구성한다. 둘째, Hierarchical Latent Memory Evolution (HME)은 Latent Memory Tokens (LMTs) 그룹에 점진적으로 확장되는 memory receptive fields를 부여하여, 해당하는 memory scopes에서 historical evidence를 iterative하게 retrieval하고 이를 compact, fixed-length latent memory로 internalize한다. 셋째, Progressive Confidence-guided Latent Memory Optimization (PMO)는 그룹별 predictive entropy로부터 hierarchical progression reward를 구성하고, LMTs와 retrieval 된 evidence를 jointly refine하여, accessible historical scope가 확장됨에 따라 increasingly confident streaming reasoning을 유도한다. 이러한 방법론은 test-time optimization을 통해 MLLM 파라미터를 변경하지 않고 latent memory tokens가 task-relevant evidence를 점진적으로 흡수하도록 한다.

실험 결과, LatentStream은 다양한 streaming 및 offline long-video 벤치마크에서 새로운 State-of-the-Art (SOTA) 성능을 달성했다. OVO-Bench에서 LatentStream (7B)은 Real-Time Visual Perception을 63.3%에서 68.5%로, Backward Tracing을 44.7%에서 60.0%로 향상시키며, 오픈소스 방법 중 가장 높은 overall score 64.2% (+10.2%)를 기록했다. StreamingBench에서는 76.9% (+3.0%)를 달성하여 비교된 모든 training-free 방법들을 능가했다. Offline 벤치마크에서도 LatentStream은 VideoMME에서 66.6%, MLVU에서 74.0%, LongVideoBench에서 62.1%를 달성하며 Qwen2.5-VL-7B baseline 대비 각각 3.3%, 6.1%, 1.4% 포인트 향상을 보였다. ablation study를 통해 HSM, PMO, HME 각 컴포넌트의 기여가 확인되었으며, 특히 evolved LMTs는 direct evidence injection 대비 OVO-Bench에서 4.5%, VideoMME에서 1.0% 향상된 성능을 보여, retrieval 된 evidence가 효과적으로 compact latent working memory로 internalize됨을 입증했다. 또한, evolution iteration number, candidate budget, Gaussian noise scale 등 주요 하이퍼파라미터에 대한 분석은 제안 방법론의 robustness와 optimal configuration을 확인하였다 [Figure 3, cite: 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 streaming video understanding을 위한 progressive latent working memory 프레임워크인 LatentStream을 성공적으로 제안했다. LatentStream은 기존의 "store-and-retrieve" 패러다임을 "retrieve-and-internalize" 방식으로 전환하여, task-relevant historical evidence를 compact하고 query-conditioned latent memory에 점진적으로 internalize함으로써 streaming reasoning을 지속적으로 안내한다. 이 연구는 Query-Agnostic Hierarchical Streaming Memory, Hierarchical Latent Memory Evolution, Progressive Confidence-guided Latent Memory Optimization을 통합하여 underlying MLLM을 변경하지 않고도 효과적인 성능 향상을 입증했다. LatentStream의 뛰어난 성능은 streaming 및 offline long-video 벤치마크 전반에 걸쳐 검증되었으며, 이는 external memory와 latent reasoning을 연결하는 "retrieve-and-internalize" memory 패러다임이 streaming Video-LLMs 분야에서 유망한 연구 방향임을 시사한다. 또한, 효율성 분석 결과 LatentStream은 peak memory를 30.80 GB에서 21.97 GB로 줄이고 Time Per Output Token (TPOT)을 6.45 ms에서 3.16 ms로 단축시켜, accuracy-efficiency balance 측면에서도 우수한 trade-off를 제공한다.

Figure 1 — LatentStream의 동기 및 패러다임 비교

Figure 2 — LatentStream의 전체 프레임워크

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.