[논문리뷰] Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

링크: 논문 PDF로 바로 열기

메타데이터

저자: Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Dual-State Design: 롱폼 비디오 이해를 위해 시스템이 Global State와 Latent State라는 두 가지 컨텍스트 상태를 동시에 유지하며, 이를 통해 추론(Reasoning) 대신 즉각적인 반사적 반응(Reflexive response)을 가능하게 하는 구조입니다.
• Global State (Sg): 에피소딕 메모리에서 계층적으로 병합되어 생성된 비파라메트릭(non-parametric)하고 컴팩트한 요약 데이터로, 에이전트에게 전체적인 맥락을 제공합니다.
• Latent State (Sl): 백본 모델이 입력 시퀀스를 처리한 후 생성하는 파라메트릭(parametric) 표현으로, 행동 제어와 의미적으로 정렬된 리트리벌(Retrieval) 임베딩을 직접 도출합니다.
• Reflexive Response: 기존 비디오 에이전트들의 복잡한 '탐정 스타일' 반복 추론 대신, 단일 Forward Pass 내에서 메모리를 참조하여 즉각적으로 의사결정을 수행하는 경량화된 처리 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 비디오 에이전트 모델들이 롱폼 비디오를 처리할 때 의존하는 '탐정 스타일'의 반복적 추론(Iterative Reasoning)이 초래하는 과도한 비용과 레이턴시 문제를 해결하고자 합니다 [Figure 1]. 저자들은 이러한 무거운 추론 과정이 사실상 모델 내부의 글로벌 컨텍스트 부족과 쿼리-메모리 간의 의미적 불일치를 보완하기 위한 고육지책이라고 주장합니다. 기존 연구들은 파편화된 메모리 접근이나 고비용의 도구 호출을 사용하여 비디오를 분석하지만, 이는 시스템의 응답 속도를 저하시키고 계산 효율성을 크게 악화시키는 한계가 있습니다. 결과적으로, 실시간 상호작용이 필요한 에이전트 환경에서 비효율적인 리트리벌 및 추론 방식은 성능과 사용자 경험의 병목 지점이 되고 있습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 실시간 반사적 반응과 효율적인 메모리 관리를 위해 Light-Omni 프레임워크를 제안합니다 [Figure 2]. Light-Omni는 에피소딕 메모리를 계층적으로 병합하여 생성한 Global State와 이를 바탕으로 행동을 유도하고 정렬된 리트리벌 임베딩을 생성하는 Latent State를 결합한 Dual-State Design을 도입합니다. 이 모델은 메모리 구축과 응답 생성 과정을 분리하여 오프라인에서는 수면 시간(sleep-time) 동안 메모리를 통합(Consolidation)하고, 온라인에서는 최소한의 레이턴시로 반응합니다. 주요 실험 결과, Light-Omni는 Qwen2.5-Omni-7B 대비 9.5%의 평균 정확도 향상을 달성했습니다 [Table 1]. 또한, M3-Agent 대비 12.1배 빠른 속도(speedup)와 2.6배 높은 GPU 메모리 효율성을 입증하여 압도적인 성능 우위를 확보했습니다 [Table 2]. 효율성 최적화를 위해 도입된 피처 캐싱과 중복성 제거(Redundancy Pruning) 기법은 정확도 저하 없이 인퍼런스 레이턴시를 42% 감소시키는 데 기여했습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

Light-Omni는 롱폼 비디오 이해를 위한 반사적이고 효율적인 에이전트 프레임워크로서, 반복적인 추론 단계 없이도 정확한 리트리벌과 응답 생성이 가능함을 증명했습니다. 본 연구는 메모리 증강 비디오 에이전트의 설계 패러다임을 '추론 기반'에서 '반사 기반'으로 전환하며, 다양한 MLLM에 적용 가능한 범용적인 메모리 시스템으로서의 가능성을 제시했습니다. 이러한 접근 방식은 실시간성이 중요한 산업계의 에이전트 서비스 개발에 중요한 기술적 토대를 마련할 것으로 기대됩니다. 향후 연구는 더욱 복잡한 도구 활용 시나리오를 통합하여 에이전트의 자율성을 극대화하는 방향으로 나아갈 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.