[논문리뷰] APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants

링크: 논문 PDF로 바로 열기

저자: Jianguo Huang, Jinming Liu, Qiyao Wang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Persistent Memory: 실시간 상호작용이 끝난 후에도 이전 경험에 대한 기록을 유지하여 나중에 다시 활용할 수 있도록 하는 저장 가능한 메모리 시스템입니다.
• Multi-session Life Trajectories: 실제 상호작용이 종종 간헐적이라는 점을 반영하여, 사용자의 자율적인 경험을 관련 활동을 중심으로 여러 세션으로 구성하고, 각 세션 간에는 시간적 단절(time gaps)이 존재하도록 재구성한 데이터셋 형식입니다.
• Cross-session Understanding: 모델이 이전 세션에 대한 질문에 답하기 위해 Persistent Memory를 얼마나 잘 활용하는지 측정하는 APM-Bench의 평가 능력 중 하나입니다.
• Real-time Perception: 모델이 현재 시각적 장면을 이해하는 능력과 Persistent Memory가 이 능력에 미치는 영향을 평가하는 APM-Bench의 평가 능력 중 하나입니다.
• Adaptive Response: 모델이 필요한 경우 적절한 도움을 제공하고 그렇지 않을 경우 SILENT를 유지하는지 평가하는 APM-Bench의 평가 능력 중 하나로, 과거 기억의 도움을 받습니다.
• Evidence Availability-Aware Evaluation: Persistent Memory의 유한한 저장 용량으로 인해 필요한 증거(evidence)가 없을 수 있는 상황에서, 모델이 부족한 증거를 인식하고 허위 답변을 생성하지 않는지 평가하는 APM-Bench의 전용 평가 세트입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 스트리밍 벤치마크 및 방법론들은 대부분 개별 연속 비디오 또는 짧은 클립 내에서의 메모리 활용에 초점을 맞춰왔습니다. 그러나 실제 환경에서 개인 비서(personal assistants)로서 스트리밍 비디오 모델은 간헐적인(intermittent) 상호작용과 중단(interruptions)을 넘어서 과거 경험을 유지하고 나중에 재사용할 수 있는 Persistent Memory를 필요로 합니다. 현재 평가는 메모리 유용성과 함께 배포 비용(저장 비용 및 응답 Latency)을 거의 평가하지 않아, Persistent Memory가 시간적으로 분리된 상호작용 전반에 걸쳐 회고적 이해(retrospective understanding) 및 사전 예방적 지원(proactive assistance)을 어떻게 지원하는지에 대한 명확한 그림을 제공하지 못하고 있습니다.

저자들은 이러한 격차를 해소하기 위해 APM-Bench를 제안합니다. 이 벤치마크는 실제 스트리밍 상호작용을 Multi-session Life Trajectories로 재구성하여, 모델이 과거 세션에 대한 질문에 답하고 실시간 상호작용을 유지하면서 사전 예방적 응답을 제공하기 위해 Persistent Memory를 사용해야 하는 과제를 제시합니다. 이는 Persistent Memory가 저장 가능하고, 정보를 선택적으로 유지하며, 적절한 시기에 주입되어야 하고, 효율적이어야 한다는 새로운 도전 과제를 야기합니다. 또한, 제한된 저장 공간으로 인해 필요한 증거(evidence)가 없을 수 있으므로, 비서 모델은 증거 부족을 인식해야 합니다. [Table 1]은 APM-Bench가 기존 벤치마크들이 다루지 못했던 Multi-session Evaluation 및 Evidence Availability-Aware Evaluation을 포함하여 이러한 현실적인 시나리오를 포괄적으로 평가함을 보여줍니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 egocentric streaming video assistant를 위한 Persistent Memory 시스템의 성능을 종합적으로 평가하기 위한 새로운 벤치마크인 APM-Bench를 제안합니다. APM-Bench는 egocentric 경험을 활동 관련 Multi-session Life Trajectories로 구성하여 간헐적인 실제 사용을 시뮬레이션합니다. 이 벤치마크는 Cross-session Understanding, Real-time Perception, Adaptive Response의 세 가지 핵심 역량을 평가하며, 총 549개의 세션, 104개의 Trajectory, 2,719개의 후보(candidate)를 포함합니다. 특히, Evidence Availability-Aware Evaluation Set을 구축하여 모델이 필요한 증거가 없을 때 이를 인식하는지 여부를 테스트합니다. [Figure 1]은 스트리밍 비디오 어시스턴트가 세션 간 Persistent Memory를 통해 실시간 인식, Cross-session Understanding 및 proactive assistance를 수행하는 개념을 시각적으로 보여줍니다.

Figure 1 — 모델의 Persistent Memory 개념

평가 결과, 기존 방법론들은 유용성(utility), Latency, 저장 비용(storage cost) 간의 명확한 trade-off를 보이며, 이 세 가지를 동시에 달성하는 데 어려움을 겪는 것으로 나타났습니다. Raw Video as Memory는 가장 풍부한 시각적 증거를 보존하여 대부분의 일반 모델에서 가장 강력한 성능을 달성했지만, 상당한 저장 공간(GiB-scale)과 높은 query-time overhead를 발생시켰습니다. 반면 Text Summary as Memory는 저장 비용을 KiB-scale로 줄였지만, 요약 과정에서 시각적 세부 정보를 손실하여 Cross-session Understanding 성능이 저하되었습니다. [Table 3]에 따르면, Gemini 3.6 Flash는 Raw Video as Memory 설정에서 Cross-session Understanding 69.37%, Real-time Perception 64.20%, Adaptive Response 47.05%를 기록하며 가장 높은 성능을 보였으나, 3.01 GiB/hr의 높은 Storage Cost를 나타냈습니다. 반대로 Text Summary as Memory 방식의 Gemini 3.6 Flash는 3.09 KiB/hr의 낮은 Storage Cost에도 불구하고, 전체 성능(Overall) 53.54%로 Raw Video 방식 대비 Cross-session Understanding에서 하락을 보였습니다.

특정 Memory 시스템 중에서는 Event-structured 방법(예: OASIS)이 Cross-session Understanding에서 35.46%, Real-time Perception 52.92%, Adaptive Response 35.99%를 기록하며 Raw Video 방식의 성능에는 미치지 못하지만, 다른 전문화된 시스템 중에서는 가장 강력한 유틸리티를 보여주었습니다. [Figure 2]는 평가된 다양한 방법론들이 유용성-Latency-저장 비용 간의 복잡한 trade-off 관계에 있음을 시각적으로 설명하며, Bubble Size가 시간당 Storage Cost를 나타냅니다. 또한, Evidence Availability-Aware Evaluation에서, Gemini 3.6 Flash는 필요한 증거가 접근 가능할 때 85.38%의 높은 정확도를 보였지만, 증거가 없을 때 이를 인식하는 능력은 59.23%로 낮아, 강력한 회상 능력이 증거 부재 인식으로 이어지지 않음을 보여주었습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 egocentric streaming video model을 위한 Persistent Memory를 평가하기 위해, 실제 간헐적 사용 시나리오를 반영하는 APM-Bench 벤치마크를 제시합니다. 핵심적인 결론은 효과적인 Persistent Memory가 저장 가능하고 세션 간 재사용 가능해야 하며, "무엇을 저장할 것인가", "언제 사용할 것인가", 그리고 "효율성"이라는 세 가지 측면에서 신중한 균형이 필요하다는 것입니다.

실험 결과는 Raw Video 방식이 가장 풍부한 시각적 증거를 보존하고 Cross-session 성능에서 가장 강력하지만, 상당한 저장 비용과 Latency를 초래한다는 명확한 trade-off를 보여줍니다. 반면, Text Summary와 같은 압축된 표현은 비용을 절감하지만, 필요한 세부 정보를 손실할 수 있습니다. Specialized 시스템 중에서는 Event-structured memory가 가장 강력한 유틸리티를 보여주었습니다. 또한, 과도한 이력(history)은 Real-time Perception을 저해할 수 있으므로, 메모리의 선택적 사용이 중요하며, 강력한 회상 능력만으로는 필요한 증거가 없을 때 이를 인식하는 능력을 보장하지 못함이 드러났습니다. 전반적으로 현재의 방법론들은 신뢰할 수 있는 장기 기억, 선택적 메모리 사용, 낮은 저장 및 Latency 오버헤드, 그리고 세션 간 효과적인 proactive assistance를 동시에 달성하는 데 여전히 어려움을 겪고 있습니다.

이 연구는 실제 스트리밍 어시스턴트를 위한 Persistent Memory 시스템 개발에 있어 유용성, Latency, 저장 비용을 통합적으로 고려할 필요성을 강조하며, 향후 연구에 중요한 방향을 제시합니다. APM-Bench는 이러한 다차원적 평가를 위한 포괄적인 테스트베드를 제공하여, 보다 실용적인 Persistent Memory 시스템의 발전을 촉진할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.