[논문리뷰] Jev-Mem: System-One-Controlled Agentic Memory for Efficient AI Agents

링크: 논문 PDF로 바로 열기

저자: Dongming Jiang, Yi Li, Bingzhe Li, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agentic Memory: LLM 에이전트가 장기적인 상호작용 환경에서 과거 경험을 효과적으로 보존, 조직화, 업데이트, 검색하는 능력을 의미한다. 이는 고정된 Context Window의 한계를 넘어 에이전트의 지속적인 학습 및 추론을 가능하게 한다.
• System One Cognition: 빠르고 자동적인(fast, automatic) 의사결정 및 처리 과정을 담당하는 인지 시스템이다. Jev-Mem에서는 Lightweight하고 Structured된 예측을 통해 메모리 제어에 필요한 고빈도 결정을 수행한다.
• System Two Cognition: 느리고 신중하며(slower, deliberative) 노력이 많이 드는 추론 과정을 담당하는 인지 시스템이다. Jev-Mem에서는 복잡한 추론(complex reasoning) 및 최종 답변 합성(answer synthesis)과 같이 Open-ended Generation이 필요한 작업에만 사용된다.
• Typed System-One Memory Control: Jev-Mem 아키텍처의 핵심 추상화로, 명시적인 Decision Questions에 대해 Structured State를 바탕으로 확률적 결정을 생성한다. 이는 Free-form LLM Prompting과 달리 작고 정의된 Output Space를 가지며, 메모리 제어 결정을 직접적으로 표현한다.
• Multi-Relational Memory Plane: Jev-Mem의 Memory Data Plane에서 Canonical Observation들을 유지하며, Semantic, Temporal, Causal, Entity 관계와 같은 다양한 Typed Edge를 통해 메모리 노드들을 연결하는 구조화된 저장 공간을 의미한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 Agentic Memory 시스템이 Autoregressive LLM에 과도하게 의존하여 발생하는 비효율성과 높은 비용 문제를 해결하고자 한다. 현재 LLM 에이전트들은 Long-horizon 상호작용을 위해 Agentic Memory를 필요로 하지만, 많은 시스템들이 메모리의 조직화, 검색, 활용 방식 제어를 위해 Autoregressive LLM을 반복적으로 호출하고 있어 Memory Operation의 Critical Path에 비용이 많이 드는 Generation 작업을 배치하게 된다. 이러한 접근 방식은 Latency와 Inference Overhead를 증가시키는 주된 원인이 된다.

기존 시스템은 크게 두 가지 한계점을 갖는다. 첫째, Fixed Heuristics 기반의 제어 방식은 효율적일 수 있으나 유연성이 부족하여 다양한 시나리오에 적응하기 어렵다. 둘째, General-purpose Autoregressive LLM을 사용하는 방식은 Semantic Flexibility를 제공하지만, Memory Construction 및 Retrieval 과정 전반에 걸쳐 반복적인 Token Generation이 필요하여 비용이 매우 높다. 또한, 단순히 Nominal Context Length를 늘리는 것만으로는 LLM이 긴 입력의 모든 위치를 신뢰할 수 있게 활용하지 못하며, 장기적인 Interactive Setting에서 추가적인 Indexing, Retrieval, Reading Challenge를 야기한다. 이러한 문제들은 Persistent Agent가 시간이 지남에 따라 효과를 유지하기 위해 Prompt 외부에서 유용한 경험을 보존하고 필요할 때 Recover할 수 있는 효율적인 메커니즘인 Agentic Memory의 필요성을 강조한다 [Figure 1, cite: 1]. 따라서, Fast하고 Lightweight한 의사결정과 Slower하고 Deliberative한 추론을 분리하는 System-One/System-Two 인지 모델에서 영감을 받아, Memory Control 자체를 효율적인 시스템 Layer로 재설계하는 새로운 접근 방식이 요구된다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

Jev-Mem은 Fast Memory Control과 Deliberative Reasoning을 명확하게 분리하는 System-One/System-Two 아키텍처를 통해 Agentic Memory를 재설계한다. 이 아키텍처는 Lightweight System-One Control Plane, Shared Structured Memory Data Plane, System-Two Reasoning Plane의 세 가지 핵심 구성요소로 이루어져 있다 [Figure 2, cite: 1]. System-One Controller는 메모리 Construction 및 Adaptive Retrieval 전반에 걸쳐 고빈도의 Structured Decisions를 관리하며, System-Two는 복잡한 추론과 최종 답변 합성에만 사용된다.

Memory Construction 과정에서 System-One Controller는 관찰(Observations)을 보존하고, Memory Types를 할당하며, Candidate Memory를 선택하고, 새로운 관찰이 기존 Multi-relational Memory에 어떻게 연결되어야 할지를 결정한다. 이는 Memory Typing, Redundancy Filtering, Semantic/Temporal/Causal/Entity Relation Construction 등의 작업을 포함한다. Retrieval 과정에서 System-One Controller는 Query Routing, Retrieval-Budget Allocation, Graph Traversal, Candidate Scoring, Evidence Assessment, Adaptive Stopping 등을 수행한다. Query에 따라 가장 관련성 높은 Relational Views를 예측하고, 검색 노력을 할당하며, Graph Expansion 예산(Budget) 내에서 증거의 Sufficiency를 평가하고, 추가 검색의 Expected Utility를 판단하여 불필요한 Traversal을 방지한다. 이처럼 Jev-Mem은 Memory Lifecycle 전반에 걸쳐 Lightweight하고 Structured된 결정을 처리함으로써 Autoregressive Inference의 불필요한 호출을 줄인다.

주요 실험 결과는 Jev-Mem이 Long-horizon Question Answering에서 우수한 Reasoning Effectiveness와 System Efficiency를 동시에 달성함을 입증한다. LoCoMo 벤치마크에서 Jev-Mem은 LLM-as-a-Judge Score 0.777을 기록하여, 가장 강력한 Baseline인 MAGMA의 0.700 대비 11.0%의 상대적 성능 향상을 보여주었다 [Table 1, cite: 1]. 특히, 복수 메모리에서 증거를 조합하거나 관련 정보를 Distractor로부터 구별해야 하는 Multi-Hop (0.623), Open-Domain (0.618), 그리고 Adversarial (0.962) 질문 유형에서 가장 뛰어난 성능을 보였다. System Efficiency 측면에서는 Memory Construction Time이 158초로, 가장 빠른 경쟁 메모리 시스템 대비 6.6배 빠른 속도(84.9% 감소)를 달성했다 [Table 2, cite: 1]. 또한, Average Query Latency는 0.93초로, 가장 빠른 Memory-based Baseline (1.47초) 대비 36.7% 감소했으며, Full Context 방식 (1.74초)보다도 효율적이었다 [Table 2, cite: 1]. 이러한 정량적 지표들은 Jev-Mem의 System-One Control Plane 설계가 Memory Construction 및 Access의 Computational Overhead를 크게 줄이면서도 Reasoning Quality를 향상시킴을 명확히 보여준다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 효율적인 Agentic Memory를 위해 System-One/System-Two 아키텍처인 Jev-Mem을 제안한다. Jev-Mem은 Lightweight Structured Prediction을 고빈도 Memory Control 결정에 활용하고, System-Two를 복잡한 추론 및 답변 합성을 위해 유보하는 방식을 채택한다.

실험 결과, Jev-Mem은 LoCoMo 벤치마크에서 평가된 Baseline 중 가장 우수한 Overall Accuracy와 Efficiency를 달성했다. 구체적으로 LLM-as-a-Judge Score 0.777, Memory Construction Time 158초, Average Query Latency 0.93초를 기록하며 모든 주요 지표에서 선도적인 성능을 보였다. 이러한 결과는 Memory Control을 Generative Reasoning과 분리하는 것이 Long-horizon AI 에이전트의 효과성과 효율성을 동시에 향상시키는 유망한 방향임을 강력하게 시사한다. 이 연구는 LLM 기반 에이전트가 더 복잡하고 장기적인 작업을 수행할 수 있도록 하는 데 중요한 기여를 하며, 학계 및 산업계에서 보다 실용적이고 확장 가능한 AI 에이전트 시스템 개발에 큰 영향을 미칠 것으로 기대된다.

Figure 1 — Agentic Memory Workflow

Figure 2 — Jev-Mem 전체 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.