[논문리뷰] MemT-1.0: Towards Memory-Native Evolution

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the required information and construct the summary.

Authors: From the paper: "MemTensor Team", then in Appendix A.1: "Zhiyu Li, Zeyu Zhang, Linyun Liu, Yiwei Bu, Chenyang Xi, Xichong Zhang, Yi Yu, Yu Yu, Zhichen Liu, Yuxiao Yi, Chunyu Li, Haoran Liu, Zhenkai Ding, Le Zhou, Juncheng Zhang, Boyu Chen, Zehao Lin, Guorui Li, Renyu Fu, Ji Li, Youyang Xia, Jiajun Shen, Harvey Li, Jingsong Zhou, Helan Hu, Tong Shen, Tianxiao Xu, Chenye Han, Weijie Li, Zhongquan Zhou, Hongming Xu, Yuekeng Li, Erenkai Zhu, Peng Yu, Wenhao Li, Jingyi Kang, Xixuan Hao, Xuzhou Zhu, Can Chen, Jiawei Liu, Chen Jiang, Tao Jiang, Fangwei Xiang, Zepeng Yao, Kai Chen, Guang Yang, Mingfei Lu, Chunhui Li, Zhengxuan Jiang, Bo Tang, Shiyu Zhan, Yihang Sun, Jie Chu, Wenjun Xiong, Zhenxiang Hua, Chen Lin, Detong Su, Dongyu Deng, Qiuping Ding, Guofeng Ding, Si Chen, Guohua Wen, Xu Chen, Zhi-Qin John Xu, Ying-Cong Chen, Ningyu Zhang, Haofen Wang, Muning Wen, Haotian Chen, Wentao Zhang, Xuanhe Zhou, Rita Zhang, Junchi Yan, Feiyu Xiong." I should list the first few and then "et al."

Keywords: I will identify 5-8 key technical terms from the abstract, introduction, and model architecture sections.

• Memory-native Evolution
• Memory Foundation Models
• Gated DeltaNet-2 (GDN-2)
• Mixture-of-Storage (MoS)
• Continued Pre-Training (CPT)
• Post-Training
• Agentic Tasks
• End-to-End Inference Efficiency

Key Terms & Definitions:

• MemT-1.0: Foundation models that internalize memory as part of model computation, enabling continuous accumulation and utilization of information.
• Gated DeltaNet-2 (GDN-2): Metis 기반으로 MemT-1.0에서 사용하는 안정적인 token-level memory update mechanism.
• Mixture-of-Storage (MoS): Native memory capacity를 확장하기 위해 도입된 메커니즘으로, 여러 memory experts를 통해 dense routing을 수행한다.
• Native Memory Block: Transformer block에 추가되어 이전 정보로부터 memory를 유지하는 역할을 하는 구성 요소.
• Continued Pre-Training (CPT): Native memory를 포함한 language modeling capabilities를 확립하는 2단계 학습 파이프라인의 첫 번째 단계.

Motivation & Problem Statement: Foundation models의 능력은 외부 시스템의 기능을 모델 내부로 통합하는 방향으로 발전하고 있으나, memory 기능은 여전히 중요한 영역이다. 기존 연구인 Metis는 memory foundation models의 개념을 도입했지만, memory capabilities를 더욱 향상시킬 필요가 있었다. 또한, 기존 Large Language Models (LLMs)은 긴 Context Length에 대한 처리에서 End-to-End Inference Latency와 Storage Overhead 문제가 발생하며, 이는 지속적인 상호작용에서 효율성을 저해한다. 이 연구는 이러한 한계를 극복하고, 모델이 정보를 지속적으로 축적하고 활용할 수 있도록 memory를 모델 계산의 본질적인 부분으로 내재화하는 새로운 아키텍처를 제안한다.

Method & Key Results: 본 논문은 memory를 모델 계산의 내재적인 부분으로 통합하는 새로운 아키텍처인 MemT-1.0을 제안한다. MemT-1.0은 Metis를 기반으로 Gated DeltaNet-2 (GDN-2)를 활용한 안정적인 token-level memory update mechanism을 각 턴 내에서 적용한다. 또한, native memory capacity를 확장하기 위해 Mixture-of-Storage (MoS)를 도입하여 여러 memory experts를 통해 dense routing을 수행한다.

MemT-1.0의 훈련은 신중한 backbone preparation 이후 continued pre-training (CPT)과 post-training의 2단계 파이프라인으로 진행되며, 총 34B 토큰의 학습 데이터와 효율적인 인프라의 지원을 받는다.

핵심 결과로, MemT-1.0-Flash 및 MemT-1.0-Nano 모델은 11가지 memory benchmarks에서 parametric memory baselines를 평균적으로 능가하며 retrieval-augmented methods와도 경쟁력을 유지한다. 특히, 128K 토큰의 history length에서 MemT-1.0-Nano는 Full Context KV Cache 대비 약 1.86x End-to-End Inference Speedup을 달성하고, persistent storage를 66x 감소시킨다 [cite: 1, Figure 3]. Memory Capacity Scaling 실험에서는 4개의 memory experts를 사용하는 MoS 구성이 2개의 experts 구성보다 일관되게 우수한 성능을 보이며, post-training 단계에서 평균 점수가 최대 2.69 포인트 증가하는 것을 확인했다. Agentic tasks 적용에서, MemT-1.0은 검색된 절차적 경험을 native memory에 내재화함으로써 SWE-bench Verified에서 평균 작업 성공률을 7.6% 포인트 향상시키고 SWE-bench Multilingual에서는 8.3% 포인트 향상시켰다. 이는 native memory가 정보 회상뿐만 아니라 다단계 실행에서 절차적 가이드 역할도 수행할 수 있음을 보여준다.

Conclusion & Impact: 본 연구는 foundation models의 고유한 능력으로 memory를 통합한 MemT-1.0을 통해 memory-native evolution의 중요한 진전을 이루었다. MemT-1.0은 효율적인 정보 저장 및 활용 메커니즘을 제공하며, parametric memory baselines 대비 우수한 성능을 보였다. 특히 긴 상호작용 기록에 대해 End-to-End Inference Efficiency와 Storage Overhead 측면에서 상당한 이점을 제공하며, agentic tasks에서 절차적 경험을 내재화하여 작업 성공률과 일관성을 향상시키는 데 기여한다. 이 연구는 향후 self-evolving agents 개발을 위한 기반을 제공하며, memory-native evolution을 향한 실질적인 단계를 제시한다. 향후 연구는 장기 기억 개선, 메모리 용량 확장, 메모리 업데이트 비용 절감, 그리고 자율적인 경험 습득 및 지속적인 메모리 통합에 중점을 둘 것이다.

Figure Information: I will check the figures.

• Figure 1: Memory performance of MemT-1.0 on representative benchmarks. (This could be useful for results) 2610.26825v1/figure_performance.png
• Figure 2: Agentic performance of MemT-1.0-Flash after backbone preparation without native memory. (This seems to be about backbone preparation, less about MemT-1.0's core memory features) 2610.26825v1/figure_moe.png
• Figure 3: Inference efficiency and storage overhead of MemT-1.0-Nano. (This is highly relevant for key results: efficiency and storage). 2610.26825v1/figure_efficiency.png
• Figure 4: Architecture of MemT-1.0. (This is critical for understanding the method). 2610.26825v1/memt-arc.png
• Figure 5: Scaling native memory capacity. (This is about MoS, also important for method). 2610.26825v1/figure_moe.png - Wait, Figure 2 and Figure 5 have the same image URL. This seems like an error in the paper's HTML or my browsing. Let me re-check Figure 5. Figure 5's caption is "Scaling native memory capacity. MoS expands each native memory block into multiple memory experts and employs separate dense storage and utilization routing over shared expert addresses." Figure 2's caption is "Agentic performance of MemT-1.0-Flash after backbone preparation without native memory." They cannot be the same image. I should use the correct URL if available. The HTML shows figure_moe.png for both. This is confusing. Given the description, Figure 5 should be about MoS architecture. Let me assume figure_moe.png actually belongs to Figure 5, as its content is more aligned with the MoS explanation in Section 2.3. Figure 2's caption seems to describe a performance graph, not an architecture. I will select Figure 4 for architecture, Figure 3 for efficiency, and Figure 1 for memory performance. If Figure 5 has the same image as Figure 2, it's a paper error. I will prioritize the most distinct and important figures. Figure 4 is the overall architecture, Figure 3 shows quantitative results (efficiency, storage), and Figure 1 shows memory performance across benchmarks.

Let me re-evaluate Figure selection:

1. Figure 4: Architecture of MemT-1.0. This is fundamental. https://arxiv.org/html/2610.26825v1/memt-arc.png
2. Figure 3: Inference efficiency and storage overhead of MemT-1.0-Nano. This shows key quantitative results. https://arxiv.org/html/2610.26825v1/figure_efficiency.png
3. Figure 1: Memory performance of MemT-1.0 on representative benchmarks. This shows another key quantitative result. https://arxiv.org/html/2610.26825v1/figure_performance.png

The issue with Figure 2 and 5 having the same URL 2610.26825v1/figure_moe.png is concerning. Since Figure 4 is the overall architecture, I will use that. Figure 5 describes "Scaling native memory capacity" with MoS, which is an architectural component. If figure_moe.png contains an architecture diagram for MoS, it would be a good candidate. However, figure_moe.png (which is figure 2) is captioned as "Agentic performance...", which does not sound like an architecture diagram. Let me stick to Figure 1, 3, and 4. Figure 1 and 3 present key results, and Figure 4 presents the overall architecture.

Final check on authors: The abstract lists "MemTensor Team". Appendix A.1 lists many authors. I will use "Zhiyu Li, Zeyu Zhang, Linyun Liu, et al."

Let's start drafting the response.저자: Zhiyu Li, Zeyu Zhang, Linyun Liu, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• MemT-1.0: Foundation Models의 Memory를 Model Computation의 내재적인 부분으로 통합하여, 지속적으로 정보를 축적하고 활용할 수 있도록 하는 새로운 아키텍처이다.
• Gated DeltaNet-2 (GDN-2): MemT-1.0에서 Token-level Memory State Update를 위해 활용되는 메커니즘으로, 기존 Metis 대비 안정성을 개선하였다.
• Mixture-of-Storage (MoS): Native Memory Capacity를 확장하기 위해 도입된 메커니즘으로, 여러 Memory Experts를 통해 Dense Routing을 수행하여 모든 Expert가 Memory Computation에 참여하게 한다.
• Native Memory Block: 각 Transformer Block에 증강되어 이전 정보로부터 Memory를 유지하는 역할을 수행하며, Local Memory Block과 Hyper Memory Block으로 구성된다.
• Continued Pre-Training (CPT): Native Memory를 포함한 Language Modeling Capabilities를 확립하기 위한 Two-Stage Training Pipeline의 첫 번째 단계이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Foundation Models의 발전은 Reasoning 및 Multimodality와 같은 외부 시스템의 Capabilities를 모델 내부로 내재화하는 방향으로 나아가고 있으며, Memory 역시 모델이 경험을 축적하고 상호작용에 적응하는 데 필수적인 Fundamental Capability이다. 기존 연구인 Metis는 Memory Foundation Models의 개념을 도입했지만, Native Memory Capabilities를 더욱 향상시킬 필요가 있었다. 기존 LLMs은 긴 Context Length를 처리하는 과정에서 발생하는 높은 End-to-End Inference Latency와 Storage Overhead 문제에 직면하며, 이는 Persistent Interaction에서 모델의 효율성을 저해한다. 본 연구는 이러한 한계를 극복하고, 모델이 정보를 지속적으로 축적하고 활용할 수 있도록 Memory를 Model Computation의 Intrinsic Part로 내재화하는 새로운 아키텍처를 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Foundation Models에 Persistent Memory를 통합하는 MemT-1.0이라는 새로운 아키텍처를 제안한다 [cite: 1, Figure 4]. MemT-1.0은 Metis를 기반으로 Gated DeltaNet-2 (GDN-2)의 안정적인 Token-level Memory Update Mechanism을 활용하여 각 Interaction Turn 내에서 Memory State를 업데이트한다. Native Memory Capacity를 확장하기 위해 Mixture-of-Storage (MoS)를 도입하여 여러 Memory Experts를 통해 Dense Routing을 수행한다. 훈련은 신중한 Backbone Preparation 이후 Continued Pre-Training (CPT)과 Post-Training으로 구성된 Two-Stage Pipeline으로 진행되며, 총 34B 토큰 규모의 학습 데이터와 효율적인 훈련 및 추론 인프라를 통해 지원된다.

MemT-1.0-Flash와 MemT-1.0-Nano 모델은 11가지 Memory Benchmarks에서 Parametric Memory Baselines 대비 평균적으로 우수한 성능을 달성하며, Retrieval-Augmented Methods와도 경쟁력을 유지한다 [cite: 1, Figure 1]. 특히, 128K 토큰의 History Length에서 MemT-1.0-Nano는 Full Context KV Cache 대비 약 1.86x End-to-End Inference Speedup을 달성하고 Persistent Storage를 66x 감소시킨다 [cite: 1, Figure 3]. Memory Capacity Scaling 실험 결과, 4개의 Memory Experts를 사용하는 MoS 구성은 2개의 Experts 구성보다 일관되게 우수한 성능을 보였으며, Post-Training 단계에서 평균 점수가 최대 2.69 포인트 증가했다. Agentic Tasks 적용에서, MemT-1.0은 검색된 Procedural Experience를 Native Memory에 내재화함으로써 SWE-bench Verified에서 평균 작업 성공률을 7.6% 포인트 향상시키고, SWE-bench Multilingual에서는 8.3% 포인트 향상시켰다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Foundation Models에 Persistent Memory를 내재화한 MemT-1.0을 제안하며 Memory-Native Evolution에 중요한 진전을 이루었다. MemT-1.0은 Token-level Stable Memory Updates와 Mixture-of-Storage를 통해 효율적인 정보 저장 및 활용 메커니즘을 제공한다. 제안된 모델은 Parametric Memory Baselines 대비 우수한 Memory Performance를 보였으며, Noise Setting에서도 Backbone의 General Capabilities를 크게 유지했다. 또한, Agentic Tasks에 적용하여 Procedural Experience를 내재화함으로써 작업 성공률과 실행 일관성을 향상시키는 효과를 입증하였다. 이 연구는 LLM이 정보를 지속적으로 학습하고 활용하여 Self-Evolving Agents로 발전할 수 있는 기반을 제공하며, 학계 및 산업계에서 보다 효율적이고 장기적인 상호작용이 가능한 AI 시스템 개발에 중요한 시사점을 제시한다. 향후 연구는 Long-Term Memory 개선, Memory Capacity Scaling, Memory Update 비용 절감, 그리고 Autonomous Experience Acquisition 및 Continual Memory Consolidation에 집중할 예정이다.

Figure 1 — MemT-1.0 메모리 성능

Figure 3 — 추론 효율성 및 저장 오버헤드

Figure 4 — MemT-1.0 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.