[논문리뷰] MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use

링크: 논문 PDF로 바로 열기

메타데이터

저자: Mengru Wang, Haozhe Luo, Zhenqian Xu, Zhixiang Cui, Haoming Xu, Qu Yang, Jizhan Fang, Junfeng Fang, Ningyu Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Memory-induced Cognitive Traps: 검색된 메모리가 모델의 추론 방식이나 신념을 왜곡하여 현재 작업의 성능을 저하시키는 현상을 의미합니다.
• Reasoning Fixation: 과거의 성공적인 전략이나 경험에 고착되어 새로운 상황에서 적절한 추론을 하지 못하게 되는 현상으로, Cognitive Bias, Trauma, Task Boundary 등을 포함합니다.
• Belief Distortion: 과거의 상호작용 기록에 포함된 반사실적(counterfactual)이거나 편향된 전제가 모델의 안전성 판단을 왜곡하는 현상을 지칭합니다.
• AdaptiveMem: 검색된 메모리의 사용 방식을 LLM이 적응적으로 결정하도록 유도하여 Cognitive Traps를 회피하는 효과적인 inference-time prompt 전략입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM의 메모리 활용 과정에서 발생하는 Cognitive Traps가 모델의 추론 및 성능을 왜곡하는 문제를 제기합니다 [Figure 1]. 기존의 메모리 관련 연구들은 주로 메모리의 추출, 저장, 업데이트 및 검색 등 관리 효율성에 집중해 왔으나, 검색된 메모리가 실제 모델의 추론 과정에 미치는 부정적인 영향에 대해서는 간과하고 있습니다. 저자들은 semantically relevant한 메모리라 할지라도 과거의 경험이나 전략에 고착(fixation)되어 모델이 더 나은 해결책을 도출하지 못하게 만드는 심각한 오류가 있음을 지적합니다. 이를 평가하기 위해 제안된 MemTrapBench는 기존 메모리 프레임워크가 가진 이러한 취약점을 체계적으로 분석합니다 [Figure 2].

Figure 1 — 메모리로 인한 추론 고착화 예시

Figure 2 — MemTrapBench 구성 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Reasoning Fixation과 Belief Distortion을 평가하기 위해 1,050개의 인스턴스로 구성된 MemTrapBench를 구축하고, 이를 해결하기 위한 AdaptiveMem 방법론을 제안합니다. AdaptiveMem은 별도의 파라미터 수정 없이 기존 메모리 프레임워크와 결합할 수 있는 prompt-based skill로, 모델 스스로 메모리 사용의 타당성을 평가하도록 합니다. 실험 결과, Gemini-3-Flash-Preview 및 Qwen3-30B-A3B-Instruct-2507을 포함한 모든 평가 모델에서 기존 메모리 프레임워크 활용 시 성능 저하가 관찰되었으며, 가장 강력한 방법론조차 no-memory 설정 대비 10% 이상의 성능 하락을 보였습니다 [Table 1]. 특히, AdaptiveMem은 MemTrapBench에서 LightMem 대비 최대 14.9%p의 성능 향상을 이끌어내는 동시에, 기존 메모리 벤치마크인 LongMemEval에서도 안정적인 성능을 유지하거나 개선하는 결과를 입증했습니다 [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM의 메모리 활용이 항상 성능 향상으로 이어지지 않으며, 오히려 인지적 왜곡을 유발하는 Cognitive Traps를 초래할 수 있음을 규명했습니다. MemTrapBench는 이러한 메모리 활용의 부작용을 진단하는 표준화된 도구로서 중요한 역할을 하며, 제안된 AdaptiveMem은 프레임워크 수정 없이 범용적으로 사용 가능한 해결책을 제시합니다. 본 연구는 학계와 산업계가 LLM 메모리 시스템을 더욱 신뢰성 있게 구축하고, 메모리 유해성을 완화하는 방향으로 나아가는 데 중요한 기술적 토대를 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.