[논문리뷰] Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhaochen Yu, Yingcheng Wu, Zhenfei Yin, Kaiyuan Chen, Zhe Zhao, Mengdi Wang, Shuicheng Yan, Ling Yang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Recuris: 긴 호흡의 과제(long-horizon task)에서 에이전트의 성능을 재귀적으로 향상하기 위해 제안된 Experiential–Working Memory 아키텍처입니다.
• Working Memory (WM): 에이전트의 현재 작업 진행 상태, 미해결 목표, 그리고 이를 뒷받침하는 증거를 구조화하여 관리하는 핵심 구성 요소입니다.
• Experiential Memory (EM): 에이전트가 재사용 가능한 스킬(skill)들을 저장하고 관리하는 데이터베이스로, WM의 현재 상태에 따라 적절한 스킬을 추출(retrieve)합니다.
• Structured Evidence: 에이전트의 실행 과정에서 기록된 (WM, EM, action, observation)의 결합 데이터로, 실패 원인을 특정 메모리 구성 요소로 귀인(attribute)하는 진단 근거로 활용됩니다.
• Validation Gate: 제안된 메모리 업데이트가 기존 성능을 저해하지 않도록, 독립적인 개발 데이터셋(development set)에서 검증을 거친 후 최종적으로 메모리에 반영하는 시스템입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 긴 호흡의 에이전트 작업에서 발생하는 재귀적 자기 개선(Recursive Self-Improvement, RSI)의 불투명성과 성능 저하 문제를 해결합니다. 기존의 에이전트 하네스(agent harness)는 전체 대화 기록(interaction history)에 의존하여 메모리를 조회하는데, 이로 인해 시간이 지남에 따라 불필요한 노이즈가 누적되어 현재의 상태와 스킬 활용이 어긋나는 문제가 발생합니다 [Figure 2]. 또한, 기존 연구들은 과제의 성공 여부만을 바탕으로 전체 메모리를 재작성하려 시도하므로, 실패의 근본 원인을 파악하거나 특정 부분만을 정교하게 개선하는 데 한계가 있습니다. 이를 해결하기 위해 저자들은 작업 상태와 경험을 동적으로 결합하고, 실행 실패를 구조화된 증거로 변환하여 메모리를 선택적으로 진화시키는 새로운 하네스 아키텍처를 제안합니다 [Figure 2].

Figure 2 — Recuris의 핵심 개념 비교

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Recuris 프레임워크를 통해 작업 수준(task-level)의 실행 루프와 과제 간(cross-task) 진화 루프를 연결하는 방식을 제안합니다. Recuris는 Working Memory를 통해 작업 진행 상황을 실시간으로 추적하고, 이를 기반으로 Experiential Memory에서 필요한 스킬을 선별적으로 호출(state-grounded skill invocation)합니다 [Figure 3]. 실행 후에는 환경으로부터 얻은 피드백을 바탕으로 Checker Set을 통해 상태 업데이트를 검증하며, 실패 시 Meta-Agent가 실행 기록(structured trace)을 분석하여 메모리의 특정 구성 요소(EM, WM, policy, checker 등)를 타겟팅하여 패치(patch)를 생성합니다 [Figure 3].

Figure 3 — Recuris 전체 아키텍처

실험 결과, Recuris는 10개의 모델과 4개의 긴 호흡 벤치마크 환경에서 일관된 성능 향상을 입증했습니다. 특히 τ2-Bench에서 GPT-5.6 Sol 모델은 기존 대비 +17.8 포인트, Claude Opus 5는 +15.6 포인트의 성능 향상을 기록했습니다. 또한, 상호작용 호흡이 길어질수록 성능 우위가 더욱 두드러져 가장 긴 과제에서 +32.2 포인트의 향상을 보였으며, 장기 과제에서의 흔한 오류들을 최대 80%까지 감소시켰습니다. 이러한 성과는 모델 자체의 가중치 수정 없이 외부 메모리 제어 계층의 진화만으로 달성된 결과라는 점에서 고무적입니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 메모리-제어 계층의 재귀적 진화가 긴 호흡의 에이전트 하네스를 확장하기 위한 핵심 토대임을 입증했습니다. 제안된 Recuris 구조는 고정된 LLM 환경 내에서 메모리의 구조적 업데이트를 가능하게 함으로써, 에이전트가 경험을 축적하고 이를 정교한 스킬로 변환하여 점진적으로 효과적인 행동을 하도록 돕습니다. 본 연구는 향후 복잡한 자율 에이전트 시스템이 스스로의 메모리 구조를 관리하고 성능을 개선하는 효율적인 로드맵을 제시하며, 학계와 산업계의 에이전트 아키텍처 설계에 중요한 기점을 마련했습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.