[논문리뷰] Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoyu Zhao, Zhengxu Yu, Zhiyuan He, Meng Fang, Rasul Tutunov, Haitham Bou-Ammar, Weilin Luo, Jun Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Code as Model: 자연어 Rulebook과 이를 컴파일한 실행 가능한(executable) 코드를 결합하여 환경의 역학(dynamics)을 모델링하고 계획을 수립하는 프레임워크입니다.
• Rulebook: 에이전트가 환경 내 객체, 동작, 목표, 역학에 대해 가지고 있는 가설을 자연어로 기록한 지속적인 의미론적 메모리입니다.
• Recursive Self-Improvement (RSI): 에이전트가 현재의 능력을 활용하여 추론, 계획 및 학습을 지원하는 컴포넌트를 개선하는 되먹임 루프를 의미합니다.
• Verification: Exact Replay를 통해 제안된 모델이 관측된 모든 전환(transitions)을 올바르게 재현하는지, 그리고 Rulebook과 논리적으로 일치하는지 검증하는 과정입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 제한된 관측치만으로 복잡한 환경의 역학을 추론하고 일반화해야 하는 에이전트의 불확실성 문제를 해결하고자 합니다. 기존 연구들은 환경 역학을 학습할 때 관측된 데이터에는 부합하지만 미지의 상태에서는 서로 다른 예측을 내놓는 여러 World Model 후보가 발생할 수 있다는 한계가 있습니다 [Figure 1]. 이러한 다중 가설 상황에서 에이전트는 올바른 모델을 식별하고 개선하기 위한 체계적인 Recursive Self-Improvement 메커니즘이 필요합니다. 이를 위해 본 연구는 에이전트의 파라미터를 고정한 상태에서 외부 메모리를 통해 세계 모델을 학습하고 검증하는 새로운 프레임워크를 제안합니다.

Figure 1 — Rulebook과 실행 가능한 모델의 관계

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Observation, Reflection, Rule Revision, Compilation, Verification으로 구성된 연속적인 학습 루프를 통해 세계 모델을 개선합니다 [Figure 2]. 에이전트는 LLM을 활용하여 Rulebook을 수정하고, 이를 실행 가능한 코드로 컴파일하며, Exact Replay를 통해 검증된 모델만을 채택합니다. 실험 결과, 제안 모델은 ARC-AGI-3 벤치마크의 2,525개 퍼블릭 게임을 모두 클리어하는 성과를 보였습니다. 특히, 인간의 평균 행동 효율성(RHAE) 대비 100.0을 달성하였으며, 인간이 수행한 행동 대비 44% 수준의 행동 횟수만으로 동일한 목표를 달성하는 뛰어난 효율성을 입증했습니다. 또한 Atari Pong 사례 연구에서는 추가적인 LLM 호출 없이 학습된 모델만으로 3번의 에피소드에서 21:0의 압도적인 승률을 기록했습니다.

Figure 2 — 모델 학습의 연속적 루프 구조

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Code as Model 접근 방식을 통해 LLM의 파라미터를 수정하지 않고도 외부 메모리를 활용한 세계 모델의 재귀적 개선이 가능함을 증명했습니다. 이 연구는 복잡한 환경에서의 에이전트 일반화 능력을 향상시키는 데 기여하며, 특히 해석 가능한 Rulebook과 실행 가능한 코드를 결합하여 AI의 추론 과정에 투명성을 제공합니다. 향후 본 연구는 복잡한 대화형 환경이나 장기 계획이 필요한 자율 에이전트 설계 분야에 중요한 기초가 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.