[논문리뷰] Self-Improvement Memory Enables Continual Recursive Self-Improvement
링크: 논문 PDF로 바로 열기
저자: Xin Yu, Fei Xia, Jiaqi Pan, Youbao Tang, Chengzhi Liu, Adams Yu, Sicong Jiang, Yanfei Chen, Lingzhou Xue, Ting Yu
1. Key Terms & Definitions (핵심 용어 및 정의)
- Harness: 고정된 policy model 주변에서 context, tool, execution flow를 관리하는 실행 가능한 코드입니다. 모델 weight를 업데이트하지 않고 harness만 개선해도 agent 성능이 올라갈 수 있습니다.
- RSI (Recursive Self-Improvement): execution feedback을 바탕으로 LLM 기반 proposer가 harness edit 후보를 만들고, selector가 이를 평가해 선택하는 과정을 반복하는 자동 harness optimization 루프입니다.
- CRSI (Continual Recursive Self-Improvement): benchmark(cross-dataset)나 policy model(cross-model)이 바뀐 뒤에도 같은 executable interface를 유지하면서, 이미 evolve된 harness에서 optimization을 이어가는 setting입니다.
- SIM (Self-Improvement Memory): task-solving policy가 아니라 harness optimizer를 위한 구조화된 memory입니다. 반복되는 harness 문제(root cause)마다 entry를 만들고, 각 edit의 rationale, predicted/observed outcome, provenance(domain, benchmark, policy, round)를 쌓아 둡니다.
- Problem-Only Memory: SIM에서 root cause만 남기고 edit history와 outcome evidence는 뺀 ablation 조건입니다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문이 다루는 문제는 benchmark나 policy model이 바뀌었을 때 evolve된 harness만으로는 harness optimization을 효과적으로 이어가기 어렵다는 점입니다. 기존 harness RSI 연구(Meta-Harness, AHE, RRSI 등)는 대부분 고정된 model과 benchmark 안에서 optimization을 수행했습니다. 그런데 실제로는 model 버전이 바뀌거나(model evolution), 하나의 harness를 여러 model이 공유하거나(multi-model serving), 새로운 task distribution을 만나게 됩니다.
source에서 개선된 harness가 target에서는 오히려 seed보다 낮게 시작하는 경우도 있습니다. text classification에서 source-evolved FewShotAll harness는 target에서 72.92로 출발해 seed의 75.72보다 낮았습니다 [Figure 2]. 원인은 harness 자체에 "왜 이 edit을 했는지, 무엇을 고치려 했는지, 테스트 결과는 어땠는지"가 담겨 있지 않다는 데 있습니다. 이 정보가 없으면 target optimizer는 이전 시도를 반복하거나, 상속받은 component의 목적을 모른 채 바꿔 버릴 수 있습니다.
3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 source RSI 과정에서 얻은 개선 경험을 harness와 함께 넘겨주는 SIM을 제안합니다 [Figure 1].
방법론
- 각 entry는 $m_i = (c_i, [(a_{ij}, o_{ij}, p_{ij})]_j)$ 형태입니다. root-cause hypothesis $c_i$(예: premature completion) 아래에 시도별 modification·rationale, outcome, provenance가 시간순으로 저장됩니다.
- 어떤 task가 고쳐질지에 대한 prediction은 evaluation 전에 기록하고, evaluation 후에 실제 결과와 대조합니다. 선택된 edit이 regression을 일으키더라도 측정된 outcome은 그대로 남깁니다.
- proposer는 매 round마다 system prompt로 SIM 전체를 받고, selector도 같은 기록을 참고합니다. retrieval이나 truncation은 없습니다.
- 이 기록을 바탕으로 optimizer는 상속받은 modification을 retain / revise / replace / remove 중 무엇으로 처리할지 판단합니다.
- 비교 조건은 네 가지입니다.
- Cold Start: seed harness, SIM 없음
- Harness Transfer: evolve된 harness만 넘김
- Problem-Only Memory: evolve된 harness + root cause만 담은 SIM
- Full SIM: evolve된 harness + 전체 SIM
- 실험 domain은 Coding(TB2.1→TB4), Text classification, Agentic workspace, Engineering design 네 가지입니다. 모든 run은 N=10 round, round당 k=5 후보로 budget을 맞췄습니다.
핵심 결과
- Cross-dataset: Full SIM이 6개 setting 모두에서 최종 점수 1위였습니다. Harness Transfer보다 2.43–4.35점, Problem-Only Memory보다 0.20–6.06점 높았습니다 [Figure 2]. FewShotAll의 경우 Full SIM은 77.92에 도달했고, Harness Transfer(74.12)와 Cold Start(75.92)보다 높았습니다.
- Problem-Only Memory의 효과는 Harness Transfer 대비 -1.82점에서 +2.40점까지 엇갈렸습니다. 따라서 진단(root cause)만으로는 부족하고, edit history와 evaluation evidence가 함께 있어야 효과가 난다는 것이 저자들의 해석입니다.
- Cross-model (Opus 5.5 → Gemini 3.8 Flash): Opus로 evolve한 harness는 모든 domain에서 Gemini의 seed보다 낮게 출발했습니다. 그럼에도 Full SIM은 4개 domain 모두에서 1위였고, Harness Transfer보다 3.60–11.33점 높았습니다. workspace에서는 같은 68.41에서 출발해 Full SIM이 84.75, Harness Transfer가 73.42로 끝났습니다.
- Model generation chain: Gemini 세대를 거치며 harness와 SIM을 이어받는 CRSI는 매 세대 새로 최적화하는 Fresh RSI보다 Gemini 3.5 Flash에서 +3.5점, Gemini 3.8 Flash에서 +1.6점 높았습니다. Gemini 4 Argon에서는 0.8점 낮았습니다.
- Paired coding study: 독립적인 Terminus-2 source run 10개에서 각각 SIM 유무만 다르게 continuation을 돌렸습니다 [Figure 4].
- SIM이 10쌍 중 9쌍에서 더 높았습니다.
- 평균 최종 점수는 SIM 21.70, No SIM 19.33으로, 평균 차이는 +2.36점입니다(95% CI [1.05, 3.68], paired t(9)=4.06, p=0.003, effect size d_z=1.28).
- Full SIM은 strongest control의 최종 점수(20.61)를 AHE seed에서는 round 5, Terminus-2 seed에서는 round 2에 이미 넘었습니다.
- source 성능 유지도 더 좋았습니다. held-out TB2.1에서 잃은 성공 rollout 수(225개 중)는 Full SIM 3개, Problem-Only Memory 4개, Harness Transfer 6개였습니다.
- Case study: SIM이 있는 run은 상속받은 completion gate의 rationale을 참고해 completion 검증은 유지하고, target에 필요한 feasibility vs. optimality 검사를 추가했습니다. SIM이 없는 run은 gate를 더 엄격하게 만든 뒤 completion deadlock을 두 번 수리했고, 상속받은 gate를 자기 첫 round의 산물로 잘못 인식했습니다.
4. Conclusion & Impact (결론 및 시사점)
이 논문의 결론은 harness optimizer에 "개선 과정의 memory"를 붙이면 benchmark나 policy model이 바뀐 뒤의 continual harness optimization이 일관되게 좋아진다는 것입니다. Full SIM은 matched starting harness 조건에서 6개 cross-dataset setting과 4개 Opus→Gemini domain 모두에서 harness-only continuation보다 높은 점수를 냈습니다. 독립 반복 실험에서도 평균 2.36점의 통계적으로 유의한 이득을 보였습니다.
시사점은 다음과 같습니다.
- memory를 task-solving agent가 아니라 optimizer 수준에 두는 새로운 관점을 제시합니다.
- model release 주기가 짧은 산업 환경에서 harness를 처음부터 다시 최적화하지 않고 기존 경험을 재사용할 수 있는 실용적 방향을 보여 줍니다.
한계도 분명합니다.
- 독립 반복 실험은 coding domain에서만 수행되었고, 나머지 domain은 조건당 run이 1개뿐입니다.
- harness interface가 호환되는 setting만 다뤘습니다.
- optimizer의 planning과 search 절차는 고정된 상태로 실험했습니다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] RRSI: Regularized Recursive Self-Improvement of Agent Harnesses
- [논문리뷰] Self-Evolving Agent Harness
- [논문리뷰] Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses
- [논문리뷰] Harness^2: Recursive Agent Harnessing for an Open World
- [논문리뷰] Recursive self-improvement of AI research agents
Review 의 다른글
- 이전글 [논문리뷰] ResWAM: Learning What Changes, Not What Stays, for World-Action Models
- 현재글 : [논문리뷰] Self-Improvement Memory Enables Continual Recursive Self-Improvement
- 다음글 [논문리뷰] TCP4D: A Unified Tool-Center-Point Tracking and Generation Model for Robot Manipulation
댓글