본문으로 건너뛰기

[논문리뷰] Do LLM Agents Still Need to Be Told How to Self-Improve?

링크: 논문 PDF로 바로 열기

저자: Shobhita Sundaram, Cansu Sancaktar, Phillip Isola (MIT CSAIL, University of Tübingen)

1. Key Terms & Definitions (핵심 용어 및 정의)

  • Self-Organized Self-Improvement: 사람이 정한 학습 loop 없이 진행되는 self-improvement 방식입니다. Frozen LLM agent에게 기본 primitive tool, budget, 그리고 "스스로를 개선하라"는 일반적인 goal만 주면, agent가 context 기반 self-learning 알고리즘을 직접 구성합니다.
  • Teacher-Player Setup: 같은 LLM을 두 instance로 나누는 구조입니다. Teacher는 player의 context(prompt와 skill file 같은 auxiliary text artifact)를 수정합니다. Player는 그 context를 받아 game을 플레이합니다. 하나의 update는 player context file 하나에 대한 edit tool-call 한 번으로 정의됩니다.
  • Gameplay Tool: Teacher가 game source file과 text artifact 경로를 넘기면, 새 player session에서 game을 실행한 뒤 score와 transcript를 돌려주는 tool입니다. 기본 설정에서는 2D grid 기반 DSL인 PuzzleScript를 쓰고, ablation에서는 Python 기반 game을 씁니다.
  • Self-Regulated Learning (SRL): Zimmerman의 cyclical phases model입니다. 학습을 forethought, performance, self-reflection 단계로 나눕니다. 저자들은 이 모델을 13개 subprocess와 0–3 scale로 이루어진 behavioral rubric으로 바꾸고, LLM judge로 teacher의 행동을 채점했습니다.
  • Learnability: Asymmetric self-play와 UED(Unsupervised Environment Design)에서 쓰는 task selection 개념으로, 중간 난이도 task를 우선시합니다. 이 논문에서는 teacher가 observed win rate가 낮거나 중간인 game에 replay 노력을 더 쏟는 inverted-U pattern을 가리킵니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문의 핵심 질문은 이것입니다. 충분히 강력한 LLM agent에게 self-improvement 방법을 사람이 여전히 지정해 줘야 하는가? 기존 self-improvement 방법은 asymmetric self-play, GEPA·ACE 같은 context/harness optimization, Darwin Gödel Machine 등입니다. 이들은 task 생성이나 context 수정의 일부를 모델에게 맡깁니다. 하지만 update schedule, teacher reward, task distribution, evaluation objective 같은 optimization 절차는 여전히 외부에서 정해 줍니다. Asymmetric self-play는 diversity collapse나 performance collapse를 겪을 수 있습니다. 이를 막기 위해 judge나 real-data 같은 장치를 추가하는데, 그만큼 사람이 설계해야 할 선택이 늘어납니다. 저자들은 두 관점에서 이 질문이 중요하다고 봅니다.

  • Capability: 모델에게 처방된 optimization 알고리즘이 더 이상 필요 없을 수 있습니다.
  • Safety: 명시적인 loop가 없다고 해서 self-improvement가 일어나지 않는 것은 아닙니다.

이를 위해 real-world 데이터가 없는(data-free) sandbox를 만들었습니다. 여기서 agent는 game 생성, 실험, 평가를 스스로 설계해야 합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 teacher agent를 Claude Code·Pi 같은 harness의 sandbox에 둡니다. Default system prompt, memory, web search, subagent는 비활성화합니다. Teacher에게는 toolset {Read, Write, Bash, Gameplay}, update budget 20, gameplay budget 150만 줍니다. 할 일은 반복적으로 action을 고르는 것뿐이고, 어떤 순서로 무엇을 할지는 teacher가 정합니다 [Figure 1]. Teacher의 prompt에는 두 가지 goal만 들어 있습니다. 하나는 player 성능 향상(main goal)이고, 다른 하나는 처음 보는 game에서의 generalization입니다. Artifact 구조나 학습 절차는 지정하지 않습니다.

  • 실험 대상: Claude Opus-{4.6, 5}, GPT {5.6-Sol, 6-Astra}, GLM-{4.7, 5.3}, 6개 모델입니다. 모델마다 teacher session을 3회씩 실행했습니다.
  • 평가 benchmark: PuzzleScript-t20, PuzzleScript-t30, ARC-AGI-3 (L1), 3D navigation 환경인 MazeBench입니다. 순서대로 학습 설정과의 거리가 점점 멀어집니다.
  • Self-improvement 정의: $J(c_{final}) - J(c_0) > 0$, 즉 teacher가 최적화한 context를 쓴 성능이 초기 context보다 높으면 self-improvement로 봅니다.

주요 결과:

  • 세대 간 격차: PuzzleScript-t20에서 최신 세대는 default-context baseline보다 성능이 올랐습니다. 상승폭은 Claude Opus-5 +20%, GPT 6-Astra +10%, GLM 5.3 +6%입니다. 구세대 모델은 거의 개선되지 않았습니다 [Figure 4].
  • GEPA와의 비교: Claude Opus-5는 실제 game 없이도 비슷한 성능 향상을 냈습니다. 비교 대상은 game rollout budget을 맞춘 상태에서 실제 in-distribution game 20개로 hill-climbing한 GEPA입니다.
  • Self-improver들의 학습 전략:
    • 같은 game을 artifact 유무로 비교하는 A/B testing을 자주 했습니다.
    • Trivial game(solution length < 5, win rate 100%)을 적게 만들었습니다.
    • Random level generator와 BFS solver로 game을 난이도별로 걸렀습니다.
    • Adversarial game으로 자기 조언을 stress-test했습니다.
    • SRL 13개 subprocess 대부분에서 점수가 높았습니다.
    • Win rate 20–60% 구간 game에 replay를 집중하는 learnability형 task selection을 보였습니다.
  • Cross-environment transfer: PS-t20 설정에서 최적화한 context로 PuzzleScript-t20 +20%, PuzzleScript-t30 +9%, ARC-AGI-L1 +21%, MazeBench SPL +0.15를 얻었습니다 [Figure 9].
  • Toolset ablation:
    • Read-Write만 준 teacher도 baseline을 넘었지만, MazeBench를 제외하면 Gameplay teacher가 얻은 gain의 50% 미만만 회복했습니다.
    • Read-Write-Bash는 Read-Write보다 나았지만 Gameplay 설정의 gain을 다 회복하지는 못했습니다. 그래도 한 session에서는 teacher가 Gameplay tool 없이 직접 game simulator를 작성해 자기 조언을 검증했습니다.
    • Python Gameplay는 4개 중 3개 경우에서 PuzzleScript gain을 거의 전부 회복했습니다.
  • Information과 overfitting의 trade-off:
    • 평가 설정 정보를 더 많이 줄수록 teacher는 관련성 높은 experience를 만들었습니다.
    • 하지만 t20 수준의 turn/token budget을 강제하자 PS-t20 성능은 오르고 PS-t30 transfer는 떨어졌습니다. Task-specific specialization이 생긴 것입니다.
  • Cross-model transfer: Opus 5 player의 win rate는 기본 25.4% → 47.5%(GPT-6 Astra가 만든 artifact 사용)로 올랐습니다. GPT-6 Astra player는 67.1% → 72.1%(Opus 5 artifact 사용)로 올랐습니다.

4. Conclusion & Impact (결론 및 시사점)

결론은 다음과 같습니다. 충분히 강력한 LLM agent는 primitive tool과 budget만 있으면, 외부 데이터 없이 스스로 효과적인 self-learning 절차를 구성할 수 있습니다. 이렇게 배운 text artifact는 game horizon, game engine, 3D representation이 다른 benchmark와 다른 모델로도 transfer됩니다. 핵심 시사점은 이 meta-capability가 모델 세대가 바뀔수록 향상된다는 점입니다. 모델이 강해질수록 사람이 주는 inductive bias가 덜 필요해진다는 deep learning의 흐름이 meta-optimization 층위에서도 나타나는 셈입니다.

  • Safety 측면: Self-organized improvement는 앞으로 발견될 현상이 아니라 이미 관찰되는 capability입니다. 따라서 이를 과학적으로 특성화할 필요가 있습니다.
  • 남은 과제:
    • Update를 계속 반복할수록 효과가 줄어드는 plateau 현상이 있습니다.
    • SRL 전략과 성능 사이의 인과관계는 아직 규명되지 않았습니다.
    • Game보다 prior가 약한 open-ended domain으로 확장될지는 미지수입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글