[논문리뷰] Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

링크: 논문 PDF로 바로 열기

저자: Zongxia Li, Yucheng Shi, Zhongzhi Li, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Harness: 모델이 환경과 상호작용하는 방식, 즉 Observation 수신, Tool 호출, 진행 상황 추적, 결과 검증, 오류 복구, 종료 시점 결정 등을 정의하는 외부 시스템.
• Recursive Self-Rewrite (RSR): 다양한 Harness에서 얻은 성공적인 경험을 재사용 가능한 모델 역량으로 변환하기 위한 프레임워크로, Planner, Critic, Executor 세 가지 구성요소로 이루어진 재귀적 Trajectory 자기 재작성 과정을 포함한다.
• Runbook: Planner에 의해 성공적인 Trajectory에서 재구성된, Task 해결 절차에 대한 구조화된 설명으로, 핵심 단계, 검증, 복구 전략 등을 담고 있지만 직접적인 정답이나 Harness 고유의 정보는 제외된다.
• Discovery Harnesses: Terminus 2, StateM, Recursive Self-Reflect Terminus (RSRT)와 같이 특정 Task 해결 방식을 지원하여 다양한 성공적인 Solution을 발견하는 데 사용되는 특화된 Harness.
• General Harness: 모델이 최종적으로 추론(Inference) 시에 사용되는 표준화된 Harness로, RSR 프레임워크를 통해 재작성된 Trajectory의 학습 목표가 되는 환경 (예: Terminus 2).

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM Agent의 문제 해결 능력(Capability)이 모델 자체뿐만 아니라 Harness에 크게 의존하며, 다양한 Harness가 동일 모델로 하여금 복잡한 Task를 상보적인 방식으로 해결하도록 돕는다는 점에 주목한다. 그러나 이러한 다양한 Discovery Harness를 통해 수집된 성공적인 Trajectory들을 단순히 결합하여 모델을 Fine-tuning하는 것은 Harness-특정 개입(Interventions), Task-고유 프롬프트, Workflow Logic 등으로 인해 상당한 Distribution Mismatch를 야기한다. 이는 Inference 시 General Harness 환경에서 활용될 수 없는 외부 제어 패턴에 모델이 의존하게 만들 수 있으며, 결과적으로 모델의 Self-Improvement를 저해하는 문제가 발생한다. 따라서, 저자들은 다양한 Harness의 이점을 유지하면서도 General Harness에 적합하도록 성공적인 Trajectory 경험을 효과적으로 변환하여 모델의 재사용 가능한 Capability로 만드는 방법론의 필요성을 제기한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Recursive Self-Rewrite (RSR)라는 프레임워크를 제안하여 Multi-Harness Discovery를 통해 얻은 성공적인 경험을 General Harness 환경에 맞게 Trajectory Rewriting함으로써 모델의 Self-Improvement를 달성한다. 이 방법론은 크게 세 단계로 진행된다. 첫째, Qwen-3.8-27B 모델을 사용하여 Terminus 2, StateM, Recursive Self-Reflect Terminus (RSRT)와 같은 다양한 Discovery Harness 환경에서 약 3K개의 Terminal Task에 대한 성공적인 Solution을 발견하고 Trajectory를 수집한다. 둘째, 수집된 각 성공 Trajectory를 General Harness (Terminus 2)에 적합하도록 재작성한다. 이 과정에서 Planner는 Trajectory를 Runbook으로 재구성하고, Critic은 Verifier 및 Solution Leakage를 걸러내며, Executor는 이 Runbook을 바탕으로 Fresh Sandbox에서 General Harness를 통해 Task를 다시 해결한다. 마지막으로, Trajectory Filtering을 통해 검증되고 Answer Transfer가 없는 Rewritten Trajectory만이 모델 Fine-tuning을 위한 Training Source로 사용된다.

실험 결과, Multi-Harness Discovery는 Qwen-3.8-27B가 해결할 수 있는 Task의 범위를 크게 확장했다. 세 가지 Harness의 조합은 총 759개의 Task를 해결하여, 개별 Harness 중 가장 강력한 Harness 대비 34.3% 더 많은 Task를 해결했다. RSR는 성공적인 Source Trajectory 2,001개를 Fine-tuning을 위한 11,094개의 고품질 Trajectory로 확장했다. RSR로 Fine-tuning된 모델은 Base Model과 Direct SFT 대비 우수한 성능을 보였다. 특히 Terminal-Bench 2 (TB2)에서 pass@3 성능이 Base Model의 57.0%에서 RSR의 74.2%로 향상되었으며, Direct SFT 대비 20.8 percentage points 높은 수치이다. 또한 Terminal-Bench Hard (TBH)에서는 pass@3가 39.0%에서 63.0%로 증가하며 Direct SFT보다 7.0 percentage points 더 높은 성능을 기록했다. Command Similarity 분석 결과, 동일 Runbook으로 생성된 Trajectory 쌍은 Markdown Task에서 Exact Command Overlap이 19.1% 대 12.1%로 Different Runbook 쌍보다 높게 나타나, Runbook이 절차적 지식을 효과적으로 전달함을 입증했다.

4. Conclusion & Impact (결론 및 시사점)

Recursive Self-Rewrite (RSR)는 다양한 Harness를 통해 얻은 모델의 자체 경험을 활용하여 복잡한 Task 해결 능력을 향상시키는 효과적인 프레임워크임을 입증한다. 본 연구는 Discovery Harness가 Inference-time controller 역할뿐만 아니라, 모델이 General-purpose policy를 개선할 수 있는 귀중한 Experience의 원천으로서 기능할 수 있음을 보여준다. RSR가 Harness-특정 실행 규칙이 포함된 Trajectory들을 General Harness와 호환되는 새로운 Verified Trajectory로 재구성함으로써 Distribution Mismatch 문제를 성공적으로 해결했다는 점은 큰 시사점을 갖는다. 이 연구는 Complex Long-Horizon Task의 Self-Improvement를 위한 AI Agent 개발에 중요한 기여를 하며, 대규모 Annotation이나 단일 Harness만으로는 어려운 Task에서 모델의 Robustness와 Autonomy를 증진시킬 잠재력을 제시한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.