[논문리뷰] Can Coding Agents Sustain Continual Evolution without Forgetting?

링크: 논문 PDF로 바로 열기

저자: Shangziqi Zhao, Yitong Zhang, Jia Li

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Harness: Foundation Model, 도구, 그리고 환경 간의 상호작용을 조정하는 제어 시스템으로, 에이전트의 실행 논리, 도구 호출 방식 등을 정의합니다.
• Harness Self-Evolution: 에이전트가 실행 경험(trajectory)을 분석하여 자신의 시스템 프로필이나 실행 로직 등을 자율적으로 개선하는 패러다임입니다.
• Continual Harness Self-Evolution: 단일 작업이 아닌, 서로 다른 유형의 소프트웨어 공학 작업들(task types)에 걸쳐 Harness를 순차적으로 진화시키는 과정입니다.
• Catastrophic Forgetting: 새로운 작업 유형에 적응하는 과정에서 이전에 학습했던 작업에 대한 성능이 급격히 저하되는 현상입니다.
• Verification/Workflow/Budget Strategy Conflicts: Harness 진화 과정에서 발생하는 충돌 유형으로, 각각 검증 논리, 문제 해결 절차, 자원 관리 정책상의 차이로 인해 발생합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 코딩 에이전트가 다양한 소프트웨어 공학 작업을 순차적으로 수행해야 하는 환경에서, Harness Self-Evolution이 이전 작업에 대한 성능을 유지할 수 있는지에 대한 근본적인 의문을 제기합니다. 기존의 연구들은 주로 단일 작업 유형 내에서의 성능 향상에 초점을 맞추어 왔으나, 실제 개발 환경에서는 에이전트가 여러 유형의 작업을 연속적으로 처리해야 할 필요가 있습니다. 저자들은 이러한 Continual Harness Self-Evolution 환경에서 기존의 방법론이 이전 작업의 능력을 상실하는 Catastrophic Forgetting 문제를 겪는지 확인하고자 합니다. 실험 결과, 새로운 작업으로 진화할 때 기존 작업 성능이 크게 하락하는 현상이 확인되었습니다 [Figure 3].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 SWE-Bench, SWT-Bench, FeatureBench 등 3개의 데이터셋을 활용하여 6가지 진화 경로에 대해 AHE 및 Meta-Harness 방법론을 평가합니다. 실험은 각 데이터셋에서 에이전트의 Harness를 진화시킨 후, 다른 데이터셋으로 진화 과정을 이어가는 방식으로 진행되었습니다. 정량적 분석 결과, 대부분의 경로에서 이전에 습득한 능력이 현저하게 저하되는 것으로 나타났습니다. 예를 들어, Meta-Harness를 사용하여 SWE-Bench에서 학습한 에이전트가 FeatureBench로 진화할 경우, SWE-Bench 성능이 약 66% 감소하는 Relative Decrease를 보였습니다. 분석을 통해 확인된 Harness 충돌 유형 중 Verification Conflicts가 전체 Pass-to-Fail 사례의 87.1%를 차지하며 성능 저하의 주된 요인임이 밝혀졌습니다 [Table 1]. 또한, 작업 간 유사도가 낮을수록 Catastrophic Forgetting이 심화되는 경향을 보였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 코딩 에이전트의 지속적인 Harness 자가 진화 과정에서 Catastrophic Forgetting이 피할 수 없는 핵심적인 문제임을 입증합니다. 진화 과정에서 도입되는 검증, 워크플로우, 자원 관리상의 충돌은 에이전트의 실질적인 작업 수행 능력을 심각하게 훼손합니다. 본 연구 결과는 향후 다목적 코딩 에이전트를 설계함에 있어 이전의 경험을 보존하면서 새로운 기술을 학습할 수 있는 Continual Learning 전략 도입의 시급성을 시사합니다. 이는 학계와 산업계가 자율 에이전트의 안정적인 진화를 위해 해결해야 할 중요한 연구 방향을 제시합니다.

Figure 1 — 지속적 Harness 진화 연구 개요

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.