[논문리뷰] AgentSWE: Can Coding Agents Build the Agent You Actually Want?

링크: 논문 PDF로 바로 열기

The paper "AgentSWE: Can Coding Agents Build the Agent You Actually Want?" introduces a new benchmark to evaluate coding agents' ability to reliably build agents that fulfill natural language requirements. The authors are Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, and Zheng Liu.

## Part 1: 요약 본문

**저자:** Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu


## 1. Key Terms & Definitions (핵심 용어 및 정의)
- **AgentSWE**: 코딩 에이전트가 사용자의 자연어 요구사항에 맞춰 에이전트를 구축하는 능력을 측정하기 위한 새로운 벤치마크로, 에이전트 개발 라이프사이클의 세 가지 주요 단계(Creation, Editing, Optimization)를 포괄합니다.
- **Builder**: 소프트웨어 엔지니어링(요구사항 읽기, 작업 공간 탐색 및 편집, 코드 실행, 다음 시도 결정)을 수행하는 코딩 에이전트를 지칭합니다.
- **Fidelity**: 전달된 에이전트(`a^`)가 보지 못한 케이스(`𝒳q`)에 대해 요구사항(`q`)을 얼마나 충실하게 서비스하는지를 측정하는 지표입니다. 이는 유효성 게이트(`V`)와 요구사항 만족도(`μq`)의 기대값을 통해 정의됩니다.
- **Creation**: 코딩 에이전트가 빈 작업 공간에서 자연어 요구사항에 따라 완전한 에이전트를 구축하는 에이전트 개발 라이프사이클의 첫 번째 단계입니다.
- **Editing**: 기존 운영 에이전트 코드베이스에 새로운 기능을 추가하는 단계로, 기존 기능의 회귀 없이 새로운 역량을 통합하는 것을 목표로 합니다.
- **Optimization**: 작동 중인 에이전트를 측정 가능한 특정 목표(`J`)를 향해 개선하는 단계로, 목표 달성까지 남은 Gap을 얼마나 줄였는지(`γ`)로 평가됩니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)
본 논문은 코딩 에이전트가 자연어 요구사항에 따라 에이전트를 구축할 때, 완성된 에이전트가 실제 사용자 의도에 충실하게 작동하는지에 대한 검증이 부족하다는 핵심 문제를 제기합니다. 기존 벤치마크들은 주로 코딩 에이전트가 작성한 패치나 이미 구축된 에이전트의 성능을 평가하는 데 초점을 맞추었으며, 요구사항에 맞는 에이전트를 실제로 "제공"하는지에 대한 질문은 다루지 않았습니다 [cite: 1, Figure 1]. 이러한 한계점은 에이전트가 눈에 보이는 예시를 통과하더라도 숨겨진 의도를 놓치거나, 도구가 등록되었지만 호출되지 않거나, 장기 목표가 표류하는 등의 미묘한 실패로 이어질 수 있습니다. 따라서 저자들은 코딩 에이전트가 주어진 요구사항을 얼마나 충실하게 이행하는지 측정하는 새로운 접근 방식의 필요성을 강조합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)
저자들은 에이전트 소프트웨어 엔지니어링의 전체 라이프사이클을 측정하기 위해 **AgentSWE** 벤치마크를 제안합니다 [cite: 1, Figure 1]. AgentSWE는 총 25개의 태스크로 구성되며, 이는 **Creation** (10개), **Editing** (10개), **Optimization** (5개) 세 가지 단계로 나뉩니다. 각 태스크는 Builder에게 자연어 요구사항, 초기 Artifact(`a0`), 그리고 소수의 Development Cases(`D`)를 제공하며, 전달된 에이전트는 Builder가 보지 못한 Held-out Cases(`D̄`)에서 평가됩니다 [cite: 1, Figure 2]. 평가 프로토콜은 Harbor 컨테이너 프레임워크 내에서 개발 및 평가를 분리하며 [cite: 1, Figure 3], Creation 및 Editing 태스크는 요구사항 기반의 Result Rubric으로, Optimization 태스크는 원본 벤치마크의 Native Objective를 사용하여 점수를 매깁니다.

실험 결과는 현존하는 코딩 에이전트의 성능이 기대에 미치지 못함을 보여줍니다 [cite: 1, Table 1].
- **Creation** 태스크에서 가장 우수한 Builder인 **DeepSeek-V4-Pro**는 평균 **19.1점**을 기록했으며, 10개 태스크 중 8개에서 20점 미만을 받았습니다. Creation 태스크에서 개발 점수가 90점 이상인 11개 실행은 Held-out Cases에서 평균 **9.9점**을 기록하여, 개발 환경에서의 성능과 실제 Held-out 성능 간의 큰 **Gap**을 드러냈습니다.
- **Editing** 태스크에서는 **DeepSeek-V4-Pro**와 **GPT-5.5**가 평균 **31.6점**으로 가장 높은 점수를 얻었으나, 이는 의뢰된 기능의 일부만을 실현한 수준이었습니다.
- **Optimization** 태스크에서는 어떤 Builder도 목표까지 남은 Gap의 평균 **5%** 이상을 줄이지 못했습니다. 25개의 실행 중 13개만이 Starter보다 높은 점수를 기록했습니다.

이러한 결과는 코딩 에이전트가 **Visible Cases에 Overfitting**되거나, 코드는 완전해 보이지만 실제로는 작동하지 않는 **Hollow Runtimes**를 생성하며, **Unsupported Claims of Completion**을 하는 등 반복적인 Failure Modes를 겪고 있음을 시사합니다.

## 4. Conclusion & Impact (결론 및 시사점)
본 연구는 코딩 에이전트가 사용자의 요구사항을 충족하는 에이전트를 얼마나 충실하게 구축하는지에 대한 중요한 질문에 답변하고자 **AgentSWE** 벤치마크를 도입했습니다. 현재 코딩 에이전트들은 Held-out Cases에서 요구사항을 충족하는 데 어려움을 겪고 있으며, 개발 환경에서 보이는 성능과 실제 배포된 에이전트의 성능 사이에 상당한 **Gap**이 존재함을 확인했습니다. Overfitting to Visible Cases, Hollow Runtimes, Unsupported Claims of Completion과 같은 Failure Modes는 코딩 에이전트가 개선해야 할 명확한 방향을 제시합니다. 이 연구는 Agent Software Engineering 분야에 대한 정량적 평가 기준을 제공하고, 차세대 코딩 에이전트 개발 시 이러한 Failure Modes를 피하기 위한 Harness 및 Training 방법론 개선의 필요성을 강조하는 중요한 시사점을 가집니다.

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.