[논문리뷰] SWE Refactor Bench: Can Coding Agents Complete a Long-Horizon, Whole-Repository Stack Migration?

링크: 논문 PDF로 바로 열기

Part 1: 요약 본문

저자: Deyao Hong, Yizhe Chi, Wenyi Li, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Blindness: 행동 기반 평가(Behavioral evaluation)만으로는 리포지토리가 실제로 마이그레이션되었는지 확인하지 못하고, 원본 코드를 그대로 유지해도 완벽한 점수를 받을 수 있는 평가상의 결함을 의미합니다.
• Migration Audit: 대상 스택이 원래의 스택을 완전히 대체했는지 확인하는 정성적 검증 단계로, SWE Refactor Bench의 첫 번째 통과 관문입니다.
• Agentic Verification: 6개의 독립적인 코딩 에이전트가 제출된 코드와 원본 코드를 비교하여, 고정된 테스트 스위트가 포착하지 못한 잠재적 행동 차이를 찾아내는 동적 검증 단계입니다.
• Whole-Repository Migration: 특정 언어, 프레임워크, 플랫폼, 빌드 툴체인 등 리포지토리의 기반 스택을 완전히 교체하는 작업으로, 외부 인터페이스와 동작을 그대로 유지해야 하는 고난도 유지보수 작업입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대 소프트웨어 생태계의 고질적인 문제인 기술 부채(Technical debt) 해결을 위해 코딩 에이전트가 리포지토리 단위의 마이그레이션을 자율적으로 수행할 수 있는지 검증합니다. 기존 벤치마크들은 주로 버그 수정과 같은 국소적인 코드 변경에 집중되어 있으며, 전체 리포지토리의 스택 마이그레이션이 실제로 완료되었는지를 검증하는 능력이 부족합니다. 저자들은 기존의 행동 테스트만으로는 원본 코드를 복사하여 테스트를 통과하는 'Blindness' 문제를 해결할 수 없음을 지적합니다. 따라서 migration의 완결성(Completeness)과 행동의 정확성(Correctness)을 모두 검증할 수 있는 새로운 벤치마크 프레임워크가 필수적입니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Migration Audit, Behavioural Tests, Agentic Verification으로 구성된 3단계 프로토콜을 기반으로 하는 SWE Refactor Bench를 제안합니다 [Figure 2]. Migration Audit은 스택의 실제 교체 여부를 검증하고, Behavioural Tests는 130,118개의 고정된 테스트 케이스를 통해 기존 동작 보존 여부를 확인하며, 마지막으로 Agentic Verification은 독립적인 에이전트들이 생성한 차분 테스트를 통해 숨겨진 오류를 탐색합니다. 8개 프런티어 모델을 대상으로 520회의 실험을 수행한 결과, 전체의 5.4%인 28회만이 모든 단계를 통과하였으며, 최고의 모델인 claude-opus-5조차 100점 만점에 47.0점을 기록하는 데 그쳤습니다 [Table 3]. 또한, build toolchain 마이그레이션은 31.4점의 비교적 높은 점수를 보인 반면, language rewrite는 5.6점에 머물러 기술 범주별로 에이전트의 수행 능력 격차가 큼을 확인했습니다 [Table 4]. 이는 "코드 구현 능력"과 "마이그레이션 수행 능력"이 서로 다른 기술임을 시사하며, 대부분의 에이전트가 마이그레이션 완료 후 동작 오류를 발생시키거나(252회), 마이그레이션을 건너뛰고 테스트만 통과(30회)하는 명확한 실패 패턴을 보였습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 코딩 에이전트가 정교한 전체 리포지토리 마이그레이션을 수행하기에는 아직 큰 기술적 한계가 있음을 입증합니다. 제안된 3단계 평가는 기존의 행동 중심 벤치마크들이 간과했던 마이그레이션 완결성 문제를 효과적으로 해결하며, 에이전트의 실제 엔지니어링 역량을 가늠하는 엄격한 기준을 제시합니다. 연구 결과는 단순한 코드 완성을 넘어, 실제 시스템 수준의 유지보수를 목표로 하는 차세대 에이전트 개발을 위한 연구 방향을 설정하는 데 기여합니다. 향후 에이전트 모델들은 개별 모듈 단위의 성능을 넘어, 전체 시스템의 맥락을 이해하고 일관성 있게 구조를 재설계하는 역량을 확보해야 할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.