[논문리뷰] CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Silin Chen, Yuling Shi, Heng Lian, Zihan Zhang, Xiaodong Gu, Haotian Lin, Zhensu Sun

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Cross-Repository Joint Development: 단일 리포지토리를 넘어 상호 의존적인 여러 리포지토리에 걸쳐 수정이 필요한 소프트웨어 엔지니어링 작업.
• Joint Necessity: 여러 리포지토리에 걸친 수정이 필수적인 상황으로, 일부 리포지토리만 수정할 경우 의도된 동작이 보장되지 않는 특성.
• Pass@1: 모델이 주어진 문제(Issue)를 단 한 번의 시도만으로 정확히 해결하여 테스트 스위트를 통과하는 확률적 성능 지표.
• Mini-SWE-agent: 리포지토리 수준의 코드 수정 및 테스트 실행을 지원하는 셸(Shell) 기반의 경량화된 에이전트 프레임워크.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 Coding Agents 벤치마크가 대부분 단일 리포지토리(Single-repository) 내의 문제 해결에 국한되어, 실제 개발 환경에서 발생하는 다중 리포지토리 간의 상호 의존성 문제를 충분히 다루지 못한다는 점을 지적한다. 대규모 프로젝트에서는 API 진화나 종속성 문제로 인해 여러 코드베이스를 동시에 수정해야 하는 경우가 빈번하지만, 현재의 방법론으로는 이러한 복합적인 요구사항을 평가할 수 없다. 저자들은 기존 연구들이 여러 리포지토리를 문맥(Context) 정보로만 활용할 뿐, 실제 공동 수정(Joint modification) 역량을 측정하지 못한다는 한계를 극복하고자 CrossSWE를 제안한다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 171개의 실제 사례를 포함한 CrossSWE 벤치마크를 구축하였으며, 각 작업은 반드시 여러 리포지토리의 수정이 동시에 이루어져야 성공하도록 검증된 'Joint-necessity' 기준을 적용하였다 [Figure 4]. 평가 결과, GPT-6.1 Sol 모델이 58.48%의 Pass@1을 기록하며 가장 우수한 성능을 보였으나, 여전히 높은 난이도를 증명하였다 [Table 1]. 특히, 단일 리포지토리 환경 대비 다중 리포지토리 공동 수정 시 모델의 성공률이 크게 낮아지는 것을 확인하였으며, 이는 에이전트가 리포지토리 경계를 넘어 호환성을 유지해야 하는 추가적인 인지적 부담을 겪음을 의미한다 [Table 2]. 주요 실패 요인 분석 결과, 리포지토리 간 불일치(Cross-repository inconsistency)가 모델 실패 사례의 44.2%를 차지하는 가장 지배적인 원인으로 드러났다 [Figure 7].

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 Coding Agents의 실전 역량을 평가하기 위해 다중 리포지토리 공동 개발을 핵심 벤치마크 지표로 도입하였다. 연구 결과, 현재의 Frontier LLMs조차 다중 코드베이스 간의 복합적인 종속성 유지에 어려움을 겪고 있음이 확인되었다. 이는 향후 대규모 소프트웨어 유지보수 에이전트가 발전하기 위해서는 리포지토리 간의 문맥 이해를 넘어 상호 호환성을 보장하는 고도화된 추론 능력이 필수적임을 시사한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.