[논문리뷰] SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

링크: 논문 PDF로 바로 열기

저자: Zhipeng Xu, Jiahao Lu, Yining Zheng, Yuxin Wang, Xipeng Qiu, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• SWE-bench Science: 과학 분야의 소프트웨어 공학 문제를 해결하기 위해 설계된 119개의 Repository-level 태스크로 구성된 벤치마크.
• Task Paradigms: 과학 소프트웨어 유지보수 요구사항에 따라 나뉜 3가지 유형으로, Issue-driven(결함 수정), Expert-exploratory(심층 탐구), Engineering-integration(시스템 통합)으로 분류.
• Pass@1: 각 태스크의 모든 Private test 케이스를 통과해야 성공으로 간주하는 엄격한 평가 지표.
• Chain-of-Evidence Protocol: 태스크 수행 과정에서 정보 유출을 방지하고, 에이전트의 수행 능력을 다각도로 측정하기 위해 설계된 표준화된 태스크 구축 및 평가 프레임워크.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 과학 소프트웨어의 결함이 단순한 프로그램 오류를 넘어 과학적 결론의 신뢰성 자체를 훼손할 수 있다는 문제의식에서 출발합니다. 기존의 코딩 벤치마크들은 주로 일반적인 소프트웨어 엔지니어링이나 단일 함수 합성에 치중되어 있어, 실제 연구 환경에서 발생하는 복잡한 과학적 맥락과 리포지토리 수준의 소프트웨어 공학 문제를 충분히 다루지 못했습니다. 저자들은 기존 모델들이 aggregate task success 지표에만 매몰되어 실패 원인을 분석하지 못하는 한계를 지적하며, 과학 소프트웨어 엔지니어링 분야의 고유한 실패 메커니즘을 규명하고자 합니다. 이를 위해 다양한 도메인의 실제 과학 코드 베이스를 아우르는 포괄적인 테스트베드가 필요함을 역설합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 98개의 서로 다른 GitHub 리포지토리에서 119개의 과학 소프트웨어 엔지니어링 태스크를 선별하여 SWE-bench Science를 구축하고, 8개의 최신 코딩 에이전트 구성을 평가했습니다. 제안된 프레임워크는 단순히 Pass/Fail을 측정하는 것을 넘어, 실패 원인을 Scientific-knowledge or abstraction deficits, Misguided exploration, Incomplete repair coverage, Scientific-knowledge generalization failure 등 4가지 범주로 세분화하여 분석합니다. 실험 결과, 가장 우수한 성능을 보인 Claude-Opus-5 모델조차 Pass@1 성능이 50% 미만인 47.90%에 그쳐 과학 소프트웨어 엔지니어링의 높은 난이도를 증명했습니다 [Figure 1]. 또한, 과학적 보조 정보를 제공한 상태와 그렇지 않은 상태를 비교하는 paired ablation 분석을 수행한 결과, 도메인 지식은 정보의 조직화 및 근거 확인 방식에 따라 성능 향상과 더불어 오정보로 인한 anchoring 효과를 모두 유발할 수 있음을 확인했습니다 [Table 2].

Figure 1 — 다양한 코딩 에이전트 모델의 성능을 Pass@1 지표 기준으로 비교한 핵심 결과 그래프

Table 2 — 에이전트별 공공/개인 테스트 점수, Pass@1 등 핵심 정량적 지표가 요약된 테이블

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 과학 소프트웨어 엔지니어링이 단순히 코드를 수정하는 과정을 넘어, 과학적 추상화, disciplined exploration, 시스템 전체의 통합 및 일반화 능력을 동시에 요구함을 입증했습니다. 도출된 4가지 실패 메커니즘은 향후 코딩 에이전트의 발전 방향에 대한 구체적인 로드맵을 제시합니다. SWE-bench Science는 향후 연구자들이 과학 코드의 신뢰성을 보장하고, 연구 생산성을 높이는 지능형 에이전트를 개발하는 데 있어 중요한 학술적 근거가 될 것으로 기대됩니다.

Table 3 — 4가지 주요 실패 메커니즘별로 에이전트들의 오답 빈도를 분석한 핵심 결과 테이블

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.