[논문리뷰] FC-SWE: Failure-Conditioned RL for Long-Horizon Software Engineering Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Jia Liufu, Bin Hu, Linglin Jing, Terry Kong, Yuki Huang, Ashwath Aithal, Wenming Yang, Jun Yang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• FC-SWE: 실패한 패치와 검증기(Verifier) 피드백을 문맥으로 활용하여 복구(Recovery) 시도를 학습하는 실패 조건부 강화학습 프레임워크입니다.
• GRPO (Group Relative Policy Optimization): Critic 모델 없이 그룹 내 여러 궤적(Trajectory)의 보상을 비교하여 정책을 최적화하는 기법입니다.
• Outcome-Dependent Recovery Chains: 이전 시도의 결과(실패 여부)에 따라 후속 복구 시도의 생성 여부가 결정되는 구조화된 궤적 체인입니다.
• Trajectory-local Verifier Rewards: 각 궤적에 대해 해당 패치의 성공 여부만을 독립적인 보상으로 할당하여 복구 성공이 이전 실패의 보상을 왜곡하지 않도록 하는 설계입니다.
• Active-set Advantage Estimation: 동일한 이슈에 대해 실제로 수행된 모든 초기 및 복구 궤적만을 비교 그룹으로 구성하여 Advantage를 계산하는 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 리포지토리 수준의 SWE 작업에서 에이전트가 실패한 시도의 진단 정보를 효과적으로 활용하지 못하는 문제를 해결하고자 합니다. 기존의 GRPO 기반 학습은 독립적인 시도를 개별적으로 샘플링할 뿐, 실패한 패치로부터 얻은 오류 메시지나 테스트 결과를 후속 복구 시도의 문맥으로 명시적으로 학습하지 않습니다. 결과적으로 에이전트는 반복적인 시도를 수행함에도 불구하고, 실패의 원인을 분석하고 이를 바탕으로 수정하는 능력을 최적화하는 데 한계를 보입니다 [Figure 1]. 이러한 정체된 학습 구조를 개선하여 long-horizon SWE 작업에서의 성공률을 높이는 새로운 강화학습 프레임워크가 요구됩니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 실패 시 리포지토리를 초기 상태로 복구하고, 이전의 실패 패치와 Verifier 피드백을 복구 시도의 컨텍스트로 제공하는 FC-SWE를 제안합니다 [Figure 2]. 이 방법론은 Outcome-Dependent Recovery Chains를 도입하여 실패 시에만 복구 시도를 생성하며, Trajectory-local Verifier Rewards를 통해 개별 시도의 성과를 보존합니다. 또한, 실제로 수행된 궤적들만을 대상으로 비교 그룹을 설정하는 Active-set Advantage Estimation을 적용하여 학습 안정성과 효율성을 확보합니다. 실험 결과, FC-SWE는 500개의 SWE-bench Verified 작업에서 GRPO 대비 Resolved@1은 41.7%(2.9%p 상승), Resolved@2는 52.8%(4.3%p 상승)의 향상된 성능을 기록했습니다 [Table 1]. 특히 학습 시 최대 2회의 시도만 사용했음에도 불구하고, 테스트 시 11회의 시도 예산 내에서 70.7%의 성공률을 달성하며 뛰어난 확장성을 입증했습니다 [Figure 5].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 에이전트가 실패 피드백을 통해 학습하는 FC-SWE 프레임워크를 통해 복잡한 소프트웨어 엔지니어링 문제 해결 능력을 비약적으로 향상시켰습니다. 제안된 Trajectory-local reward와 Active-set advantage estimation은 복구 기반 학습의 난제를 해결하는 핵심 메커니즘으로 자리 잡았습니다. 이 연구는 단순한 결과 기반 학습을 넘어, 에이전트가 오류 분석 및 반복적 수정을 효율적으로 수행하도록 유도함으로써 향후 복잡한 도구 활용(Tool-use) 에이전트 설계에 중요한 이정표를 제시합니다.

---

Part 2: 중요 Figure 정보

Figure 1 — GRPO와 FC-SWE의 궤적 실행 비교

Figure 2 — FC-SWE 엔드투엔드 학습 시스템

Figure 5 — 테스트 시간 스케일링 및 효율성

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.