[논문리뷰] SWE-Trail: History-Guided Trajectory Collection for Coding Agent Training

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ziming Li, Lu Yu, Jiatan Huang, Qing Cui, Jun Zhou, Chuxu Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Trajectory: Coding agent가 repository issue를 해결하는 과정에서 수행한 exploration, edit, validation 등의 일련의 상호작용 기록.
• History: 특정 issue에 대해 이전에 수집된 coding agent의 시도(attempts)들.
• Allocation Signals: 이전 trajectory들의 성공/실패 패턴을 분석하여, 추가적인 수집 노력이 필요한 결정 지점을 식별하는 정보.
• Detector: Compiler가 생성한 규칙 집합으로, 런타임 중에 agent의 상태가 추가적인 수집 작업이 필요한 지점인지 판단하는 컴포넌트.
• Executed Evidence: 특정 후보 행동(candidate action)을 짧은 horizon 동안 실행했을 때 얻어지는 결과로, 최적의 경로를 선택하는 근거.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 coding agent 학습을 위한 데이터 수집 과정에서 발생하는 독립적 샘플링(independent sampling)의 중복성 문제와 train-test 불일치 문제를 해결하고자 한다 [Figure 1]. 기존 연구들은 여러 trajectory를 독립적으로 생성한 뒤 선택하는 방식을 취하지만, 이는 후속 시도가 이전 시도들과 유사한 경로를 반복하게 만들어 데이터 효율성을 저해한다. 또한, 이전의 성공/실패 기록(history)을 agent에게 조언(advice)으로 직접 제공하는 방식은 test 시점에 조언을 사용할 수 없는 상황에서 train-test mismatch를 유발하여 downstream 성능을 떨어뜨릴 수 있다. 따라서 저자들은 history를 agent의 컨텍스트에 직접 노출하지 않으면서도, 효율적인 데이터 수집을 유도할 수 있는 새로운 메커니즘을 제안한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 SWE-Trail이라는 새로운 trajectory collector를 제안하며, 이는 history를 활용해 수집 효율을 최적화하는 2단계 과정을 거친다 [Figure 2]. 먼저 오프라인 컴파일러가 history를 분석하여 detector와 comparison objective를 생성하고, 온라인에서는 agent가 해당 detector에 도달하면 후보 행동을 생성한다. 이후 SWE-Trail은 짧은 실행을 통해 얻은 증거(executed evidence)를 바탕으로 더 나은 경로를 자동으로 선택하여 최종 trajectory를 완성한다. 실험 결과, 124B 규모의 Ling-3.0-flash-base 모델을 사용하여 학습했을 때, SWE-Trail은 독립적 샘플링(SeedBank) 대비 SWE-bench Multilingual에서 2.33%p, SWE-bench Pro에서 1.60%p의 mean resolution 향상을 달성하였다 [Table 1]. 또한, 단순히 수집된 trajectory의 수나 성공률을 높이는 것보다, history를 통한 가이드가 student 모델의 학습 성능에 유의미한 질적 차이를 만들어냄을 확인하였다. 추가적으로, Qwen3-14B-Base 모델을 사용한 경우에도 각각 3.11%p 및 2.42%p의 성능 향상을 기록하며 방법론의 일반성을 입증하였다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 coding agent의 학습 데이터를 수집할 때 history를 직접적인 조언이 아닌 수집 가이드라인으로 활용하는 것이 downstream 성능을 극대화하는 핵심임을 입증하였다. SWE-Trail은 agent의 일반적인 컨텍스트를 유지하면서도 불필요한 중복 노력을 줄이고, 탐색이 필요한 지점에서 효과적인 결정을 내리도록 유도한다. 이 연구는 강화학습 및 지도학습 기반의 코드 생성 agent 모델에서 데이터 큐레이션이 성능에 미치는 중요성을 재확인시켜 주었으며, 향후 대규모 코드 리포지토리 해결 agent 개발에 있어 실용적인 가이드라인을 제공한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.