본문으로 건너뛰기

[논문리뷰] From Repositories to Training Environments: Scaling Long-Horizon Coding Agents with Environment Evolution Loop

링크: 논문 PDF로 바로 열기

저자: Yang Tian, Tianyu Zheng, Xiyuan Yang, Yaxin Du, Chengran Yang, Bo Zhao, Jian Yang, Bryan Dai

1. Key Terms & Definitions (핵심 용어 및 정의)

  • RepoFactory: 실제 GitHub류 repository를 verifiable training environment로 자동 변환하는 pipeline입니다. 각 environment에서 agent는 language specification만 보고 전체 프로젝트를 from scratch로 구현해야 합니다. 하나의 environment는 specification(I), isolated workspace/runtime(W), verifier(V), oracle implementation(O)으로 구성되며 e = (I, W, V, O)로 정의됩니다.
  • Environment Evolution Loop: Construction agent가 oracle implementation, task specification, test를 함께 수정하는 반복 loop입니다. 목표는 objective Q를 최대화하는 것이고 최대 12 rounds까지 실행됩니다. Solver rollout이나 downstream training 없이 verifier 실행과 code analysis 결과만 feedback으로 씁니다.
  • Multiplicative Objective (Q = A · C · S): Validity(A), Structural Coupling(C), Implementation Scope(S)를 곱한 environment 품질 지표입니다.
    • A: oracle의 reward가 1이고 수정하지 않은 initial workspace의 reward가 0이면 1, 그 외에는 0인 binary 지표입니다.
  • Structural Coupling (C): Normalized propagation cost로, C = R/N²로 계산합니다. N은 function 개수, R은 static internal call graph에서 도달 가능한 ordered function pair 수(self-pair 포함)입니다. Component 간 상호의존성을 나타냅니다.
  • Implementation Scope (S): Code size와 dependency breadth를 함께 반영한 지표로, S = log₁₀(LOC) + log₁₀(1+D) − 2로 계산합니다. D는 direct runtime dependency 수입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문의 핵심 질문은 long-horizon coding agent 학습용 repository-level environment를 만들 때, timely하고 low-cost인 proxy signal만으로 training value를 높이면서 대규모로 합성할 수 있느냐입니다. 저자들은 기존 접근의 한계를 세 가지로 정리합니다.

  • 경직된 linear pipeline: DeNovoSWE, MindForge는 reference implementation을 고정한 채 문서 정제나 build 오류 수정만 수행합니다. 조건에 맞지 않는 repository는 수정하면 쓸 수 있는 경우에도 폐기되므로, 사용할 수 있는 repository pool이 제한됩니다.
  • Reliability에만 치우친 feedback: ProgramGym 등은 execution diagnostics와 coverage로 build를 고치고 test를 보강합니다. 하지만 구현 작업량이 적거나 component 간 조율이 거의 필요 없는 task의 training value는 명시적으로 최적화하지 않습니다.
  • 높은 model execution feedback 비용: BenchEvolver, SETA는 task를 수정하려면 model rollout이 필요하고, DataMaster는 아예 model training과 downstream evaluation을 거칩니다. Long-horizon task에서는 rollout 하나가 대규모 구현을 수반하므로 비용과 feedback 지연이 크게 늘어납니다.

결국 environment의 신뢰성과 학습 가치를 rollout 없이 함께 끌어올리는 새로운 feedback 설계가 필요하다는 것이 저자들의 문제의식입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

RepoFactory는 repository 수집부터 environment 생성, 진화까지 다음 순서로 진행됩니다. 모든 construction agent는 Qwen3.8-Max를 사용합니다.

  1. Repository Search & Filtering: 다음 조건을 만족하는 Python repository만 남깁니다.
    • 기존 benchmark에 포함된 repository는 제외합니다.
    • package metadata와 비어 있지 않은 local test suite가 있어야 합니다.
    • 구현 파일이 5개 이상이고 Python code가 40,000 LOC 미만이어야 합니다.
    • 외부 service, 네트워크, GUI, 특수 hardware가 필요하면 제외합니다.
  2. Runtime Construction: Docker image를 빌드합니다. Network가 차단된 새 container에서 모든 test가 통과한 repository만 유지합니다.
  3. Repository Analysis: AST 기반 scanner로 public class, function, method의 signature, exception, return 정보를 추출합니다. Test가 import하는 symbol도 함께 기록합니다.
  4. Task Synthesis: Synthesis agent가 specification과 API manifest를 작성합니다. 원래 test가 import하는 symbol과 맞는지 검사하고, 누락된 symbol이 있으면 다시 수정하게 합니다.
  5. Environment Evolution Loop:
    • 먼저 validity(A)를 복구합니다.
    • 이후 S와 C를 각각 threshold 0.5, 0.01과 비교해 threshold에 못 미치는 항목부터 우선 최적화합니다.
    • 선택한 score가 strictly increase하지 않으면 이전 버전으로 rollback합니다.

데이터 규모

  • 최종적으로 17개 software domain에 걸친 10,159개 environment가 만들어졌습니다.
  • Oracle의 median 규모는 4.2k LOC, 26 source files입니다. Verifier에는 총 2.09M개의 test definition이 들어 있습니다.
  • Qwen3.8-Max로 environment당 5회 rollout한 뒤 filtering하여 10,947개 SFT sample(5,577개 environment)을 얻었습니다. Median trajectory 길이는 64 assistant turns입니다.
  • Scope(S)가 가장 작은 group의 teacher success rate는 23.0%, 가장 큰 group은 13.4%로 떨어집니다. 저자들은 이를 S가 task 난이도의 proxy로 타당하다는 근거로 제시합니다.

주요 정량 결과

  • Main results: Qwen3.5-35B-A3B를 학습한 RepoHorizen-35B-A3B의 성능은 다음과 같습니다.
    • NL2Repo: 23.8 → 46.4 (+22.6)
    • SWE-bench Verified: +6.4
    • SWE-bench Pro: +5.2
    • SWE-bench Multilingual: +1.3
    • Terminal-Bench 2.1: +6.8
    • 5개 benchmark 평균: +8.5
  • 경쟁 모델 대비: NL2Repo 46.4는 GPT-5.5(45.1), Gemini-3.1 Pro(33.4), DeepSeek-V4-Pro(38.5), MiniMax-M3(42.1)보다 높습니다. 200B 미만 open-weight model 중에서는 최고 성능입니다.
  • Environment evolution 효과: Evolution 없이 학습한 variant(NL2Repo +17.5, 평균 +6.4)보다 NL2Repo에서 +5.1, 평균에서 +2.1을 더 얻었습니다.
  • Data source 비교: Teacher를 동일하게 두고 동일한 Claude Code harness로 평가했을 때, RepoFactory는 OpenSWE, R2E, ScaleSWE, SWE-smith, SWE-rebench, SWE-rebench-v2 6개 open dataset 모두를 5개 benchmark 전부에서 앞섰습니다. 각 baseline은 약 11,000개 trajectory로 학습했습니다. NL2Repo에서는 최강 baseline인 OpenSWE(25.2)보다 21.2pt 높습니다.
  • Scaling:
    • Environment 수를 늘리면 NL2Repo 성능이 23.8% → 46.4%로 꾸준히 오르며, 측정한 최대 규모까지 saturation 징후가 없습니다. 특히 3,000개에서 5,577개로 늘리는 구간에서 36.5% → 46.4%로 크게 상승합니다.
    • 모델 크기별로는 9B, 27B, 35B-A3B 모두에서 12.2~22.6pt의 gain이 나타났습니다.
  • Ablation:
    • Repair 효과: 500개 repository에서 repair를 허용하면 valid environment 수가 169 → 347로 늘어 yield가 33.8% → 69.4%로 올라갑니다.
    • S 최적화: Level 1에서 Level 4로 갈수록 NL2Repo가 30.2% → 32.9%로 오릅니다.
    • C 최적화: Level 4에서 32.5%에 도달합니다. Interaction 길이는 오히려 줄었기 때문에, 이 개선은 더 긴 trajectory나 추가 supervision에 의존하지 않습니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 rollout이 필요 없는 low-cost proxy objective(Q = A·C·S)가 repository-level environment의 yield와 training value를 동시에 높일 수 있음을 보였습니다.

  • 결론: RepoFactory로 만든 10,159개 environment만으로 35B-A3B MoE model이 NL2Repo에서 GPT-5.5급 성능에 도달했습니다. Evolution loop는 버려질 candidate를 복구하고, 남은 task의 학습 가치도 높였습니다.
  • 학계 측면의 시사점: 비싼 solver rollout 대신 static code metric(call graph 기반 coupling, LOC·dependency 기반 scope)을 environment 최적화 신호로 쓸 수 있다는 실용적 방향을 제시합니다.
  • 산업계 측면의 시사점: 단기 bug-fix 중심의 SWE 데이터를 넘어, 전체 repository를 처음부터 구성하는 long-horizon 학습 데이터가 issue resolution과 terminal task로까지 transfer된다는 점이 중요합니다.
  • 한계: 현재 Python project에만 집중되어 있습니다. 또한 proxy metric은 task 내용을 넓은 structural level에서만 특성화하며, 각 task가 요구하는 개별 capability를 구분하지 못합니다.

참고: 가져온 페이지에는 Figure 1–6의 <img> 이미지 경로가 들어 있지 않았고, 확인되지 않은 URL을 만들어 넣을 수는 없었습니다. 그래서 Figure를 선별하지 않았고 본문에서도 Figure/Table 번호를 참조하지 않았습니다. 주요 수치는 HTML 표인 Table 1·2와 본문 텍스트를 바탕으로 정리했습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글