[논문리뷰] FDE-Gym: The Last Mile of AI Delivery

링크: 논문 PDF로 바로 열기

The content seems to be an HTML page of the paper. I can extract all the necessary information from it.

**Metadata Extraction:**
- **Authors:** Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, Congming Gao, Tianyang Jiang, Yixiao Chen, Qing Wang, Zhiguo Yu, Xiaqing Li, Yuhao Zhang, Jiawen Sun, Renzhe Xu, De Mi, Tiancheng Wu, Xianya Fu, Xuanlu Zhao, Bo Feng, Meixuan Ren, Guanming Lin, Ziheng Zhou, Xinhua Wang
- **Keywords:** I'll derive these from the abstract and introduction. Potential keywords: `AI Agent`, `Benchmark`, `Customer Delivery`, `FDE-Gym`, `Unstated Constraints`, `Business Metric`, `Stakeholder Interaction`, `Task Instruction Levels`. I need 5-8, so these look good.

**Figure/Table Selection:**
- Figure 1: Construction of FDE-Gym. (Architecture/Framework) - Yes, important for understanding the benchmark construction.
  - image_url: `https://arxiv.org/html/2610.22350v1/x1.png`
  - caption_kr: "FDE-Gym 구성"
- Figure 2: Model performance across task instruction levels. (Key Results) - Yes, shows performance comparison.
  - image_url: `https://arxiv.org/html/2610.22350v1/x2.png`
  - caption_kr: "모델 성능 비교"
- Figure 3: Components of an FDE-Gym task. (Methodology explanation) - Yes, explains task anatomy.
  - image_url: `https://arxiv.org/html/2610.22350v1/x3.png`
  - caption_kr: "FDE-Gym 과업 구성"
- Table 3: Main results. (Key quantitative results) - Also very important, but I need to pick max 3 figures. Since Figure 2 already visually represents performance across levels, and Table 3 is text-based results, I'll prioritize visual figures. I'll make sure to reference quantitative results from Table 3 in the text.
- Figure 5: (a) Share of key stakeholder facts obtained against normalized business uplift, at L3. (b) Mean model usage cost per run against score at L3. (Results) - Could be useful, but Figure 2 and 3 seem more fundamental.
- Figure 6: Distribution of each model's 95 tasks at L3 by score band. (Results) - Similar to Figure 2, but more detailed distribution.
- Figure 7: Mean score at L3 on each scenario, for each model. (Results breakdown) - Important, but limited to 3.

I'll stick with Figure 1, Figure 2, and Figure 3 for the JSON part, as they cover the construction, main results overview, and task anatomy. I will integrate the quantitative results from Table 3 into the text.

Now, I will proceed with drafting the summary according to the specified structure and constraints.

**Part 1: Summary Body (Markdown)**

**저자:** Dongxu Yang, Hongda Yan, Renxin Wang, et al.


## 1. Key Terms & Definitions (핵심 용어 및 정의)

- **FDE-Gym**: 실세계 고객 Delivery 환경에서 AI Agent의 End-to-End Performance를 평가하기 위해 고안된 Benchmark. 18개 Sector에 걸쳐 20개의 Customer Scenario와 95개의 Delivery Task로 구성된다.
- **Forward-Deployed Engineer (FDE)**: 고객 조직 내부에서 Vendor가 파견한 Engineer 역할로, 고객의 Stated Requirement를 넘어서 실제 Business Outcome을 개선하는 데 필요한 Problem을 식별하고 Solution을 Delivery하는 역할을 수행한다.
- **Task Instruction Levels**: Agent가 Stated Requirement, Underlying Problem, Constraint 정보를 얼마나 제공받는지에 따라 L0 (Fully Specified)부터 L3 (Sponsor's Original Request)까지 4단계로 나눈 Task 난이도.
- **Normalized Business Uplift (U)**: Delivered System이 Customer의 Business Metric을 개선한 정도를 Baseline(0)과 Expert Reference Solution(1) 사이에서 정규화한 지표.
- **FDE-Gym Score (S)**: Normalized Business Uplift에서 Stakeholder Contact Cost를 차감하여 계산되는 최종 Performance Metric.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존 AI Agent Benchmark들은 일반적으로 Issue Report나 Specification 등 잘 정의된 Task에 대해 Agent를 평가하지만, 실제 고객 Delivery 환경은 모호한 요구사항 Clarification, Live System 작업, Unstated Constraint 발견 등 근본적으로 다른 Challenge를 수반한다. 이러한 Gap을 해결하기 위해 본 논문은 End-to-End Delivery Task Benchmark인 **FDE-Gym**을 제안한다. 기존 Benchmark들은 Problem이 이미 잘 정의되어 있다고 가정하며, Software-engineering, Deployment, Enterprise, Clarification Benchmark들은 Delivery의 개별 측면만을 다룬다. 예를 들어, Stated Requirement만 충족하는 Solution은 Customer의 Business Metric을 전혀 개선하지 못할 수 있으며, 실제로는 Project Scope 밖으로 명시된 Down-time Coding System과 같은 Unstated Constraint를 해결해야 할 수 있다. 본 연구는 이러한 Real-world Customer Delivery의 "Last Mile" 문제에 초점을 맞춰, Agent가 단순히 Task를 완료하는 것을 넘어 고객의 실질적인 Business Outcome을 Measurable하게 개선할 수 있는지를 평가하는 Benchmark가 필요함을 강조한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 실제 Delivery Project로부터 전문가가 각색한 20개의 Customer Scenario와 95개의 Task로 구성된 **FDE-Gym**을 개발했다 [Figure 1]. 각 Task는 Scripted Stakeholder와 Modifiable Customer System을 갖춘 Simulated Customer Environment에서 Agent가 Stakeholder와 상호작용하고 Production-like System에서 작동하여 Working Solution을 Delivery하도록 요구한다 [Figure 3]. <strong>FDE-Gym Score (S)</strong>는 Delivered System이 고객의 Business Metric을 얼마나 개선하는지(Normalized Business Uplift)를 측정하고, Stakeholder Interaction에 대한 Cost(Stakeholder Contact Cost)를 차감하여 계산된다. Unchanged System은 **0점**, Expert Reference Solution은 **1점**으로 정규화되며, Stakeholder Contact Cost는 과도하거나 부주의한 상호작용을 방지하기 위해 Penalty로 적용된다.

실험 결과, 13가지 Model Configuration에 대한 평가에서 가장 우수한 Model인 **Claude Opus 5.5**는 Realistic Setting (L3)에서 평균 **0.56**의 FDE-Gym Score를 달성했으며, 95개의 Task 중 **14개**만을 해결(Score 0.8 이상, No Incident)했다 [Figure 2, cite: 1]. 이는 Reference Solution에 비해 현저히 낮은 수준임을 보여준다. **Unstated Constraints** 발견이 주요 Bottleneck으로 작용하는데, Constraint 정보가 명시적으로 제공되지 않을 경우, Leading Model들의 Score가 **0.73-0.82**에서 **0.39-0.62**로 급격히 하락했다. 또한, 필요한 Key Fact를 Stakeholder로부터 모두 얻더라도 Effective Delivery를 보장하지는 못했으며, Leading Model들이 Key Fact의 <strong>72-85%</strong>를 얻었음에도 불구하고 Normalized Business Uplift는 **0.60-0.70**에 불과했다 [Figure 5a, cite: 1]. Stakeholder Contact Cost는 최종 Score를 추가적으로 **0.14-0.22** 감소시켰다. 흥미롭게도, Sponsor의 요청이 Misdirected된 경우 Leading Model들은 Performance Loss가 거의 없었으며, 이는 Full Engagement 내에서 주변 Documents, Data, Stakeholder를 통해 실제 Problem을 발견하는 능력 때문으로 해석된다. 반면, Weak Model들은 Do-Nothing Baseline보다 낮은 Score를 기록하는 경우가 많아, 아무것도 Delivery하지 않는 것이 더 나은 결과였을 것이다. 예를 들어, **Claude Haiku 4.5**는 95개 Task 중 **79개**에서 Do-Nothing Baseline보다 낮은 Score를 기록했다.

## 4. Conclusion & Impact (결론 및 시사점)

본 연구는 AI Agent의 Delivery Performance를 고객의 Business Improvement 관점에서 Measurable하게 평가하는 새로운 Benchmark인 **FDE-Gym**을 제안한다. 이 Benchmark를 통해 AI Delivery의 "Last Mile"이 여전히 길다는 것을 확인했으며, 현재 최신 Model들도 Real-world Customer Scenario에서 Reference Solution에 크게 미치지 못한다. 주요 Gap은 Unstated Constraint 발견 및 Effective System 구현, 그리고 Stakeholder Contact Cost 관리에서 발생하며, Sponsor의 Misdirected Request 자체는 Leading Model의 Performance에 큰 영향을 미치지 않았다. 이 연구는 AI Agent가 실질적인 Business Outcome을 달성하기 위해 필요한 Judgment 능력의 중요성을 강조하며, 향후 Agent 개발이 잘 정의된 Task Solving을 넘어 Complex하고 Ambiguous한 Real-world Problem Context에서 유효한 Solution을 Delivery하는 방향으로 나아가야 함을 시사한다. **FDE-Gym**은 이러한 Agent의 Judgment 능력을 정량적으로 측정할 수 있는 Framework를 제공하며, 학계 및 산업계에서 보다 Practical하고 Impactful한 AI System 개발을 위한 중요한 Tool로 활용될 수 있다.

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.