[논문리뷰] FrontierChallenge: Evaluating Scientific Workflow Completion

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will extract the information required for the summary.

Authors: Liangcai Su, Zhaopeng Feng, Zhuo Chen, Zhen Zhang, Xiang Lin, Ruilin Li, Handuo Zhang, Ning Wang, Kailong Wen, Yueqi Guo, Feng Xing, Yiling Guo, Chenxiong Qian, Simon Shaolei Du, Lidong Bing, Xinyu Wang (Abstract and Appendix A)

Keywords: I will need to infer these from the abstract and introduction. Likely candidates: Scientific Workflow, LLM Agent, Benchmark, End-to-End Evaluation, Pass Rate, Cross-domain Science.

Key Terms & Definitions:

• FrontierChallenge: A cross-domain benchmark comprising 300 end-to-end scientific workflows, with 97 tasks publicly released and evaluated in this paper.
• End-to-End Scientific Workflows: Tasks that require an agent to understand a professional objective, use domain tools correctly, execute interdependent steps, and produce verifiable scientific artifacts, from input processing to final deliverables.
• Deliverable Contract: For each task, a list of required scientific deliverables, which may include scientific reports, structured tables, diagnostic figures, executable analysis code, and simulation products.
• Pass Rate: The primary metric measuring the fraction of tasks for which the complete task contract is satisfied, using a strict full-completion criterion (score ≥ 99.9).
• Avg. Score: A complementary metric representing the mean task score, measuring partial progress across task-specific scientific rubrics.

Motivation & Problem Statement: Current benchmarks for AI agents often focus on final answers, isolated programs, or single-domain tasks. This does not fully characterize an agent's ability to complete heterogeneous scientific work that depends on multiple analytical stages and diverse deliverables. The core problem is the lack of a comprehensive evaluation framework that assesses an agent's capability to execute complex, end-to-end scientific workflows, from input processing to the generation of complete and mutually consistent final deliverables. Existing benchmarks fail to capture the holistic success criteria for scientific tasks, where producing a plausible conclusion is insufficient; agents must deliver a bundle of inspectable, reproducible, and consistent artifacts.

Method & Key Results: The authors introduce FrontierChallenge, a benchmark consisting of 300 end-to-end scientific workflows across six reporting domains: quantum chemistry, molecular dynamics, materials characterization, analytical chemistry, life science, and electrochemistry/environment. For this study, 97 tasks are publicly released and evaluated. Each task is defined by fixed inputs, a heterogeneous deliverable contract, and a task-specific Grader for executable evaluation. The primary metric is Pass Rate (strict full-completion criterion of ≥ 99.9 score), complemented by Avg. Score for partial progress.

They evaluated twelve frontier models with three agent scaffolds (Codex, Claude Code, Frontier Agent). The central finding is a persistent gap between partial progress and complete scientific delivery. The best-performing configurations (e.g., GPT-5.6 Sol with Codex and Grok 4.6 with Claude Code) achieved a Pass Rate of only 20.6% (20 out of 97 tasks), despite achieving Avg. Scores up to 87.9. This gap was particularly pronounced in analytical chemistry and electrochemistry/environment, where Avg. Scores reached 87.6 and 94.9, respectively, but the highest Pass Rates were only 4% and 0% [Figure 3]. Failure analysis revealed that 75.5% of non-passing Claude Code trajectories still ended with language claiming completion, and raw tool errors were frequent in both passing (94.2%) and non-passing (80.7%) runs [Figure 5]. These results highlight that high partial scores or confident self-reports do not reliably indicate complete scientific task delivery.

Figure 3 — 도메인별 성능

Conclusion & Impact: FrontierChallenge establishes a crucial benchmark for evaluating scientific agents' ability to complete multi-stage, end-to-end workflows and deliver consistent artifacts, moving beyond mere plausible answers. The study reveals that current frontier models struggle significantly with complete scientific delivery, as evidenced by low Pass Rates despite high Avg. Scores. This indicates a critical need for agents to improve in explicit contract tracking, cross-artifact validation, and evidence-based completion checks to achieve trustworthy scientific handoffs. This research provides a robust framework and dataset for advancing the development of more reliable and capable scientific AI agents, impacting both academic research in AI and its application in scientific and engineering domains.

Figures: I need to select up to 3 important figures and get their src and provide a Korean caption.

1. Figure 1: Domain and workflow-family composition. 2608.24979v1/domain_radial.png
2. Figure 2: Average score versus complete workflow pass rate. This is a generated plot, no src directly identifiable within the main content, but I can assume it's like figures from other arXiv papers in the same style of referencing. Let's check. Yes, it's a plot, the text refers to it as "Fig.". I will try to find the image URL. There is no src for "Figure 2" in the main text. I will check the HTML.

   <h3 class="section" id="S4.SS3">4.3 Overall performance</h3>
   <p>Strict completion remained rare across all configurations. Across
   the evaluated systems, <span class="text-b">Pass Rate</span> ranged from 3.1% to 20.6%,
   whereas <span class="text-b">Avg. Score</span> ranged from 67.5 to 87.9
   (<a href="#S4.F2">Fig.&nbsp;2</a> and <a href="#S4.T2">Table&nbsp;2</a>)).</p>
   <div class="figure" id="S4.F2">
   <div class="graphic" style="margin:0;">
   <img src="2608.24979v1/overall_performance.png" alt="Refer to caption" />
   </div>
   <div class="caption">
   <p>Figure 2: Average score versus complete workflow pass rate.</p>
   </div>
   </div>
   

   Found it: 2608.24979v1/overall_performance.png. This is a good candidate.
3. Figure 3: Domain performance. 2608.24979v1/domain_performance.png
4. Figure 5: Failure analysis. 2608.24979v1/failure_analysis.png

I will choose Figure 1 (composition), Figure 2 (overall performance), and Figure 3 (domain performance) as they best represent the benchmark's scope and key experimental results.

Let's refine the keywords to be more specific to academic terms. Scientific Workflow Completion, Large Language Model Agents, Cross-domain Benchmark, End-to-End Evaluation, Pass Rate Metric, Scientific Deliverables.저자: Liangcai Su, Zhaopeng Feng, Zhuo Chen, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• FrontierChallenge: 이 논문에서 공개 및 평가된 97개의 태스크를 포함하여, 총 300개의 End-to-End Scientific Workflows로 구성된 Cross-domain Benchmark이다.
• End-to-End Scientific Workflows: 에이전트가 전문적인 목표를 이해하고, 도메인 도구를 올바르게 사용하며, 상호 의존적인 단계를 실행하고, 검증 가능한 과학적 결과물(Artifacts)을 생성해야 하는 태스크를 의미한다.
• Deliverable Contract: 각 태스크에 대해 요구되는 과학적 결과물 목록으로, 과학 보고서, 구조화된 테이블, 진단용 Figure, 실행 가능한 분석 코드 및 시뮬레이션 결과물 등을 포함할 수 있다.
• Pass Rate: 전체 태스크 계약이 충족되는 태스크의 비율을 측정하는 주요 지표이며, 엄격한 Full-completion Criterion (점수 ≥ 99.9)을 사용한다.
• Avg. Score: 부분적인 진행 상황을 측정하는 보완 지표로, 태스크별 과학적 루브릭(Rubrics)에 대한 평균 태스크 점수를 나타낸다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현재 AI 에이전트 벤치마크가 Final Answers, Isolated Programs 또는 단일 도메인에 초점을 맞추고 있어, 복잡하고 이기종(Heterogeneous)적인 과학적 워크플로우를 End-to-End로 완료하는 에이전트의 능력을 충분히 특성화하지 못한다는 문제점을 제기한다. 기존 벤치마크들은 에이전트가 여러 분석 단계와 다양한 결과물에 의존하는 과학적 작업을 완료할 수 있는지 여부를 완전히 평가하지 못한다. 저자들은 기존 연구의 한계점으로, 그 평가 단위가 종종 최종 답변, 단일 프로그램 또는 한 분야의 워크플로우에 국한되어 있어, 에이전트가 상호 일관된 코드, 테이블, Figure 및 보고서를 포함하는 이기종 과학적 작업을 완료하는 능력을 포착하지 못한다고 지적한다. 따라서, FrontierChallenge는 에이전트가 지정된 과학적 태스크와 고정된 데이터를 바탕으로 입력 처리부터 최종 결과물까지 워크플로우를 독립적으로 완료하고 완전한 태스크 계약을 충족할 수 있는지 여부를 평가하는 데 초점을 맞춘다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 FrontierChallenge를 제안하며, 이는 양자 화학, 분자 동역학, 재료 특성화, 분석 화학, 생명 과학, 전기 화학/환경의 6가지 Reporting Domains에 걸쳐 300개의 End-to-End Scientific Workflows로 구성된 벤치마크이다. 본 연구에서는 이 중 97개의 태스크를 공개하고 평가했으며, 각 태스크는 고정된 입력, 이기종 Deliverable Contract, 그리고 태스크별 Grader로 정의된다. 주요 평가 지표는 Pass Rate이며, 이는 완전한 워크플로우 실행을 나타내는 Primary Metric이고, Avg. Score는 부분적 진행 상황을 측정하는 보완 지표로 사용된다.

연구 결과, 12개의 Frontier Models과 3개의 Agent Scaffolds (Codex, Claude Code, Frontier Agent)를 평가한 결과, 부분적인 진행(Partial Progress)과 완전한 과학적 전달(Complete Scientific Delivery) 사이의 지속적인 격차가 확인되었다. 가장 우수한 성능을 보인 설정(예: GPT-5.6 Sol with Codex 및 Grok 4.6 with Claude Code)은 97개 태스크 중 20개만 완료하여 20.6%의 Pass Rate를 기록했지만, Avg. Score는 최고 87.9에 달했다 [Figure 2, cite: 1]. 이러한 격차는 분석 화학 및 전기 화학/환경 도메인에서 특히 두드러졌는데, 이들 도메인에서 Avg. Score는 각각 87.6 및 94.9에 도달했음에도 불구하고, 최고 Pass Rate는 단지 4% 및 0%에 불과했다 [Figure 3, cite: 1]. 실패 모드 분석(Failure Mode Analysis)에 따르면, Claude Code의 Non-passing Trajectories 중 75.5%가 완료되었다는 언어적 주장을 담고 있었으며, Raw Tool Errors는 통과(Passing) 및 비통과(Non-passing) 실행 모두에서 빈번하게 발생하여 각각 94.2% 및 80.7%를 기록했다 [Figure 5, cite: 1].

4. Conclusion & Impact (결론 및 시사점)

FrontierChallenge는 과학 에이전트가 지정된 Multi-stage Workflows를 완료하고 상호 일관된 결과물을 제공하는 능력을 평가하는 중요한 벤치마크를 제공한다. 이 연구는 현재 Frontier Models이 높은 Avg. Score에도 불구하고 Pass Rate가 3.1%에서 20.6%에 불과하여 Complete Scientific Delivery에 있어 상당한 어려움을 겪고 있음을 명확히 보여준다. 특히, 분석 화학 및 전기 화학/환경과 같은 일부 도메인에서는 부분적 진행이 완전한 결과물로 이어지지 못하는 경향이 강했으며, 모델의 집계 순위(Aggregate Rankings)가 도메인별 강점과 약점을 완전히 반영하지 못함을 시사한다. 또한, 에이전트의 최종 Self-reports나 Tool Errors의 존재 여부가 성공적인 결과물 전달의 신뢰할 수 있는 지표가 아님을 입증한다. 이러한 발견은 신뢰할 수 있는 과학 에이전트를 개발하기 위해 Explicit Contract Tracking, Cross-artifact Validation, 그리고 Evidence-based Completion Checks가 필수적임을 강조하며, AI 연구 및 과학/공학 분야 전반에 걸쳐 에이전트 기술 발전에 중요한 방향을 제시한다.

Figure 1 — 태스크 도메인 및 워크플로우 구성

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.