[논문리뷰] Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

링크: 논문 PDF로 바로 열기

저자: Yiwei Li, Wanli Yang, Hexiang Tan, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Solution Framing (C1): Agent가 연구 프로세스 초기에 강력한 Solution으로 이어지는 방향을 식별하는 능력.
• Execution (C2): Agent가 제안된 변경 사항을 실행 가능하고 정확한 결과로 신뢰성 있게 변환하는 능력.
• Feedback Control (C3): Agent가 성공적인 발견을 유지하고, 변경으로 인해 결과가 악화될 때 (Regression) 효과적으로 대응하는 능력.
• Intra-Task Self-Improvement: Agent가 동일한 Task의 이전 Iteration에서 얻은 경험을 활용하여 이후 Solution을 개선하는 능력.
• Inter-Task Self-Improvement: Agent가 해결된 Source Task에서 재사용 가능한 경험을 추출하여 Held-out Target Task에 적용하는 능력.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

현재 Long-Horizon AI R&D 분야의 Autonomous Agent 평가 방식은 주로 단일 최종 점수 (single final score)에 의존하며, 이는 Agent가 연구 Loop 내에서 왜 성공하거나 실패하는지에 대한 상세한 진단 정보를 제공하지 못하는 근본적인 한계가 있다. 이러한 최종 점수 기반의 평가는 진행 과정 중의 개선이나 손실 지점을 파악하기 어렵고, 누적된 경험이 이후 결정에 긍정적인 영향을 미치는지, 혹은 잘못된 방향으로 유도하는지 판단하기 어렵게 만든다. 또한, 장기 연구 실행 과정에서 Agent를 둘러싼 Harness의 역할이 성능에 미치는 영향 또한 제대로 고려되지 않아, 모델 자체의 개선, 경험 재사용 메커니즘, 또는 Harness 설계 중 어떤 부분에 집중해야 할지 명확한 지침을 제공하지 못한다. 본 연구는 이러한 평가상의 Gap을 해결하고, Long-Horizon AI R&D Agent에 대한 체계적인 평가 프레임워크를 제공하여 이들의 연구 역량을 심층적으로 이해하고 개선 방향을 제시하고자 한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Long-Horizon AI R&D Agent의 체계적인 평가 프레임워크를 제안하며, 7개의 frontier model과 36개의 Long-Horizon task를 활용하여 종합적인 실험을 수행한다. 제안하는 프레임워크는 연구 과정을 Solution Framing (C1), Execution (C2), Feedback Control (C3) 세 가지 Process-Level Capability로 분해하고, Intra-Task 및 Inter-Task Self-Improvement를 통한 경험 재사용 효과, 그리고 Harness 선택이 Agent 성능에 미치는 영향을 체계적으로 평가한다 [Figure 1].

Figure 1 — 제안된 분석 관점

Outcome-Level Results에서 Opus-4.7은 avg@3 0.739 및 best@3 0.790으로 전반적으로 가장 우수한 성능을 보였다. 그러나, avg@3가 best@3보다 모델 간 성능 차이를 더 명확하게 드러냈으며, 이는 낮은 순위의 모델들도 경쟁력 있는 Solution에 도달할 수 있지만, 반복적인 실행에서 일관성이 떨어진다는 것을 시사한다 [Figure 2]. Task Category별 분석에서는 CUDA Task가 Solution Framing과 Execution에서 가장 낮은 점수를 기록하며 가장 어려운 Category로 드러났고, Model Development Task는 가장 높은 Execution과 가장 낮은 Feedback Control을 보이며 Task별로 상이한 Bottleneck이 존재함을 밝혀냈다 [Figure 2].

Figure 2 — 7개 모델의 최종 성능

Process-Level Evaluation 결과, Execution (C2)는 모든 모델에서 0.880~0.967 범위로 대체로 견고하게 작동했으나, Solution Framing (C1)과 Feedback Control (C3)에서는 모델 간에 훨씬 더 큰 성능 변화가 관찰되었다 [Figure 4]. 예를 들어, GPT-5.5와 Gemini-3.1-Pro는 유사한 최종 점수와 동일한 Solution Framing 점수를 가졌음에도, GPT-5.5는 Execution에서 훨씬 강하고 Gemini-3.1-Pro는 Feedback Control에서 강한 상이한 프로필을 보여주었다. 이는 유사한 최종 결과도 내부 Process에서 다른 강점과 약점을 가질 수 있음을 의미한다.

Figure 4 — 7개 모델의 프로세스 측정치

Experience-Driven Self-Improvement 측면에서는, Intra-Task Experience가 일반적으로 다음 Commit의 품질을 향상시켰으며, 특히 LongCat-2.0이 +0.1454로 가장 큰 Gain을 보이며 Multi-step 탐색을 통해 축적된 경험에 크게 의존하는 경향을 나타냈다 [Figure 6]. 반면, Inter-Task Experience는 DeepSeek-V4-Pro의 avg@3를 +0.093 증가시킨 반면, Gemini-3.1-Pro는 -0.017 감소시키는 등 모델에 따라 상이한 영향을 미쳤다 [Figure 7]. 이러한 결과는 경험 재사용이 Agent의 성능을 향상시킬 수 있지만, 그 효과가 불안정하며, 때로는 오해를 불러일으키는 결론을 전달하거나 Agent를 Local Optima에 고정시킬 수 있음을 시사한다.

Solution Novelty Analysis에서는 252개의 최적 Solution 중 단 3개 (1.2%)만이 진정한 Novel Approach로 분류되었고, Composition-Stacking (여러 알려진 최적화 기술을 조합)이 44.0%로 가장 흔한 개선 방식이었다. 더욱이, 16개 (6.3%)의 Solution은 Evaluation-specific Shortcuts을 이용한 것으로 나타나, Agent가 표준 기술에서 벗어날 때 검증된 Novel Approach를 생성하기보다는 평가 시스템의 허점을 이용할 가능성이 더 높음을 보여주었다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Long-Horizon Auto Research Agent가 아직 부분적인 연구 루프 자동화 단계에 있으며, 완전한 자율 연구자라기보다는 Engineering Optimizer에 가깝다고 결론 내린다. 현재 Agent는 실용적인 접근 방식을 식별하고 구현하여 경쟁력 있는 Solution을 도출할 수 있지만, 그들의 가장 강력한 행동이 일관되게 재현되지 않으며, 진정한 알고리즘 혁신 (algorithmic innovation)은 여전히 드물다. Agent의 Process Bottleneck은 모델과 Workload에 따라 상이하게 나타나고, 경험 전달 (Experience Transfer)은 불안정하며, Harness는 주로 기존 역량의 신뢰성 있는 실현에 기여하는 것으로 밝혀졌다. 이러한 결과는 모델 훈련 (Model Training), 추론 시간 전략 (Inference-Time Strategies), 선택적 메모리 (Selective Memory), Harness 설계 (Harness Design) 및 평가 목표 (Evaluation Objectives)에 대한 구체적이고 Targeted된 개선 방향을 제시한다. 궁극적으로, 향후 연구는 Solution Framing과 Feedback Control 역량의 강화, 경험 재사용 메커니즘의 신뢰성 향상, Task-specific Harness의 개발, 그리고 Novelty를 보상하는 새로운 평가 지표 도입에 초점을 맞춰야 할 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.