[논문리뷰] Can AI agents conduct open-ended AI research? Early evidence from two case studies

링크: 논문 PDF로 바로 열기

저자: Peter Kirgis, Sayash Kapoor, Andrew Schwartz, Stephan Rabanser, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• AI R&D Automation: AI agent가 가설 설정, 실험 수행, 논문 작성 등 연구 개발의 전 과정을 자율적으로 수행하는 것을 의미합니다.
• Shadow Evaluations: 아직 공개되지 않은 고품질 연구 논문의 핵심 연구 질문을 AI agent에게 제공하고, agent가 생성한 결과물(논문)을 원저자들이 직접 평가하는 새로운 R&D 자동화 평가 방법론입니다. 이는 agent의 open-ended research 수행 능력을 측정합니다.
• Open-ended AI Research: 단일한 metric으로 성공을 정의하기 어렵고, 창의적인 문제 해결, 가설 탐색, 피드백 반영, 실패한 접근 방식으로부터의 유연한 회귀 등 복합적인 인지 능력을 요구하는 연구 task를 지칭합니다.
• Scaffold: AI agent의 작동을 오케스트레이션하고, 외부 툴 접근, GPU 자원 관리, 피드백 통합 등의 기능을 제공하는 추상화된 프레임워크 또는 시스템을 의미합니다. 본 연구에서는 OpenClaw와 Codex 기반의 scaffold를 사용했습니다.
• Instruction Drift: 장시간에 걸친 복잡한 task를 수행하는 동안 AI agent가 초기에 주어진 명시적인 지시나 제약 조건을 점진적으로 무시하거나 따르지 않게 되는 현상을 말합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

AI agent가 open-ended AI research를 자율적으로 수행할 수 있는지에 대한 증거가 부족하다는 점이 본 연구의 핵심 문제입니다. 기존 AI R&D 평가 방식은 크게 두 가지로 나뉘며, 각각 명확한 한계점을 가지고 있습니다. 첫째, verifiable tasks는 agent가 고정된 metric을 개선하고, 자동화된 verifier가 결과를 평가하는 방식으로 open-ended research를 배제합니다. 이는 agent가 새로운 가설을 설정하거나 실패한 접근 방식을 인식하고 방향을 전환하는 등의 판단 능력을 평가할 수 없다는 한계점이 있습니다. 둘째, AI-generated paper를 학회에 제출하여 평가받는 blind peer review는 회의 과부하, 평가의 stochastic 특성, 그리고 낮은 review 품질로 인해 AI agent의 연구 능력을 평가하기에 약한 척도가 됩니다. 이러한 기존 방법론의 한계로 인해, 연구자들은 AI agent의 실제 연구 역량을 종합적으로 평가하기 어려운 상황이며, 특히 open-ended problem solving 능력에 대한 신뢰할 수 있는 측정 방법이 절실한 상황이었습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 AI R&D 자동화의 진행 상황을 측정하기 위해 shadow evaluations라는 새로운 방법론을 제안하고 적용했습니다. 이 방법론은 아직 공개되지 않은 high-quality research paper의 중앙 연구 질문(central research question)을 well-resourced frontier agent에게 부여하고, agent가 생성한 결과물(논문)을 원저자들이 conference submission처럼 평가하는 방식으로 진행됩니다. 실험은 두 개의 unpublished NeurIPS 2026 submissions를 대상으로 진행되었으며, 각 agent에게 6일의 wall-clock time, $3,000의 Anthropic API credits, GPU credits, 그리고 Linux virtual machine 및 open web에 대한 완전한 접근권이 주어졌습니다. [Figure 1]은 두 agent의 시간, API, GPU compute 사용량을 보여주는데, 두 agent 모두 전체 예산의 50% 미만을 사용했음을 알 수 있습니다.

Figure 1 — AI agent의 연구 수행에 사용된 시간, API 비용, GPU compute 자원 소모량을 시각적으로 보여주는 핵심 결과 그래프

핵심 결과는 다음과 같습니다:

• Agent는 GPU 환경 디버깅 및 수백 건의 실험 실행과 같은 engineering task는 인간의 도움 없이 성공적으로 완료했지만, 연구 질문에 대한 실질적인 진전을 이루는 데는 실패했습니다.
• Original authors의 평가에서 두 agent의 논문 모두 unambiguous rejection을 받았습니다. [Table 1]은 각 논문에 대한 original authors의 상세 평가 점수를 보여주며, Personas Paper는 Overall 2/6, TabPFN Paper는 Overall 1/6을 기록했습니다. 주요 거부 사유로는 unprincipled data and experiment choices, unclear writing, limited significance, lack of originality 등이 지적되었습니다.
• 연구 과정에서 다섯 가지 주요 실패 모드가 식별되었습니다: publishable research의 기준에 대한 poor judgment, 연구 설계의 shortcomings에 대한 uncreative responses, dead ends로부터의 ineffective backtracking, poor resource awareness, 그리고 instruction drift입니다.
• Agent는 자체적으로 AI review 도구를 사용했지만, 지속적인 negative feedback에도 불구하고 근본적인 접근 방식 전환을 하지 못했습니다. [Figure 3]은 subagent, external AI systems, human expert의 review를 비교하며, 특히 Stanford Agentic Reviewer와 같이 lenient한 외부 도구의 피드백을 agent가 overweight하는 경향을 보였음을 보여줍니다.

Table 1 — Original authors가 AI agent가 작성한 논문을 평가한 결과 요약으로, agent의 연구 품질을 직접적으로 나타내는 핵심 테이블

Figure 3 — AI agent의 자체 리뷰, 외부 AI 리뷰 도구, 그리고 인간 전문가 리뷰 결과를 비교하여 agent의 피드백 활용 능력의 한계를 보여주는 핵심 비교 테이블

4. Conclusion & Impact (결론 및 시사점)

본 연구의 최종 결론은 현재의 frontier AI agents가 open-ended AI research의 engineering task는 수행할 수 있지만, 연구 라이프사이클의 핵심적인 판단 능력(judgment)과 창의적인 문제 해결에는 여전히 어려움을 겪고 있다는 것입니다. 이는 AI agent가 복잡하고 예측 불가능한 연구 환경에서 자율적으로 높은 수준의 학술 연구를 수행하는 데 아직 한계가 있음을 명확히 보여줍니다. 본 연구는 AI R&D automation의 진행 상황을 측정하는 새로운 방법론인 shadow evaluations를 도입하여, 기존 verifiable tasks나 blind peer review의 한계를 보완하고, AI agent의 실제 연구 역량을 심층적으로 평가하는 데 기여했습니다. 이러한 초기 증거(early evidence)는 AI agent의 recursive self-improvement 및 AI R&D 가속화에 대한 논의에 중요한 통찰을 제공하며, 향후 AI agent의 연구 역량 향상을 위한 구체적인 개선 방향을 제시하는 데 중요한 시사점을 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.