[논문리뷰] HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuhao Wu, Jingyuan Zhang, Jiajun Shi, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Harness: 모델의 가중치와 별개로, Agent의 실행 루프, Tool 사용, Context 관리, 실패 복구 및 결과 검증을 담당하는 외부 실행 인프라를 의미합니다.
• Creation: 최소한의 Seed Harness에서 출발하여, 작업 요구사항과 개발 사례를 바탕으로 완전한 실행 시스템을 구축하는 단계입니다.
• Evolution: 이미 구축된 Harness를 사용하여 Downstream 작업의 실행 피드백을 수집하고, 이를 바탕으로 Harness 자체를 반복적으로 수정 및 개선하는 과정입니다.
• Executor LLM: Harness 내부에서 실제 Downstream 작업을 수행하는 모델로, Harness 개발 모델과는 분리되어 평가의 객관성을 확보합니다.
• Capability & Efficiency: 각각 Harness가 Downstream 작업에서 달성하는 성과(Success Rate 등)와 실행 과정에서 소모되는 Executor-token 비용을 지칭하는 핵심 평가 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Agent가 연구용 프로토타입에서 실제 배포 도구로 진화함에 따라, Agent의 성능을 좌우하는 외부 인프라인 Harness의 중요성을 규명하고 이를 모델이 직접 개발할 수 있는지 검증하고자 합니다. 기존 연구들은 특정 Harness 환경에서 모델의 성능을 평가하는 데 치중하여, 정작 모델이 실행 시스템(Harness) 자체를 설계하고 유지보수하는 능력은 간과해 왔습니다. Harness를 변경하는 것은 모델의 추론 방식과 오류 복구 능력을 근본적으로 바꾸는 작업이기에, 이를 자동화하는 것은 실질적인 Agent 배포의 핵심 과제입니다. 본 연구는 Harness를 단순한 설정값이 아닌, 모델이 개발하고 관리해야 할 소프트웨어 아키텍처로 정의하여 평가합니다. [Figure 1]은 제안하는 Harness 개발의 두 단계인 Creation과 Evolution을 요약하여 보여줍니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 HarnessDev라는 벤치마크를 도입하여, 모델이 Seed Harness로부터 실행 가능한 인프라를 구축하고 피드백을 통해 개선하는 능력을 체계적으로 측정합니다. Creation 단계에서는 다양한 Creator LLM이 작업을 정의하고 제어 모듈(E/T/C/S/L/V)을 구현하며, Evolution 단계에서는 Downstream 피드백을 통해 성능을 반복적으로 개선합니다. [Figure 3]은 Creator가 구현해야 하는 6가지 제어 모듈과 Scorable Artifact의 관계를 설명합니다.

주요 실험 결과, Opus 4.8은 Self-Eval 환경에서 67.8의 평균 점수를 기록하며 가장 높은 성능을 보였으나, 여전히 숙련된 사람이 엔지니어링한 레퍼런스(86.2)에는 미치지 못했습니다. 코드 생성 및 연구(Research) 도메인에서 생성된 Harness의 성능 격차가 컸으며, Gemini 3.1 Pro는 Terminal-Bench에서 가장 우수한 68.8의 정확도를 달성했습니다. 또한, 실행 토큰 비용은 최대 19배까지 차이가 났으며, 높은 비용이 반드시 더 높은 성능으로 이어지지는 않는다는 점을 확인했습니다. Evolution 단계에서는 피드백을 통한 부분적인 성능 향상이 관찰되었으나, 결과가 불안정하고 미공개 작업(Held-out tasks)으로의 전이가 제한적이라는 한계를 보였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM이 실행 인프라를 스스로 구축하고 진화시킬 수 있는 가능성과 그 한계를 실증적으로 분석했습니다. 실험 결과, 현재의 LLM은 기초적인 Harness를 생성할 수 있지만, 복잡한 시스템의 구조적 병목을 해결하고 지속적인 성능 향상을 유지하는 데에는 상당한 어려움을 겪고 있습니다. 이는 단순한 코드 생성을 넘어, 시스템 수준의 아키텍처를 설계하는 능력이 미래 Agent 발전의 필수 요소임을 시사합니다. 본 연구에서 제시한 HarnessDev 벤치마크는 차세대 Agent 개발 환경을 평가하는 표준으로 자리매김하여, 향후 더 안정적이고 효율적인 자가 진화형 Agent 시스템 연구를 촉진할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.