[논문리뷰] Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, Junyao Yang, Kishan Panaganti, Haitao Mi, Dongruo Zhou, Leoweiliang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Harness: AI 에이전트의 프롬프트 구성, 상태 관리, 도구 호출, 실행 제어를 담당하는 소프트웨어 계층으로, 에이전트의 행동을 결정짓는 핵심 인프라입니다.
• Behavior Localization: 수정 요청에서 기술된 동작을 구현하는 모든 코드 위치를 식별하는 과정으로, harness evolution의 핵심적인 병목 지점입니다.
• Harness Handbook: 시스템의 행동을 중심으로 구현 지식을 조직화하여, 행동과 소스 코드를 직접 연결한 동작 지향적 표현 체계입니다.
• BGPD (Behavior-Guided Progressive Disclosure): 고수준의 행동 설명으로부터 관련 구현 세부 사항으로 단계적으로 안내하고, 제안된 코드 위치를 검증하는 워크플로우입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 대규모 Agent Harness의 구조적 복잡성으로 인해 발생하는 Behavior Localization의 어려움을 해결하는 것을 목표로 합니다. 기존 연구들은 저장소의 파일이나 모듈 구조에 집중하여 코드를 탐색하지만, 실제 수정 요청은 시스템의 '행동(behavior)'을 중심으로 기술되므로 행동과 구현 사이의 간극이 발생합니다. 결과적으로 코딩 에이전트나 개발자는 Scattered 된 구현 위치를 찾거나 드물게 실행되는 경로를 놓치는 한계가 있습니다. 이러한 행동 중심의 매핑 누락은 Harness Evolution의 정확성과 효율성을 저해하는 주된 원인입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Harness Handbook을 도입하여 정적 프로그램 분석과 LLM 기반의 행동 구조화 기술을 통해 저장소의 구현 지식을 행동 단위로 자동 재구성합니다 [Figure 1]. 저자들은 Harness Handbook을 구축하기 위해 정적 사실 추출, 행동 조직화, 계층적 합성의 3단계 파이프라인을 제안하며, 이는 function-as-leaf 또는 file-as-leaf 모드로 작동합니다 [Figure 2]. 또한, BGPD를 통해 고수준의 행동 설명으로부터 관련 코드 위치를 단계적으로 탐색하고 검증함으로써 행동과 구현 사이의 명시적 연결을 제공합니다.

실험 결과, Handbook-Assisted 방식은 기존 Baseline 대비 Codex harness에서 38.3%, Terminus-2 harness에서 45.6%의 높은 plan-quality win rate를 달성하였습니다 [Figure 3]. 특히, Localization 정확도가 크게 향상되었으며, 평균 계획 토큰 사용량은 각각 12.7%와 8.6% 감소하여 효율성 면에서도 우위를 보였습니다 [Figure 4]. 이는 더 적은 리소스를 사용하면서도 더 정확한 행동 기반의 코드 위치 식별이 가능함을 시사합니다 [Table 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 행동 중심의 Harness Handbook과 BGPD 워크플로우가 대규모 Agent Harness의 진화 과정에서 행동 로컬라이제이션의 정밀도를 획기적으로 개선함을 입증하였습니다. 이 접근법은 단순히 코드 수정을 자동화하는 것을 넘어, 수정이 필요한 위치를 정확히 판단하는 지능형 에이전트 개발의 새로운 표준을 제시합니다. 향후 복잡한 에이전트 시스템의 유지보수 및 확장성 강화에 중요한 학술적·실무적 토대가 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — Harness Handbook 표현의 구조 및 개요

Figure 2 — Harness Handbook 구축 파이프라인

Figure 3 — Codex 및 Terminus-2의 계획 품질 및 토큰 효율성 결과

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.