[논문리뷰] AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities

링크: 논문 PDF로 바로 열기

저자: Zichen Ding, Jiaye Ge, Shufan Jiang, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• BenchmarkSpec: 작업의 성격, 평가 지표 및 환경 요구 사항을 정의하는 논리적 단위.
• Harness: LLM을 대화형 Agent로 변환하기 위해 프롬프트 처리, 도구 호출, 상태 관리 등을 담당하는 실행 래퍼(Wrapper).
• Environment: 에이전트가 코드를 실행하고 도구와 상호작용하며 격리된 상태를 유지하는 실행 컨텍스트.
• RunRequest: Benchmark, Harness, Environment의 결합을 명시하여 평가 프로세스를 구동하는 선언적 요청 형식.
• Trajectory: 에이전트가 작업을 수행하는 동안 생성한 추론 과정, 도구 호출 기록, 환경 피드백을 포함한 전체 실행 순서.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 LLM 기반 Agent의 성능을 평가하기 위한 인프라가 극도로 파편화되고 복잡하게 얽혀 있는 문제를 해결하고자 한다. 기존의 평가 방식은 특정 도메인에 고착화되어 있거나, 실행 환경과 평가 프로토콜이 강하게 결합되어 있어 재현성(Reproducibility)을 저해하고 반복적인 엔지니어링 비용을 발생시킨다 [Figure 1]. 연구자들은 다양한 에이전트와 환경을 통합적으로 평가할 수 있는 표준화된 인프라의 부재가 에이전트 연구 발전을 가로막고 있다고 판단하였다. 이에 따라, 평가의 유연성을 높이고 다양한 에이전트 구성을 표준화된 방식으로 테스트할 수 있는 새로운 통합 프레임워크가 요구된다.

Figure 1 — 모델별 주요 기능 프로파일

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 Benchmark, Harness, Environment를 독립적인 컴포넌트로 분리하여 평가 구성을 모듈화하는 AgentCompass를 제안한다 [Figure 2]. 이 구조는 고정된 평가 파이프라인 대신 Benchmark×Harness×Environment 조합의 유연한 설정을 가능하게 하며, 등록(Registry) 기반의 아키텍처를 통해 새로운 기능을 쉽게 확장할 수 있다. 또한, 비동기 런타임(Asynchronous Runtime)을 도입하여 긴 호흡의 에이전트 수행 과정을 효율적으로 관리하고, 플러그형 분석기(Analyzer)를 통해 에이전트의 중간 동작 및 실패 원인을 심층 분석한다. 실제 20개 이상의 벤치마크를 활용한 실험 결과, AgentCompass는 기존 환경 대비 훨씬 정교한 성능 프로파일링을 제공함을 확인하였다 [Table 3]. 특히 모델의 성능이 사용하는 Harness에 따라 상당한 차이를 보임을 입증하였으며, 단순한 최종 점수 외에 Reward-hacking과 같은 행동 양상을 구체적인 수치로 탐지하였다 [Table 4].

Figure 2 — AgentCompass 전체 아키텍처

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 LLM 기반 Agent 평가의 파편화 문제를 해결하는 AgentCompass라는 통합 인프라를 제시함으로써, 에이전트 연구의 재현성과 비교 가능성을 획기적으로 개선하였다. 제안된 모듈화 설계와 상세한 Trajectory 분석 기능은 연구자들이 단순히 결과 지표에 매몰되지 않고, 에이전트의 작동 원리와 실패 지점을 심층 진단할 수 있도록 지원한다. 이러한 표준화된 인프라는 학계 및 산업계에서 보다 엄밀한 에이전트 능력 평가를 가능하게 하여, 더 안전하고 신뢰할 수 있는 자율 에이전트 개발을 가속화할 것으로 기대된다.

Figure 3 — 에이전트 행동 분석 결과

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.