[논문리뷰] Dynamic Harness Search: Building Multi-Agent Systems Per-Query via Prediction

링크: 논문 PDF로 바로 열기

메타데이터

저자: Som Sagar, Shasha Li, Hejie Cui, Ransalu Senanayake, Sercan Ö. Arık

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Harness: 특정 과제를 해결하기 위해 필요한 에이전트의 역할, 명령어(Instructions), 도구(Tools), 그리고 이들 간의 통신 구조를 정의하는 실행 가능한 그래프 형태의 사양을 의미합니다.
• Architect: Gemma-2-2B 기반의 로컬 모델로, Harness 구성 행동에 대한 정책을 제안하고 해당 Harness의 기대 효용(Utility)을 예측하는 핵심 컴포넌트입니다.
• SHIFT (Searching Harnesses In Forward-pass Trees): 쿼리마다 최적의 Harness를 생성하기 위해 MCTS를 사용하는 프레임워크로, 실행 전 단계에서 예측을 통해 후보 설계를 평가합니다.
• Utility: Harness의 정확도(Accuracy)와 실행 비용(Execution Cost) 간의 균형을 나타내는 지표로, Architect가 이를 학습하여 최적의 구성을 선택합니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 각 쿼리에 최적화된 멀티 에이전트 시스템을 구축하는 과정에서 발생하는 비효율성 문제를 해결합니다. 기존의 방식은 고정된 워크플로우를 사용하거나, 최적의 설계를 찾기 위해 추론 단계에서 여러 후보를 실제로 실행해 보아야 하므로 높은 비용과 Latency가 발생합니다 [Figure 1]. 이러한 정적 구성은 간단한 쿼리에는 과도한 자원을 소비하고, 복잡한 쿼리에는 성능이 부족한 한계를 보입니다. 저자들은 실행 비용을 최소화하면서도 쿼리별로 적절한 에이전트 구조, 명령어, 도구 권한을 선택할 수 있는 동적 구조가 필요함을 강조합니다 [Figure 1].

Figure 1 — 쿼리별 Harness 동적 구성

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 실행 없이 후보 설계를 평가하는 Architect 중심의 SHIFT 프레임워크를 제안합니다. Architect는 특정 쿼리에 대해 Harness 구성 액션을 제안하고 효용을 예측하며, 이를 바탕으로 MCTS가 실행 없이 최적의 경로를 탐색합니다 [Figure 2]. 학습 과정에서는 실제 실행 결과(Reward)를 활용해 Architect의 정책과 가치 함수를 업데이트합니다. 9,193개 과제에 대한 실험 결과, SHIFT-search는 기존 Strongest Baseline 대비 7.2% 향상된 79.9%의 최고 평균 정확도를 기록했습니다 [Table 1]. 또한, 저비용 모델인 SHIFT-value는 모든 Baseline보다 높은 정확도를 유지하면서도 기존 최강 모델 대비 32% 적은 실행 토큰을 사용하여 효율성을 입증했습니다 [Table 1]. 구조와 명령, 도구를 통합적으로 최적화하는 방식이 단일 최적화 대비 최대 9.1% 높은 성능 향상을 보였습니다 [Figure 6].

Figure 2 — SHIFT 아키텍처 및 동작 구조

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 쿼리별 최적화된 멀티 에이전트 시스템 구축을 위한 효율적이고 확장 가능한 프레임워크인 SHIFT를 성공적으로 제시했습니다. 실행 전 단계에서의 효용 예측을 통해 탐색 비용을 획기적으로 절감하며, 복잡한 도구 사용 환경에서 우수한 성능을 발휘합니다. 이 연구는 LLM 기반 에이전트 시스템의 실용성을 대폭 높였으며, 향후 동적 워크플로우 생성 및 자원 최적화 연구의 기반이 될 것으로 기대됩니다.

Figure 3 — Harness 구조와 성능 변화

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.