[논문리뷰] ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Guanting Dong, Zhichao Sun, Xinyu Yang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Data-Centric Environment Synthesis: 기존 연구 방식으로, 먼저 데이터베이스와 환경을 설계한 후 도구와 작업을 도출하여 도구 간 논리적 불일치와 낮은 범용성을 초래하는 방식입니다.
• Tool-Centric Environment Synthesis: 본 논문이 제안하는 방식이며, 실제 실행 트레이스에서 도구 간의 관계를 먼저 추출하고 이를 기반으로 데이터베이스와 환경을 온디맨드로(on-demand) 구축하는 방식입니다.
• Tool-Composition Graph (𝒢 TS): 실제 실행 트레이스에서 도구 호출 간의 Data, State, Retry 의존성을 분석하여 구성한 그래프로, 도구 간의 실행 가능한 연결 관계를 명시합니다.
• State-Aware Random Walks: 𝒢 TS 내에서 환경 상태를 고려하며 유효한 도구 체인을 탐색하는 기법으로, rollback 샘플링을 통해 최종적으로 검증 가능한 긴 호흡의 작업 데이터를 생성합니다.
• Replay Verification: 생성된 작업 데이터가 초기 상태(s0)에서 재실행 시 의도한 결과를 생성하는지 검증하는 프로세스로, 데이터의 신뢰성을 보장합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 기존 LLM 기반 Long-Horizon Agent가 실제 환경에서 복잡한 도구 체인을 안정적으로 구성하지 못하는 문제의 근본 원인을 해결하고자 합니다 [Figure 1]. 기존의 Data-Centric 방식은 가상 환경을 먼저 구축한 뒤 도구를 끼워 맞추기 때문에, 실제 도구 인터페이스와의 불일치, 도구 간 오케스트레이션의 비현실성, 그리고 다중 환경을 아우르는 작업 생성의 어려움이 발생합니다. 이러한 방식은 도구가 환경에 종속되어 있어 도구 간의 상호작용이 단절되는 결과를 낳습니다. 따라서 저자들은 실제 실행 데이터를 바탕으로 도구 간의 관계를 우선적으로 모델링하여, 데이터가 아닌 도구 중심의 환경 합성 프레임워크를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 ToolSpace라 불리는 프레임워크를 제안하며, 이는 크게 도구 공간 탐색(Tool Space Exploration)과 교차 환경 작업 합성(Cross-Environment Task Synthesis) 단계로 나뉩니다 [Figure 2]. 첫 번째 단계에서는 실제 트레이스에서 결정론적 규칙을 사용하여 도구 호출 관계를 추출하고, 이를 𝒢 TS로 모델링한 뒤 필요할 때만 데이터베이스를 합성합니다. 두 번째 단계에서는 State-Aware Random Walks를 통해 상태 연속성을 보장하는 긴 도구 체인을 생성하고, 이를 검증 가능한 작업으로 변환합니다 [Figure 3].

실험 결과, ToolSpace로 학습된 모델은 다양한 Long-Horizon 벤치마크에서 기존 환경 확장 모델들보다 월등한 성능을 보입니다. 특히 ToolSpace-35B-A3B는 Qwen3.6-35B-A3B 대비 벤치마크 평균 점수를 23.0점에서 41.0점으로 크게 향상시켰으며, ToolSpace-744B-A40B 모델은 Claude Opus 5와 대등한 성능을 기록했습니다. 또한 새롭게 제안된 AutomationBench Pro에서 frontier 모델들의 성능이 최대 38.2점 하락하는 결과를 통해, ToolSpace가 더 높은 난이도의 복잡한 작업 환경을 효과적으로 생성함을 입증했습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 실제 실행 로그를 기반으로 도구 간의 연결성을 모델링함으로써, Long-Horizon Agent의 작업 생성 효율성과 범용성을 획기적으로 높인 ToolSpace 프레임워크를 제시합니다. 이 연구는 데이터 생성의 주도권을 환경에서 도구로 전환함으로써, 더 현실적이고 검증 가능한 에이전트 학습 데이터를 확보할 수 있는 새로운 이정표를 세웠습니다. 본 방법론을 통해 구축된 데이터셋과 Pro 버전 벤치마크는 향후 더욱 복잡한 다중 환경 에이전트의 성능 향상과 평가 기준 확립에 기여할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.