[논문리뷰] TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CGDC (Clustered-GPUs with Distributed-CPUs): GPU 클러스터에서 모델 추론을 수행하고, 분산 CPU 환경에서 외부 도구를 실행하는 에이전트 서비스 구조를 지칭합니다.
• Tool-return Readiness: 외부 도구 실행을 마친 세션이 GPU 추론 리소스를 다시 필요로 하는 시점을 예측하여, 모델 서비스를 준비하는 신호를 의미합니다.
• Decayed KV-Cache Credit: 시간 흐름에 따라 가치가 감소하는 KV-cache의 재사용 가치를 수치화한 지표로, 최신 캐시 데이터의 우선순위를 높게 설정합니다.
• Joint Scheduling: 개별 세션의 우선순위를 단순히 나열하는 것이 아니라, 전체 세션 풀에 대해 capacity 제약 조건을 고려하여 최적의 배치(Placement)를 결정하는 다중 최적화 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM 기반 에이전트 서비스에서 도구 실행 지연(Tool-call latency)이 전체 시스템 성능을 저해하는 핵심 병목 현상이 되고 있음을 지적합니다. 기존 서비스 환경(Baseline)은 'Evaluate-then-decide' 방식을 따르며, 도구 실행의 Readiness를 세션 평가에 통합하지 않아 리소스 낭비가 빈번합니다. 또한, 기존 연구들은 개별 세션에 대한 휴리스틱한 스케줄링 전략을 사용함으로써, 전체 노드 capacity를 최적으로 활용하지 못하는 근시안적 배치 문제를 안고 있습니다 [Figure 1]. 이러한 한계를 극복하기 위해, 본 논문은 도구 실행 상태와 GPU 메모리 상태를 동시에 고려하는 통합 스케줄링 프레임워크가 필요함을 강조합니다.

Figure 1 — CGDC 시나리오 및 스케줄링 문제

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 도구 인식형 조인트 스케줄링 프레임워크인 TAO를 제안합니다. TAO는 세션 평가 단계에서 Decayed KV-Cache Credit, Tool-return Readiness, Token Footprint를 조합한 평가 triplet을 구성합니다 [Figure 2]. 이후 Dynamic Programming을 적용하여 전체 에이전트 세션의 admission과 node placement를 동시에 최적화함으로써, 공유 capacity 제약 하에서 최대 가치를 갖는 할당 계획을 도출합니다. 실험 결과, TAO는 비교 대상인 SOTA baseline들 대비 Latency를 최대 26.8% 감소시켰으며, TTFT를 최대 36.3% 단축하였습니다 [Table 1]. 또한, Decode throughput 측면에서도 최대 29.5%의 향상을 달성하여 agentic serving 시스템의 효율성을 입증하였습니다 [Table 1].

Figure 2 — TAO 프레임워크 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 논문은 LLM 에이전트의 워크플로우 특성을 반영하여 GPU 추론과 CPU 도구 실행 간의 격차를 효과적으로 해소하는 TAO 프레임워크를 성공적으로 구축했습니다. TAO는 예측 기반의 readiness와 조인트 최적화 알고리즘을 통해 리소스 사용 효율성을 극대화하며, 다양한 모델 및 워크로드 환경에서도 일관된 성능 우위를 보입니다. 이 연구는 대규모 언어 모델 기반 에이전트 서비스를 상용화하고 운영하는 인프라 분야에서 최적화된 스케줄링 전략의 중요성을 제시하며, 학계와 산업계 모두에 실질적인 대안을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.