[논문리뷰] AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Kunlun Zhu, Xuyan Ye, Zhiguang Han, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• DeepDebug: LLM Agent의 실행 추적(Trace)을 분석하여 다중 턴(Multi-turn) 기반으로 근본 원인을 진단하고 수정안을 제시하는 핵심 진단 Agent입니다.
• AgentTrajectory: Agent 실행 과정에서 발생하는 모든 이벤트(Tool call, LLM 호출, 메모리 작업 등)를 기록한 이식 가능한 데이터 형식으로, 사후 분석 및 비교의 근거가 됩니다.
• Closed-Loop Debugging: Detect(감지), Attribute(귀속), Recover(복구), Rerun(재실행)의 4단계 과정을 반복하여 Agent의 오류를 시스템적으로 해결하는 워크플로우입니다.
• Error Hub: 진단된 오류, 대응 원인, 수정 사항을 포함한 번들(Bundle)을 공유하고, 이를 재사용 가능한 디버깅 메모리로 활용하는 공유 저장소 시스템입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM Agent에서 발생하는 오류의 가시성 부족과 근본 원인 분석의 어려움을 해결하기 위해 AgentDebugX를 제안합니다. 복잡한 Agent 환경에서는 최종 오류가 발생한 시점과 실제 원인이 된 행동의 시점이 일치하지 않는 경우가 많아, 단순한 Trace replay만으로는 디버깅에 한계가 있습니다. 기존의 관찰 도구들은 상세한 Trace를 제공하지만 원인 파악 및 수정까지는 연결하지 못하며, 기존의 자가 수정(Self-correction) 방식은 오류의 위치를 알 수 없을 때 신뢰성이 크게 떨어집니다 [Table 1]. 이러한 Gap을 메우기 위해 저자들은 감지부터 재실행까지의 전 과정을 자동화하는 통합 디버깅 프레임워크가 필요함을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 DeepDebug를 중심으로 한 4단계 Closed-Loop 시스템을 제안하며, 이는 글로벌 Trace 이해, 구조적 조사, 교차 검증을 통해 정확한 근본 원인을 진단합니다 [Figure 1]. DeepDebug는 Trace의 전체 문맥을 파악한 후, 단일 Agent 추적은 이분법적 조사(Bisection)를, 다중 Agent 추적은 Handoff 캐스케이드 추적을 통해 원인을 분리합니다. Who&When 벤치마크 실험 결과, qwen3.5-9b 모델 환경에서 DeepDebug는 28.8%의 엄격한(Strict) Agent-and-Step 정확도를 기록하며, 최강의 단일 패스(Single-pass) 베이스라인인 21.7%를 상회했습니다 [Table 2]. 또한 GAIA 벤치마크에서 DeepDebug의 진단 및 수정안을 적용했을 때, 단 한 번의 Rerun만으로도 13개의 실패 과제를 복구하여 기존 베이스라인 대비 2배 이상의 복구 성능을 보였으며, 전체 정확도를 55.8%에서 63.6%로 향상시켰습니다 [Table 3]. 시스템 인터페이스는 로컬 콘솔을 통해 시각적 오류 탐색과 재실행 브랜치 비교를 지원합니다 [Figure 2].

Figure 1 — AgentDebugX 루프 구조

Figure 2 — AgentDebugX 콘솔 UI

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Agent 디버깅을 단순 오류 관찰에서 자동화된 복구 루프로 전환하는 AgentDebugX 프레임워크를 정립하였습니다. 이 연구는 Agent의 신뢰성을 측정 가능한 엔지니어링 실무로 발전시켰으며, 공유 가능한 Error Hub를 통해 조직 간 지식 축적의 기반을 마련했습니다. 향후 이 도구는 Agent가 더 복잡한 실무 환경에 배치될 때 오류 전파를 방지하고, 체계적인 품질 관리를 가능하게 하는 필수 인프라가 될 것으로 기대됩니다.

Figure 3 — 추적 길이에 따른 정확도

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.