[논문리뷰] Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training

링크: 논문 PDF로 바로 열기

메타데이터

저자: Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, Heng Ji

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Agent Error Dataset (AED): 33개 환경, 19개 harness, 232개 모델을 포함하여 수집된 50,228개의 Error-Diagnosis 쌍으로 구성된 대규모 데이터셋입니다.
• AET (Agentic Error-to-Training) Pipeline: 실제 실패 사례를 수집하고, 이에 대한 Diagnosis(진단) 및 보정(Correction)을 생성한 뒤, 기록된 Evidence를 통해 검증하는 5단계 데이터 생성 파이프라인입니다.
• Matched Replay: 동일한 checkpoint와 실행 조건(execution settings)에서 원래의 액션과 제안된 보정 액션을 비교하는 검증 기법입니다.
• Action-Only Repair Training: 성공 사례에만 의존하는 기존 학습과 달리, 실패 사례의 보정된 액션(corrected behavior)을 직접 학습하여 모델의 복구 능력을 최적화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM Agent의 실패 경험을 단순 보상(Reward) 학습의 범위를 넘어, 명확한 오류 진단 및 보정 액션 학습을 통해 재발을 방지하는 체계적인 방법을 제안합니다. 기존 연구들은 실패 모드 분류나 오류 단계 식별에 집중했으나, 이러한 정보가 실제 모델의 행동(Acting policy)을 수정하기 위한 구체적인 대안적 액션(Alternative action)으로 직접 연결되지 못하는 한계가 있었습니다. 특히, 다양한 실행 환경과 설정 사이에서 오류를 일관되게 분석하고 학습할 수 있는 통합된 대규모 자원이 부족했습니다. 본 연구는 이러한 간극을 해결하기 위해 자연스럽게 발생한 실패 사례를 진단과 함께 데이터화하여 Agent의 Post-training 성능을 극대화하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 AET 파이프라인을 구축하여 실패한 실행 추적(Trace)으로부터 오류의 원인을 진단하고 수정 데이터를 자동 생성하는 프레임워크를 설계했습니다. 이 파이프라인은 수집된 실패 사례를 Diagnosis(진단)와 Actor Recovery(행동 복구)라는 두 가지 독립적인 Training View로 분리하여 학습에 활용합니다. 실험 결과, 3,062개의 Matched Replay 쌍에서 본 연구의 보정 기법을 적용했을 때, Verifier Pass Rate가 기존 18.4%에서 51.1%로 32.7%p 향상되었습니다. 또한, Qwen3-8B 모델을 활용한 정량적 평가에서, AED 기반의 Full-diagnosis Fine-tuning을 수행한 모델은 내부 Teacher 라벨과의 정답 일치도(Exact-step agreement)가 63.6%를 기록하여, 강력한 프롬프트 기반의 참조 모델(54.7%) 대비 우수한 성능을 보였습니다. 추가로 WebShop-lite 환경에서 Action-Only Repair Training을 수행했을 때, 성공 사례만 학습한 경우보다 행동 복구 정확도가 6.67%p 높게 나타났습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 대규모 Agent Error Dataset을 구축함으로써 Agent의 실패 분석과 오류 인지적 Post-training의 새로운 표준을 제시했습니다. 성공적인 실험 결과는 단순한 결과 기반 학습(Outcome-based learning)에서 벗어나, 오류의 맥락을 이해하고 보정 액션을 학습하는 방식이 Agent의 실질적인 문제 해결 능력 향상에 필수적임을 입증합니다. 본 데이터셋과 방법론은 향후 복잡한 도구 사용 및 장기적 추론이 필요한 Agent 시스템의 신뢰성과 강건성(Robustness)을 확보하는 데 중요한 학계적/산업적 토대가 될 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.