[논문리뷰] Lost in Recovery: Demystifying Recovery Behavior of Computer-Use Agents via Goal-Oriented Action Replay

링크: 논문 PDF로 바로 열기

메타데이터

저자: Byeonghun Bang, Sangwoo Park, Jinheon Baek, Kangsan Kim, Youngwan Lee, Sung Ju Hwang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Computer-Use Agents: Keyboard 및 mouse 입력을 통해 디지털 환경을 자율적으로 조작하여 복잡한 워크플로우를 자동화하는 에이전트입니다.
• Transition-Consistent Recovery: 복구된 상태와 목표 상태에서 동일한 후속 조치를 취했을 때, 환경 변화와 최종 결과가 동일하게 나타나는지 검증하는 복구 성공의 정의입니다.
• Goal-Oriented Action Replay: 제안된 방법론의 핵심으로, 오류 발생 전 상태로 돌아가 잔여 액션 시퀀스를 재수행함으로써 에이전트의 복구 성공 여부와 Task 완수 능력을 평가하는 기법입니다.
• ReTrace: 에이전트의 복구 행동을 체계적으로 분석하기 위해 고안된 Scalable 평가 프레임워크입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Computer-Use Agents가 장기적인(Long-horizon) 과업 수행 중 발생하는 오류로부터 스스로 회복하지 못하는 취약성을 해결하고자 합니다. 기존의 환경 재설정(Environment Reset)이나 단순 Action Replay는 상용 환경에서 비효율적이거나 불가능하며, 에이전트의 자율적인 모델 기반 복구 능력은 거의 탐구되지 않았습니다 [Figure 1]. 저자들은 에이전트가 오류 상태에서 이전의 정상 상태로 복귀하여 과업을 완수하는 능력이 결여되어 있다는 점을 문제로 정의합니다. 이를 위해, 단순 시각적 유사성을 넘어 행동적 일관성을 보장하는 자율 복구 프레임워크가 필수적임을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 복구 행동의 체계적 평가를 위한 ReTrace 프레임워크를 제안합니다 [Figure 2]. 저자들은 먼저 성공적인 트레이젝토리를 수집하고 이를 여러 번 재수행하여 결정론적 환경 전환을 보장하는 Transition-Consistent 데이터셋을 구축합니다. 이후, 특정 시점에서 에이전트를 오류 상태로 강제 전환시킨 뒤, Goal-Oriented Action Replay를 통해 에이전트가 복구 후 정상적인 과업 완수가 가능한지 평가합니다. 실험 결과, 이상적인 복구(Ideal Recovery)가 가능할 때 에이전트의 잠재적 과업 완수 능력이 크게 향상됨을 확인했습니다 [Figure 3]. 또한, 현재의 에이전트들은 자발적인 복구 능력이 부족하지만, 명시적인 모델 기반 복구 정책을 도입할 경우 복구 성공률이 10배 이상 향상되어 해당 능력이 내재되어 있음을 입증했습니다 [Figure 4, Figure 5]. 마지막으로, 정확한 모델 기반 복구가 이루어질 때 End-to-End Task Success Rate가 유의미하게 상승하며, 복구의 질이 낮을 경우 오히려 성능을 저하시킬 수 있다는 점을 정량적으로 증명했습니다 [Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Computer-Use Agents의 신뢰성 확보를 위한 핵심 요소로서 '자율적 모델 기반 복구'의 중요성을 확립합니다. ReTrace를 통해 에이전트의 복구 잠재력이 실재함을 밝혀냈으며, 이는 단순히 전진 정책(Forward Policy)을 강화하는 것을 넘어 오류 대응 능력을 강화하는 방향으로 연구 패러다임을 확장시킵니다. 본 연구의 결과는 향후 더 견고하고 복잡한 워크플로우를 처리할 수 있는 에이전트 아키텍처 설계의 기반이 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 에이전트 오류 대응 전략 비교

Figure 2 — ReTrace 프레임워크 개요

Figure 3 — 이상적 복구 시 Success@K 성능

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.