[논문리뷰] OSWorld-Pro: Process-based Evaluation for Computer Use Agents

링크: 논문 PDF로 바로 열기

본 논문은 컴퓨터 제어 에이전트(Computer Use Agents)의 평가 체계를 기존의 결과 중심(Outcome-based)에서 과정 중심(Process-based)으로 혁신하기 위해 OSWorld-Pro 프레임워크를 제안한다.

Part 1: 요약 본문

저자: Zhilin Wang, Shaokun Zhang, Yifan Zhang, Hao Zhang, Jin Xu, Binfeng Xu, Jian Hu, Yunheng Zou, Karan Sapra, Andrew Tao, Jan Kautz, Yi Dong

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Computer Use Agents: 복잡한 GUI 환경에서 사용자를 대신하여 소프트웨어를 조작하고 태스크를 수행하는 자율 시스템.
• Process-based Evaluation: 최종 결과물의 성공 여부뿐만 아니라, 에이전트가 목표를 달성하기 위해 거친 단계별 행동(Action)의 논리성과 효율성을 평가하는 방식.
• Action Trajectory: 에이전트가 특정 환경 내에서 상호작용하며 생성한 일련의 단계적 행동 경로.
• OSWorld: 컴퓨터 에이전트의 범용적 능력을 측정하기 위한 오픈 소스 벤치마크 플랫폼.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 기존 컴퓨터 에이전트 평가가 최종 결과물의 성공 여부만 따지는 Outcome-based 측정 방식에 국한되어, 에이전트가 올바른 논리로 작업을 수행했는지 파악하기 어렵다는 문제를 해결한다. 현재의 벤치마크들은 긴 작업 과정에서 발생하는 사소한 실수를 포착하지 못하거나, 에이전트가 운 좋게 성공한 경우(Lucky hit)를 구분해내지 못하는 한계를 지닌다 [Figure 1]. 이러한 불완전한 평가 방식은 에이전트의 추론 능력(Reasoning Capability)을 저해하고, 신뢰성 있는 기술 발전을 가로막는 요소로 작용한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 과정 중심 평가를 구현하기 위해 작업 단계를 세분화하고 각 단계별 정확도를 평가하는 OSWorld-Pro 프레임워크를 도입한다. 이 방법론은 대규모 언어 모델(LLM)을 활용하여 에이전트의 각 행동 단계를 주석(Annotation)하고, 미리 정의된 성공 기준(Success Criteria)에 따라 단계별 준수 여부를 검증한다. 실험 결과, OSWorld-Pro는 단순 성공/실패 점수보다 에이전트의 효율성과 추론 과정을 훨씬 정밀하게 변별하는 것으로 나타났다. 예를 들어, 동일한 최종 성공률을 가진 모델들 사이에서도 OSWorld-Pro를 통해 측정한 프로세스 점수(Process Score)는 모델 간의 논리적 깊이 차이를 약 15-20% 더 명확하게 구분해냈다 [Table 1]. 이러한 다차원적 평가를 통해 에이전트가 수행한 전체 경로에서의 성공적인 단계(Success Steps)와 오류(Error) 패턴을 구체적으로 분석할 수 있다.

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 컴퓨터 에이전트의 평가 패러다임을 결과 중심에서 과정 중심으로 전환함으로써 에이전트 성능 측정의 정밀도를 획기적으로 개선하였다. 제안된 OSWorld-Pro는 단순히 정답 여부만을 확인하던 기존 방식에서 벗어나, 에이전트의 인지적 행동 흐름을 가시화하고 체계적으로 진단할 수 있는 토대를 마련했다. 이러한 연구 결과는 향후 더 안전하고 신뢰할 수 있는 자율 에이전트 개발을 위한 핵심 지표로 활용될 것이며, GUI 환경을 다루는 AI 기술의 상용화 가속화에 크게 기여할 것으로 기대된다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.