[논문리뷰] OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use

링크: 논문 PDF로 바로 열기

저자: Hanzhang Zhou, Long Li, Quyu Kong, Lei Wang, Panrong Tong, Long Chen, Tianyu Xia, Gongjie Zhang, Xu Zhang, Chen Liu, Jianan Zhang, Chenglin Cai, Zhengwen Zeng, Steven Hoi, Yue Wang

1. Key Terms & Definitions (핵심 용어 및 정의)

본 논문은 Generalist Computer-Use Agent (GCUA)의 정의를 명확히 하고 Code Execution 및 Harness-to-Model Decision Transfer를 핵심 방법론으로 제안한다.

• Generalist Computer-Use Agent (GCUA): 모델이 visual 및 programmatic 인터페이스 전반에 걸쳐 어떻게 관찰하고, 행동하며, 작업을 조직할지 결정하는 에이전트 시스템을 지칭한다.
• Code Execution: 에이전트 모델이 GUI 작업과 programmatic 작업을 단일 프로그램 내에서 Python 코드로 작성하고 실행하여, 중간 결과에 따라 후속 작업을 결정하고 기존 프로그래밍 능력을 직접 컴퓨터 상호작용에 적용할 수 있도록 하는 기능이다.
• Harness-to-Model Decision Transfer: 에이전트의 워크플로우 제어(예: 스크린샷 요청 시점, task state 추적 방식)를 고정된 harness 규칙 대신 모델이 task에 따라 결정하도록 위임하는 개념이다.
• Cross-Device SDK: 컴퓨터, 모바일 장치 및 브라우저 환경 전반에 걸쳐 하나의 에이전트가 이들 환경을 조정할 수 있도록 하는 공통 프로그래밍 인터페이스를 제공한다.
• Real-Device Harness: 벤치마크 환경에서는 나타나지 않는 실제 사용자 컴퓨터 환경의 복잡한 도전 과제(예: 사용자-에이전트 제어 공유, 변화하는 화면)에 대응하기 위해 설계된 에이전트 실행 환경이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

컴퓨터 사용 에이전트 연구는 GUI-only 상호작용에서 visual 및 programmatic 인터페이스를 통해 사용자 컴퓨터에서 task를 완료하는 시스템으로 초점이 확장되는 전환점에 도달했다. 기존 Computer-Use Agents (CUA) 연구는 주로 GUI-only 에이전트에 집중해왔으나, 최근 GPT-6 Astra와 같은 선도적인 시스템들은 GUI 상호작용과 함께 shell 명령어, accessibility-tree 접근 및 기타 tool들을 결합하며 Code Execution을 권장하고 있다. 이러한 Generalist Computer-Use Agent (GCUA) 시스템의 설계는 기존 GUI-only 에이전트의 한계를 넘어 모델에게 어떤 인터페이스를 제공하고, Code Execution을 어떻게 지원하며, harness와 모델 간에 어떤 결정을 나눌 것인지 등 새로운 디자인 질문들을 제기한다. 그러나 GPT-6 Astra와 같은 선도 시스템들은 대부분 비공개 상태로 유지되어, community의 시스템 동작 재현, 대안 설계 비교, 그리고 디자인 선택이 task 완료 및 비용에 미치는 영향을 체계적으로 연구하는 것을 제한한다. 본 연구는 이러한 문제점을 해결하기 위해 Generalist Computer-Use Agent를 위한 완전한 open stack을 개발하고 community와 공유하는 Open Generalist CUA (OpenGCUA) 프로젝트를 제안한다 [Figure 2].

Figure 2 — Open Generalist CUA 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Open Generalist CUA (OpenGCUA) 프로젝트의 첫 번째 릴리즈를 통해 Code Execution과 Harness-to-Model Decision Transfer라는 두 가지 핵심 에이전트 디자인을 제안한다. Code Execution은 모델이 pyautogui.click()과 같은 GUI 액션과 bash()와 같은 shell 명령어 및 Python 연산을 단일 프로그램 내에서 결합하여 실행할 수 있도록 한다. 이를 통해 모델은 중간 결과에 따라 후속 작업을 결정하고, 루프 및 조건부 로직을 사용하여 여러 작업을 단일 모델 호출 내에서 조정할 수 있다 [cite: 1, Figure 3, Figure 4]. Harness-to-Model Decision Transfer는 모델이 스크린샷 요청 시점(screenshot())이나 task state 추적(todo.update())과 같은 워크플로우 제어 결정을 직접 수행하도록 하여, harness가 고정된 규칙으로 이를 처리하는 대신 task에 따른 유연성을 제공한다 [cite: 1, Figure 5].

OSWorld-v2의 오프라인 데이터셋을 이용한 실험 결과, OpenGCUA의 전체 구성은 GPT-6 Astra, Claude Opus 5를 포함한 8개 frontier 모델 전체에서 task 성능을 향상시키고 효율성을 개선하는 것으로 나타났다 [cite: 1, Table 2]. 특히, 평균 partial score는 batched GUI-only 실행 대비 19.6점 상승했으며, task당 보고된 steps는 평균 53.0% 감소했다 [cite: 1, Table 2, Figure 1]. 또한, 동일한 GUI 및 CLI 접근 권한이 주어졌음에도 불구하고 Code Execution은 GUI+CLI baseline 대비 평균 partial score를 6.1점 높이고 task당 steps를 14.8% 감소시켰다. Harness-to-Model Decision Transfer의 일환인 on-demand observation은 task score를 저하시키지 않으면서 두 모델에 대해 cache hit rate를 10.5%에서 14.4%까지 증가시켰다 [cite: 1, Table 4]. 실제 macOS task에 대한 예비 평가에서는 Qwen3.8-Max가 GPT-6 Astra 대비 19.4배 많은 reasoning token을 사용하여 모델 간의 실제 환경 실행 효율성에서 상당한 차이를 보였다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Generalist Computer-Use Agent를 위한 완전한 open stack을 개발하는 OpenGCUA 프로젝트의 첫 번째 릴리즈를 발표했다. OpenGCUA는 모델이 무엇을 관찰하고, 어떻게 행동하며, 작업을 어떻게 조직할지에 대한 세 가지 핵심 결정에 중점을 둔다. 제안된 Code Execution 방법론은 모델이 GUI 및 programmatic 작업을 중간 결과를 활용하여 조정하고, 기존 프로그래밍 능력을 컴퓨터 상호작용에 직접 적용할 수 있도록 한다. 또한 Harness-to-Model Decision Transfer는 고정된 harness 규칙 대신 모델이 관찰 및 task state 결정에 대한 제어를 갖도록 하여 시스템의 유연성과 효율성을 높인다. 이러한 디자인을 통해 OpenGCUA는 OSWorld-v2 벤치마크에서 모든 평가 모델의 task score를 평균 19.6점 향상시키고 task당 steps를 평균 53.0% 감소시키는 중요한 성과를 달성했다. 이 연구는 폐쇄적인 최신 에이전트 시스템의 한계를 극복하고, Generalist Computer-Use Agent의 모델, 실행 시스템, 그리고 실제 환경 평가 발전을 위한 개방형 연구 기반을 제공하여 해당 분야의 체계적인 연구와 community 기여를 촉진하는 데 크게 기여할 것이다.

Figure 1 — OSWorld-v2 및 Real-Device 결과 비교

Figure 3 — 코드 실행 패턴: 동작 및 확인 조정

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.