[논문리뷰] CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements

링크: 논문 PDF로 바로 열기

저자: Xinlei Yu, Gen Li, Ji Zhao, et al.

1. Key Terms & Definitions

• CUA (Computer-use Agents): 다양한 소프트웨어 애플리케이션에 걸쳐 실제 워크플로우를 자동화하는 에이전트를 의미합니다.
• Hybrid Action Space: GUI (Graphical User Interface) 및 CLI (Command-Line Interface) 작업을 모두 지원하는 통합된 Atomic action space입니다.
• Recursive Flywheel: 에이전트의 Capabilities를 지속적으로 향상시키는 반복적인 개선 프레임워크를 지칭하며, CUA-Master는 Nested double-loop recursive improvement framework를 제안합니다.
• Open-world Seeding: Open-world corpus에서 Instructional videos로부터 Authentic workflows를 Seed task로 마이닝하는 과정입니다.
• Autocatalytic Propagation: Open-world seeds를 Reusable primitives로 변환하여 Diverse, complex, verifiable tasks의 Controllable synthesis를 가능하게 하는 메커니즘입니다.
• Snapshot-Rollback Retry Mechanism: 유효한 Execution prefixes를 보존하고 Localized failures로부터 복구하여 효율적이고 신뢰할 수 있는 Trajectory collection을 가능하게 하는 Feedback-guided 방식입니다.

2. Motivation & Problem Statement

본 논문은 Computer-use Agents (CUAs)의 개발이 Interaction data의 제한적인 Diversity, Controllability, Reliability에 의해 제약받는 문제를 해결하고자 합니다. 기존의 Optimization pipelines은 Iterative feedback이 부족하고, Self-generated experiences에 의존하는 기존의 Recursive improvement approaches는 Ability expansion을 제한하며 Diminishing returns를 초래했습니다. 이는 Data construction과 Model optimization이 결합되고 Recursive하게 개선되는 방식에 근본적인 Bottleneck이 존재하여, 추가 Data가 편향된 이점을 제공하고 Persistent capability gaps를 해결하지 못하는 결과를 낳습니다. Synthetic data generation에 있어서도 다양성 부족 (Task homogeneity), Operational abilities, Complexity, Task dependencies에 대한 제한적인 Controllability, 그리고 Diverse real-world environments에서의 Verified trajectories 수집의 낮은 Reliability라는 세 가지 상호 연결된 과제가 존재합니다.

3. Method & Key Results

본 논문은 Unidirectional data pipelines 및 Closed-world self-improvement의 한계를 극복하기 위해, Outer world-data-model flywheel과 Inner data flywheel로 구성된 Nested double-loop recursive improvement framework인 CUA-Master를 제안합니다 [Figure 2]. System-level에서 Outer flywheel은 Open-world corpus를 지속적으로 통합하고, Evolving model weaknesses를 활용하여 후속 Data construction 및 Optimization iterations를 안내합니다. Data-level에서 Inner flywheel은 Open-world seeding과 Autocatalytic propagation을 결합합니다. Open-world seeding은 Instructional videos에서 Authentic workflows를 Seed task로 마이닝하고, Visual-semantic dual-path trajectory reconstruction을 활용합니다. Autocatalytic propagation은 이 Seeds를 Reusable primitives로 변환하여 Diverse, complex, verifiable tasks를 Controllable하게 합성합니다. 효율적이고 신뢰할 수 있는 Trajectory collection을 위해 Feedback-guided snapshot-rollback retry mechanism을 도입하여, 유효한 Execution prefixes를 보존하고 전체 Rollouts를 재시작할 필요 없이 Localized failures에서 복구합니다.

Figure 2 — CUA-Master 재귀적 플라이휠 개요

Extensive experiments를 통해 CUA-Master-27B는 GUI-only 및 GUI-CLI Hybrid benchmarks에서 경쟁력 있는 성능을 달성했습니다 [Figure 1]. 특히, OSWorld Verified에서 80.2, OSWorld 2.0에서 36.9, WeaveBench에서 43.9, Agents’ Last Exam에서 25.0의 점수를 기록했습니다 [Table 1]. 유사한 규모의 Specialist model인 UI-Mate-27B와 비교하여, CUA-Master-27B는 네 가지 벤치마크에서 각각 2.6, 12.9, 25.6, 11.8점의 일관된 성능 향상을 보였습니다. 제안하는 Framework는 또한 유리한 Performance-efficiency trade-off를 시연하며, 다른 모델 대비 현저히 단축된 Wall-clock runtime으로 경쟁력 있는 점수를 달성했습니다 [Figure 3]. 예를 들어, WeaveBench에서 GPT-5.6-Luna와 동등한 점수를 기록하면서도 28% 더 적은 Runtime을 필요로 했습니다. Hybrid action space (GUI+CLI)의 도입은 Task performance 및 Execution efficiency를 크게 향상시켰으며, WeaveBench에서 GUI-only 및 CLI-only 모드보다 각각 37.3점 및 32.4점 높은 점수를 달성했습니다. Data flywheel은 광범위한 Task diversity를 가져왔으며, 기존 CUA dataset의 여러 분포를 포괄하고 Rollout success rates를 크게 향상시켜, K=40 primitives 및 N=3 applications를 포함하는 Task에서 Baseline 대비 14.6%에서 거의 50%의 성공률을 기록했습니다 [Table 3]. World-data-model flywheel은 연속적인 Training iterations에 걸쳐 지속적인 성능 향상을 보였으며, 최종 RL 단계는 OSWorld 2.0 및 Agents’ Last Exam과 같은 Challenging tasks에서 약 15점의 성능 향상을 가져왔습니다.

Figure 1 — 벤치마크 성능 비교

4. Conclusion & Impact

본 연구에서는 Unidirectional data pipelines 및 Closed-world self-improvement의 한계를 극복하는 Nested double-loop recursive framework인 CUA-Master를 제안했습니다. 시스템 수준에서는 World-data-model flywheel이 Open-world knowledge를 지속적으로 통합하고 Evolving model weaknesses를 활용하여 후속 Iterations을 안내합니다. 데이터 수준에서는 Visual-semantic trajectory reconstruction, Primitive-based task composition, Feedback-guided snapshot-rollback retries를 통합하여 Diverse, controllable, reliable data synthesis를 가능하게 하는 보완적인 Data flywheel을 구축했습니다. Extensive experiments를 통해 CUA-Master-27B는 GUI-only 및 GUI-CLI hybrid benchmarks에서 경쟁력 있는 성능과 강력한 Execution efficiency, 그리고 Recursive iterations에 걸친 일관된 개선을 입증했습니다. 이러한 결과는 CUA-Master가 Open world로부터 지속적인 학습 및 적응을 가능하게 함으로써, 더욱 General하고 Capable한 Computer-use Agents를 개발하는 데 있어 중요한 시사점을 제공합니다.

Figure 5 — GUI+CLI 하이브리드 CUA 실행 시연

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.