[논문리뷰] Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• GUI Agents: GUI 환경에서 인간의 의도를 이해하고 인터페이스를 조작하여 복잡한 디지털 작업을 수행하는 지능형 에이전트.
• Hybrid Action Space: GUI 기반의 상호작용과 CLI 기반의 코드 실행 및 API 호출을 단일 모델이 유기적으로 결합하여 사용하는 액션 체계.
• AutoResearch-style Data Flywheel: 에이전트가 직접 작업을 생성, 평가, 분석하고 실패를 진단하여 다음 반복 학습 데이터를 구축하는 자동화된 학습 루프.
• Online RL: 10,000개 이상의 동시 환경에서 100 turns 이상의 장기 궤적(Long-horizon trajectory) 학습을 지원하는 강화학습 프레임워크.
• Harness Layer: 모바일과 컴퓨터 간의 크로스 플랫폼 워크플로우를 유지하고 알림 기반의 Proactive 서비스를 가능하게 하는 중간 연결 계층.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 GUI Agent들이 주로 시뮬레이션 환경에 최적화되어 있어 실제 현실 환경과의 괴리(Sim-to-Real gap)가 크다는 문제를 해결하기 위해 Qwen-UI-Agent를 제안한다. 기존 연구들은 단순한 환경에서의 성공에 집중하고 있으나, 실제 환경은 예측 불가능한 UI 변경, 보안 팝업, 네트워크 변수 등으로 인해 에이전트의 성능 저하가 빈번하게 발생한다 [Figure 3]. 또한, 단일 도메인 위주의 설계로 인해 크로스 플랫폼 워크플로우를 수행하거나 장기적인 계획을 수립하는 데 한계가 존재한다. 따라서 본 연구는 실사용 환경에서 안정적으로 동작하며, GUI와 CLI를 결합하고, 자동화된 데이터 루프를 통해 지속적으로 진화할 수 있는 차세대 Foundation GUI 에이전트 개발을 목표로 한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 모바일, 컴퓨터, 웹, DeepSearch를 아우르는 범용적 GUI 에이전트를 구현하기 위해 환경 인프라를 혁신하고 Online RL과 Supervised Fine-Tuning(SFT)을 결합한 통합 학습 프레임워크를 도입한다 [Figure 2]. 특히, 100개 이상의 물리적 모바일 디바이스와 150개 이상의 앱을 포함하는 Real-device Mobile Runtime을 구축하여 실제적인 시나리오를 학습한다 [Figure 4]. 제안된 모델은 GUI 액션과 CLI 커맨드를 단일 모델 턴에서 조합하거나 배치(Batched) 실행하여 작업 효율성을 극대화한다. 주요 실험 결과로, MobileWorld-Real 벤치마크에서 92.2%의 성공률을 기록하며 Gemini 3.1 Pro 및 Claude Opus 4.8 대비 우수한 성능을 보였다. 또한, OSWorld-Verified에서 79.5%의 성공률을 달성하고, 웹 환경인 WebArena에서 73.6%를 기록하여 컴퓨터 및 브라우저 제어 분야에서도 최상위권 성능을 증명하였다 [Figure 1].

Figure 1 — 모델 성능 비교

Figure 2 — 에이전트 트래젝토리 예시

Figure 4 — 실제 디바이스 환경

4. Conclusion & Impact (결론 및 시사점)

본 논문은 실세계 중심의 차세대 GUI 에이전트인 Qwen-UI-Agent를 통해 시뮬레이션-현실 간의 간극을 효과적으로 극복하였다. 제안된 시스템은 크로스 플랫폼 워크플로우, Proactive 서비스, 그리고 자동화된 데이터 개선 루프를 통해 에이전트의 실질적인 유용성을 크게 증대시켰다. 본 연구는 향후 범용 에이전트가 단순한 작업을 넘어 전문적인 워크플로우를 대행하는 기반 기술로서 산업계의 디지털 자동화 표준을 제시한다. 결과적으로 본 모델은 GUI 에이전트가 학문적 벤치마크를 넘어 실제 사용자의 일상을 지원하는 Foundation 모델로 도약할 수 있는 중요한 이정표를 마련했다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.