[논문리뷰] UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuxiang Chai, Han Xiao, Xinyu Fu, Jinpeng Chen, Rui Liu, Hongsheng Li

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• UI-KOBE (Knowledge-Oriented Behavior Exploration): 모바일 앱의 UI 상태와 전이(transition)를 지식 그래프 형태로 구조화하여 GUI 에이전트의 의사결정을 가이드하는 프레임워크입니다.
• App Knowledge Graph: 앱의 의미적 UI 상태를 노드(Node)로, 실행 가능한 동작을 엣지(Edge)로 정의하여 저장한 재사용 가능한 데이터 구조입니다.
• Graph-Guided Decision Making: 에이전트가 end-to-end 추론에 의존하는 대신, 그래프를 통해 현재 상태를 식별하고 제한된 범위 내에서 최적의 액션을 선택하는 방식입니다.
• Fallback Planning: 그래프 내에 적절한 경로가 없거나 현재 화면이 매칭되지 않을 때, 에이전트가 일반적인 GUI 에이전트 방식으로 복귀하여 동작을 수행하는 전략입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 모바일 GUI 자동화에서 lightweight 모델이 겪는 End-to-End 계획 수립의 한계를 극복하고자 합니다. 현재 대부분의 GUI 에이전트는 거대한 VLM에 의존하며, 이는 컴퓨팅 자원이 제한적인 온디바이스(on-device) 환경에서 높은 추론 비용과 신뢰성 부족 문제를 야기합니다. 저자들은 작은 모델이 전체 작업을 처음부터 추론하는 대신, 재사용 가능한 앱 지식 정보를 활용하여 의사결정 부담을 줄여야 한다고 지적합니다. 이를 위해, 앱의 행동을 구조화된 그래프로 모델링하고 이를 가이드로 활용하는 새로운 패러다임을 제안합니다 [Figure 1].

Figure 1 — UI-KOBE 전체 프레임워크

## 3. Method & Key Results (제안 방법론 및 핵심 결과) UI-KOBE는 앱의 상태 전이 과정을 자율적으로 탐색하여 지식 그래프를 구축하고, 이를 실행 단계에서 가이드로 활용하는 2단계 프레임워크를 제안합니다 [Figure 2]. 탐색 단계에서는 화면을 관찰하고 노드를 식별하며, 엣지를 기록하는 iterative loop를 통해 앱의 내부 구조를 추상화합니다. 런타임 단계에서 에이전트는 현재 화면을 그래프의 노드와 매칭하고, 그래프상에서 연결된 액션 후보군 중 하나를 선택하여 실행함으로써 추론 오버헤드를 획기적으로 낮춥니다. 실험 결과, AndroidWorld 벤치마크에서 Qwen3.5-4B 모델은 UI-KOBE 적용 시 70.7%의 Success Rate를 기록하여, 적용 전(58.6%) 대비 유의미한 성능 향상을 보였습니다 [Table 2]. 또한 A3 벤치마크에서도 71.5 ESAR와 61 Overall SR을 달성하며, 강력한 베이스라인 모델들을 상회하는 성능을 입증하였습니다 [Table 3].

Figure 2 — UI-KOBE 탐색 및 그래프 구축

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 앱별 지식 그래프를 구축하고 이를 통해 lightweight 모델의 추론 부담을 경감하는 실용적인 GUI 자동화 방법론을 제시합니다. UI-KOBE는 end-to-end planning의 불확실성을 크게 줄여주며, 모델의 크기를 키우지 않고도 성능을 최적화할 수 있음을 보여줍니다. 이러한 접근은 모바일 환경에서의 효율적이고 해석 가능한 온디바이스 에이전트 구현을 위한 중요한 기술적 이정표가 될 것입니다. 향후에는 다양한 OS 환경으로의 확장과 자동화된 탐색 과정의 업데이트 메커니즘 고도화가 기대됩니다.

Figure 3 — eboox 앱 지식 그래프 시각화

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.