[논문리뷰] GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction

링크: 논문 PDF로 바로 열기

메타데이터

저자: Hongxin Li, Yuntao Chen, Zhaoxiang Zhang, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• GUI Element Grounding: 자연어 명령어(Referring Expression)를 바탕으로 GUI 스크린샷 내에서 특정 요소의 좌표(Bounding Box)를 정확하게 탐지하는 작업.
• GoClick: 230M 파라미터의 경량화된 GUI Element Grounding 전문가 모델로, 자원 제약이 있는 모바일 환경에서의 추론을 목표로 함.
• Progressive Data Refinement (PDR): 10.8M 규모의 원시 데이터를 필터링하고 task type별 ratio를 조정하여 3.8M의 고품질 핵심 데이터를 추출하는 파이프라인.
• Device-Cloud Collaboration: 고수준의 작업 계획(Planning)은 클라우드 기반의 대규모 모델(GPT-4o 등)이 담당하고, 정확한 요소 위치 탐지는 경량화된 GoClick이 모바일 기기 상에서 수행하는 하이브리드 추론 프레임워크.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 GUI Agent를 모바일 기기와 같은 자원 제약 환경에 효과적으로 배포하기 위해, 기존 대규모 VLM이 가진 과도한 연산 비용과 메모리 요구사항 문제를 해결하고자 한다. 대부분의 최신 VLM은 2.5B 이상의 파라미터를 사용하여 온디바이스 환경에서 활용하기 어렵다는 한계가 있다. 단순히 기존의 Decoder-only 아키텍처를 축소하는 것은 GUI Element Grounding 작업에서 성능 저하를 초래한다. 따라서 본 연구는 경량화된 규모에서도 고성능을 유지할 수 있는 최적의 아키텍처와 데이터 정제 파이프라인을 구축하는 것을 핵심 문제로 정의한다 [Figure 2].

Figure 2 — GoClick의 추론 속도, 모델 크기, 정확도 간의 압도적인 효율성을 시각화한 핵심 그래프

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 기존 Decoder-only 모델의 한계를 극복하기 위해 Florence-2의 Encoder-Decoder 아키텍처를 채택하고, 이를 고품질 핵심 데이터셋으로 미세 조정하여 GoClick을 개발하였다. 저자들은 데이터의 효율성을 높이기 위해 PDR 파이프라인을 설계하였으며, 이는 구식 GUI 패턴을 제거하고 REG(Referring Expression Generation) 샘플의 부정적 영향을 차단하여 10.8M에서 3.8M으로 64.8% 데이터를 정제하였다 [Figure 4].

Figure 4 — 데이터 수집 및 PDR 파이프라인을 포함한 GoClick의 전반적인 학습 및 데이터 정제 프로세스

성능 측면에서 GoClick은 230M 파라미터라는 매우 작은 크기에도 불구하고, 7B 이상 규모의 경쟁 모델들과 필적하거나 우수한 성능을 입증하였다. 주요 결과는 다음과 같다:

• GoClick-L(0.8B) 모델은 FuncPred 벤치마크에서 69.5%의 정확도를 기록하여 기존 모델들을 크게 상회함 [Table 3].
• GoClick을 통합한 장치-클라우드 협업 에이전트는 AITW 벤치마크에서 기존 단독 proprietary 모델 대비 Step Success Rate (Step SR)를 29.5에서 47.2로 대폭 향상함 [Table 8].
• 추론 속도 면에서 GoClick-B(0.2B)는 7B 모델 대비 TTFT는 1/3, TPOT는 1/5 수준으로 줄여 온디바이스 배포를 위한 최적의 효율성을 달성함 [Table 3].

Table 3 — 다양한 벤치마크에서의 SOTA 모델들과 GoClick의 정량적 성능 및 추론 속도 비교

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 경량 Encoder-Decoder 기반의 GoClick이 자원 제약적인 모바일 환경에서 GUI Element Grounding의 핵심적 솔루션임을 입증하였다. 정교한 데이터 정제 전략인 PDR은 모델 성능과 데이터 효율성을 동시에 달성할 수 있음을 보여주었다. 또한, 클라우드 기반 planner와 온디바이스 grounding expert를 결합한 이 협업 프레임워크는 실제 GUI Agent 성능을 극대화하는 실용적인 경로를 제시한다. 본 연구 결과는 앞으로 모바일 기기에서의 자율 에이전트 개발 및 배포를 위한 표준 가이드라인으로 활용될 것으로 기대된다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.