[논문리뷰] GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding

링크: 논문 PDF로 바로 열기

저자: Md Abrar Jahin, Md Rizwan Parvez, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• GUI Grounding: Natural-language instructions를 사용하여 screenshot에서 interface elements를 정확히 locate하는 task를 의미합니다.
• GUI-Primitives: GUI screenshot에서 7가지 elementary spatial relations에 대한 Vision-Language Models (VLMs)의 성능을 진단하기 위해 고안된 994-item contrastive-pair benchmark입니다.
• Minimal-Pair Construction: Benchmark item 생성 방식으로, screenshot과 anchor는 고정하고 relation expression만 변경하여, 올바른 target element가 두 designated candidates 사이에서 contrastive하게 이동하도록 설계됩니다.
• Point-in-Box Accuracy: 예측된 click coordinate (x^,y^)가 ground-truth target box ([x1,x2],[y1,y2]) 내에 정확히 fall하는지 여부를 판단하는 주요 metric입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Computer-use agents는 screenshot을 기반으로 natural-language instructions를 GUI에 grounding하여 interface elements를 찾아냅니다. 그러나 기존의 benchmark들은 Vision-Language Models (VLMs)가 relational language를 올바른 element에 bind하는 elementary spatial reasoning skill을 명확히 isolate하지 못하는 한계점을 가지고 있습니다. End-to-end benchmark인 OSWorld는 grounding과 planning, action을 통합 평가하며, ScreenSpot-Pro와 같은 coarse grounding benchmark는 단순히 click이 target box 내에 landing하는지 여부만 측정할 뿐, spatial primitive별 failure 원인을 분리해내지 못합니다. 이로 인해 agent가 잘못된 GUI element를 click했을 때, 어떤 근본적인 spatial reasoning skill이 부족한지 진단하기 어렵습니다. 본 연구는 이러한 진단적 gap을 해소하고, GUI grounding에 필수적인 개별 spatial reasoning 능력을 정확하게 평가하기 위한 제어된 진단적 접근 방식의 필요성을 제기합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Vision-Language Models의 GUI groundingにおける spatial reasoning failure를 진단하기 위해 GUI-Primitives라는 994-item contrastive-pair benchmark를 제안합니다. 이 benchmark는 rel-pos-horizontal, rel-pos-vertical, containment, alignment, proximity, list-ordinal, occlusion의 7가지 elementary spatial relations를 다룹니다. 각 item은 screenshot과 anchor를 고정한 채 relation expression만을 변경하는 minimal-pair construction 방식으로 설계되어, 모델이 단순한 salience나 answer prior에 의존하지 않고 relational understanding을 통해 target을 식별하도록 강제합니다 [Figure 2]. 데이터는 real desktop screenshots (UI-Vision)와 containment, occlusion과 같은 특정 primitive를 clean하게 얻기 위한 procedurally rendered synthetic stimuli를 포함합니다. 5명의 annotators가 196-item subset에 대해 human verification을 수행하여 높은 agreement (Fleiss κ=0.94 for well-formedness, κ=0.79 for target selection)를 확인했습니다.

19개 VLM을 대상으로 한 평가 결과, 최강 모델인 Claude Opus 4.7조차 human-clean subset에서 최대 32%의 strict point-in-box accuracy를 달성하여, 인간 성능(96.9%) 대비 65-point gap을 보였습니다. 특히, 모델의 prediction은 60–92%의 경우 두 candidate region 모두 outside에 fall했으며, candidate region 내에 fall한 prediction에 대해서는 containment 및 occlusion primitive에서 0.50과 유의미한 차이를 보이지 않았습니다. 이는 모델의 failure가 relation understanding보다는 candidate localization 문제에 크게 기인함을 시사합니다 [Figure 5]. 또한, GUI-Primitives accuracy는 downstream GUI grounding benchmark인 ScreenSpot-Pro accuracy와 Spearman ρ=+0.74 (p=0.015)의 높은 correlation을 보이며, primitive competence가 실제 grounding 성능을 예측하는 유효한 진단 지표임을 입증했습니다 [Figure 7]. training-free intervention 중 Oracle two-candidate marking (SoM)은 GPT-5의 selection accuracy를 30%에서 87%로 57 percentage points 향상시키는 등 35–57 percentage points의 상당한 gain을 가져왔습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 GUI grounding task에서 Vision-Language Models의 spatial reasoning 능력이 여전히 매우 취약하며, 최강의 모델조차 인간 성능과 큰 격차를 보인다는 점을 명확히 밝혔습니다. 특히, 모델의 실패는 관계어 해석 능력보다는 목표 element를 정확하게 찾아내는 candidate localization의 문제에 주로 기인함을 진단했습니다. GUI-Primitives benchmark는 VLM의 개별 spatial primitive competence를 진단하고, 이것이 ScreenSpot-Pro와 같은 downstream GUI grounding task의 성능과 유의미하게 연관됨을 보여주며, 향후 GUI agent 개발을 위한 중요한 diagnostic tool로서의 가치를 입증했습니다. Set-of-Mark (SoM)와 같은 inference-time intervention이 candidate localization 문제에 효과적인 개선을 가져올 수 있음을 보였으나, 이는 근본적인 skill gap을 해결하는 방식이라기보다는 진단적 상한선을 제시하는 scaffold에 가깝습니다. 이 연구는 Vision-Language GUI grounding 분야에서 모델의 취약점을 심층적으로 분석하고, perception 및 cross-modal binding 측면에서의 개선 필요성을 제기함으로써, 보다 robust하고 safer한 GUI agent 개발을 위한 중요한 연구 방향을 제시합니다.

Figure 1 — GUI-Primitives 데이터셋 구성 파이프라인

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.