[논문리뷰] iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols, Eldon Schoop

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Personalized Mobile-Use Agent: 사용자의 과거 활동 내역과 의도를 파악하여 개인화된 모바일 태스크를 수행하는 에이전트.
• Underspecified Tasks: 사용자 요청 정보가 완전하지 않아 에이전트의 추론(Infer)이나 사용자 확인(Ask)이 필수적으로 요구되는 태스크.
• Inferable Information: 사용자의 과거 활동 내역(Activity History)을 통해 논리적으로 도출 가능한 사용자 선호도 또는 정보.
• Ask-only Information: 과거 데이터에 존재하지 않아 반드시 사용자와의 상호작용(Ask_user)을 통해서만 획득 가능한 정보.
• Interaction Recall/Precision: 사용자의 의도를 파악하기 위해 필요한 질문을 얼마나 잘 포착했는지(Recall)와, 불필요한 질문을 얼마나 억제했는지(Precision)를 평가하는 지표.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 최신 Computer-use agents(CUA)가 태스크 실행 능력은 뛰어나지만, 실제 사용자의 미지정(Underspecified) 요청을 개인화하여 처리하는 능력이 부족하다는 문제를 해결하고자 합니다 [Figure 1]. 기존 벤치마크는 태스크가 완전히 정의되어 있거나, 개인화 정보와 상호작용 능력을 동시에 평가하지 못한다는 한계가 있습니다. 이에 따라 저자들은 에이전트가 정보를 '추론(Infer)'해야 하는 상황과 '질문(Ask)'해야 하는 상황을 명확히 구분하여 평가하는 프레임워크의 필요성을 제기합니다. 결과적으로, 에이전트가 사용자의 컨텍스트를 얼마나 잘 이해하고 적절한 시점에 적절한 질문을 던지는지를 평가하는 것이 본 연구의 핵심 목표입니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 iPrefBench를 제안하며, 이는 130개의 미지정 태스크와 3,051개의 과거 활동 이벤트로 구성된 iOS 환경 기반의 벤치마크입니다. 에이전트는 사용자의 활동 이력을 바탕으로 선호도를 유추하고, 불충분한 정보는 ask_user 액션을 통해 획득해야 합니다 [Figure 1]. 실험 결과, 7개의 주요 Frontier 에이전트(예: Claude Opus 5, Gemini 3.1 Pro 등)는 Action Completion 성능(최대 91.6%)에 비해 실제 개인화 성공률(Full Task Success, 최대 47.7%)이 현저히 낮게 나타났습니다 [Table 1]. 특히 Ask-only 정보 처리 과정에서 Recall이 44.3% 이하로 매우 저조하며, 질문의 Precision 또한 60~77% 수준에 머물러 에이전트들이 질문의 필요성을 판단하는 데 어려움을 겪고 있음을 확인했습니다. Table 2와 Figure 4에서 볼 수 있듯, 사전 질문 단계(Pre-execution Clarification)를 추가하면 Recall은 향상되지만 Precision은 하락하는 트레이드오프 관계가 존재함을 정량적으로 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 미지정 사용자 요청을 처리하는 에이전트의 개인화 능력을 평가하기 위한 iPrefBench를 성공적으로 구축하였습니다. 연구 결과, 현재의 대규모 언어 모델 기반 에이전트들은 정형화된 태스크 수행 능력은 우수하나, 사용자의 고유한 정보와 맥락을 기반으로 '언제 질문해야 하는지'를 결정하는 능력에는 여전히 큰 격차가 있음을 시사합니다. 이 벤치마크는 향후 인간의 의도를 정확히 파악하고 사용자에게 과도한 부담을 주지 않으면서 효율적으로 협업하는 지능형 에이전트 개발을 위한 중요한 테스트베드가 될 것입니다.

---

Part 2: 중요 Figure 정보

Figure 1 — iPrefBench의 평가 프레임워크 개요

Figure 2 — 태스크 변수별 에이전트 성능 변화

Figure 3 — 에이전트 개인화 실패 유형 분포

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.