[논문리뷰] Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuqi Huang, Hui Li, Yifei Cao, Zikun Cai, Tianci Xie, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• WorkRecorder: 인간의 GUI 작업 시 화면 영상, 마우스/키보드 이벤트, 그리고 Accessibility Tree(AX) 정보를 정밀하게 동기화하여 수집하는 프레임워크의 핵심 인프라입니다.
• WorkDemo-350: 본 논문에서 구축한 350개의 고품질 인간 GUI 데모셋으로, 재사용 가능한 Agent Skill 도출 및 성능 평가를 위한 표준화된 데이터셋입니다.
• Agentic Skill Induction: 인간의 작업 기록을 단순히 나열하는 것이 아니라, 에이전트가 필요할 때마다 증거를 능동적으로 탐색(Active Evidence Acquisition)하여 작업 규칙, 단계적 의존성, 완료 조건을 포함한 재사용 가능한 Skill을 생성하는 방법론입니다.
• Skill-based Evaluation: 생성된 Skill을 에이전트의 프롬프트 뒤에 별도의 가이드라인으로 삽입하여, 실제 환경에서 에이전트의 태스크 수행 성능을 평가하는 프로토콜입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 범용 컴퓨터 사용 에이전트가 인간의 도메인 지식이 필요한 낯선 소프트웨어나 복잡한 워크플로우를 처리하는 과정에서 겪는 한계를 해결하고자 합니다. 기존의 데모 기반 학습 방식은 정적인 기록에 의존하거나, 작업의 핵심 규칙과 세부 사항을 분리하지 못해 재사용성이 떨어지는 문제를 안고 있습니다 [Figure 1]. 또한, 단순히 좌표나 액션 트레이스만을 참조하는 방식은 인터페이스의 의미론적 맥락을 파악하기 어렵게 합니다. 따라서 저자들은 인간의 GUI 경험을 체계적으로 캡처하고, 이를 추상화하여 다양한 환경과 모델에서 활용할 수 있는 Skill을 도출하는 통합 프레임워크를 제안합니다.

Figure 1 — Work2Skill 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Work2Skill 프레임워크를 통해 GUI 데모를 수집하고, 이를 바탕으로 에이전트가 능동적으로 증거를 탐색하여 Skill을 도출하는 과정을 구현했습니다 [Figure 2]. WorkRecorder는 시각적 정보와 AX(Accessibility) 트리 정보를 동기화하여, 에이전트가 특정 액션의 의미와 주변 상태 변화를 명확히 이해하도록 지원합니다 [Figure 3]. 생성된 Skill은 단순히 동작 순서를 담는 것이 아니라, 작업 완료 체크리스트와 의존성을 포함하는 구조화된 문서 형태입니다. 실험 결과, Work2Skill을 적용한 에이전트는 No Skill 베이스라인 대비 MyPCBench 환경에서 평균 스코어를 4.6710.54점 개선하였으며, OSWorld-Verified 환경에서도 3.117.50점의 유의미한 성능 향상을 보였습니다 [Table 1]. 특히, 새로운 태스크 인스턴스에 대한 일반화 성능과 모델 간의 Skill 전이 능력에서도 우수한 성과를 입증했습니다 [Table 2].

Figure 2 — Work2Skill 워크플로우 다이어그램

Figure 3 — WorkRecorder를 통한 데이터 수집

4. Conclusion & Impact (결론 및 시사점)

본 연구는 인간의 GUI 인터랙션을 고품질 데이터로 변환하고, 이를 에이전트가 이해 가능한 형태의 재사용 가능한 Skill로 자동 추출하는 혁신적인 프레임워크를 제시합니다. Work2Skill은 GUI 기반 에이전트의 지식 획득 프로세스를 자동화함으로써, 복잡한 소프트웨어 환경에서의 범용적인 태스크 수행 능력을 크게 향상시켰습니다. 이러한 접근 방식은 향후 인간의 작업 효율을 극대화하는 자율 에이전트 개발에 중요한 기반 기술이 될 것이며, 학계와 산업계에서 GUI 기반 워크플로우 자동화를 촉진하는 핵심적인 역할을 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.