[논문리뷰] UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

링크: 논문 PDF로 바로 열기

저자: Niu Lian, Alan Chen, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• UI-MOPD: 본 논문에서 제안하는 Multi-Platform On-Policy Distillation 프레임워크로, GUI agent가 서로 다른 플랫폼(데스크탑, 모바일)의 행동 양식을 유지하며 효율적으로 학습할 수 있도록 함.
• Uni-GUI: 제안 모델의 학습을 위해 구축된 고품질의 교차 플랫폼 GUI 상호작용 데이터셋으로, 데스크탑과 모바일 환경의 약 1만 개의 고품질 궤적(trajectories)을 포함함.
• On-Policy Distillation (OPD): 학생 모델(student model)이 현재 정책(current policy)에서 샘플링한 궤적에 대해 교사 모델(teacher model)의 행동 분포를 모방하도록 유도하는 강화학습 기법임.
• Platform-Conditioned Teacher Routing: 환경의 플랫폼 정보에 따라 적절한 교사 모델을 동적으로 선택하여 학생 모델에게 플랫폼별 행동 지침을 제공하는 메커니즘임.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

GUI agent는 단일 플랫폼을 넘어 다양한 환경(데스크탑, 모바일)으로 확장되고 있으나, 플랫폼 간 이질적인 상호작용 방식과 높은 품질의 교차 플랫폼 궤적 부족으로 인해 학습에 어려움을 겪고 있다 [Figure 1]. 기존 연구들은 단순히 데이터를 통합하거나 여러 모델을 병합(Model Merging)하는 방식을 사용했으나, 이는 플랫폼별 행동 패턴이 뒤섞이는 '행동 관습 혼재(behavioral convention mixing)' 문제와 특정 플랫폼 능력의 저하 및 '파괴적 망각(catastrophic forgetting)'을 초래한다. 따라서 본 논문은 공통된 정책을 유지하면서도 플랫폼별 상호작용 고유성을 보존하는 통합 GUI agent 학습 방법론의 필요성을 제기한다.

Figure 1 — UI-MOPD의 연구 동기 및 개념도

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 UI-MOPD를 통해 플랫폼별 교사 모델을 활용한 다중 교사 온-정책 증류(Multi-Teacher On-Policy Distillation)를 GUI agent 학습에 도입한다 [Figure 2]. UI-MOPD는 플랫폼별 행동 분포를 조건부(platform-conditioned)로 학생 모델에게 전송하여, 강화학습 과정에서 상호작용 방식이 혼재되지 않도록 고정적인 '행동 닻(behavioral anchors)' 역할을 수행하게 한다. 또한, Adaptive KL Masking을 적용하여 정책 성능이 이미 충분한 경우 강제적인 규제를 완화하고, 필요한 상황에서만 정교한 지도를 제공하도록 최적화하였다. 실험 결과, UI-MOPD는 OSWorld와 MobileWorld에서 각각 38.2%와 12.0%의 성공률을 기록하였다 [Table 1]. 이는 베이스 모델 대비 각각 12.7% 및 55.8%의 상대적 성능 향상을 달성한 수치이며, 기존의 Mixed-SFT나 Model Merge 기법들보다 월등한 성능 우위를 입증하였다.

Figure 2 — UI-MOPD 학습 파이프라인

4. Conclusion & Impact (결론 및 시사점)

본 논문은 UI-MOPD가 GUI agent의 교차 플랫폼 적응력을 높이고, 플랫폼별 상호작용 능력을 성공적으로 보존할 수 있음을 입증하였다. 제안된 방법론은 파괴적 망각 없이 새로운 환경으로 지속적 학습(continual learning)을 확장하는 경로를 제시하였다. 본 연구의 결과는 향후 다양한 디지털 플랫폼을 넘나드는 통합 GUI agent의 개발에 있어 중요한 학술적 기반을 제공할 것으로 기대된다.

Figure 3 — 모바일 작업 수행 사례

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.