본문으로 건너뛰기

#GUI Agent

14개의 포스트

[논문리뷰] Recovering Policy-Induced Errors: Benchmarking and Trajectory Synthesis for Robust GUI Agents

본 논문은 최신 GUI 에이전트가 뛰어난 성능을 보임에도 불구하고, 실행 과정에서 발생하는 Policy-Induced Errors를 인지하고 복구하는 능력이 부족하여 실제 배포에 한계가 있다는 문제를 해결하고자 합니다.
#Review#GUI Agent#Robustness#Trajectory Synthesis#Policy-Induced Errors#Error Recovery#VLM
댓글 수 로딩 중

[논문리뷰] UI-KOBE: Knowledge-Oriented Behavior Exploration for Lightweight Graph-Guided GUI Agents

본 논문은 모바일 GUI 자동화에서 lightweight 모델이 겪는 End-to-End 계획 수립의 한계를 극복하고자 합니다. 현재 대부분의 GUI 에이전트는 거대한 VLM에 의존하며, 이는 컴퓨팅 자원이 제한적인 온디바이스(on-device) 환경에서 높은 추론 비용과 신뢰성 부족 문제를 야기합니다.
#Review#GUI Agent#Knowledge Graph#Autonomous Exploration#On-device AI#Lightweight Model#Mobile Automation
댓글 수 로딩 중

[논문리뷰] Video2GUI: Synthesizing Large-Scale Interaction Trajectories for Generalized GUI Agent Pretraining

본 논문은 GUI 에이전트의 일반화 성능을 저해하는 대규모 학습 데이터의 부족 문제를 해결하고자 합니다. 기존 연구들은 고비용의 수동 주석 데이터셋이나 제한적인 시뮬레이션 환경에 의존하여 확장성에 한계를 보입니다.
#Review#GUI Agent#Pretraining#Interaction Trajectory#Multimodal Large Language Models#Scalable Data Synthesis#Action Grounding
댓글 수 로딩 중

[논문리뷰] GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction

본 연구는 GUI Agent를 모바일 기기와 같은 자원 제약 환경에 효과적으로 배포하기 위해, 기존 대규모 VLM이 가진 과도한 연산 비용과 메모리 요구사항 문제를 해결하고자 한다. 대부분의 최신 VLM은 2.5B 이상의 파라미터를 사용하여 온디바이스 환경에서 활용하기 어렵다는 한계가 있다.
#Review#GUI Agent#Vision-Language Model#Visual Grounding#Data Refinement#Model Compression#Encoder-Decoder Architecture
댓글 수 로딩 중

[논문리뷰] UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

Multimodal Large Language Models (MLLMs)의 발전과 함께 자율 모바일 GUI Agent에 대한 관심이 증가하고 있지만, 기존 방법론들은 비효율적인 실패 궤적(failed trajectory) 학습과 장기(long-horizon) GUI 태스크에서 희소한 보상(sparse rewards)에 따른 모호한 Credit Assignment 문제에 직면하고 있습니다.
#Review#GUI Agent#Self-Evolving Learning#Rejection Fine-Tuning (RFT)#Group Relative Self-Distillation (GRSD)#Credit Assignment#Sparse Rewards#Mobile Automation#Multimodal Large Language Models (MLLMs)
댓글 수 로딩 중

[논문리뷰] WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning

본 논문은 웹사이트 코드 생성과 같이 시각적 요소와 사용자 상호작용 피드백이 중요한 태스크에서, 기존 코드 에이전트들이 단순한 코드 실행 피드백에만 의존하여 실제 웹사이트 품질을 제대로 반영하지 못하는 한계를 해결하고자 합니다.
#Review#Website Generation#Code Agent#LLM#VLM#Reinforcement Learning#Multi-Level Feedback#GUI Agent#Step-GRPO
댓글 수 로딩 중

[논문리뷰] UI-TARS-2 Technical Report: Advancing GUI Agent with Multi-Turn Reinforcement Learning

본 연구는 데이터 희소성, 확장 가능한 멀티-턴 강화 학습(RL), GUI 전용 작동의 한계, 환경 확장성 및 안정성 과 같은 자율 GUI 에이전트 개발의 주요 과제를 해결하는 것을 목표로 합니다.
#Review#GUI Agent#Multi-Turn RL#Reinforcement Learning#Data Flywheel#Agent Framework#Hybrid Environments#Parameter Interpolation
댓글 수 로딩 중