[논문리뷰] OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

링크: 논문 PDF로 바로 열기

저자: Bowen Yang, Kaiming Jin, Zichen Ding, Zhenyu Wu, Zehao Li, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• OS-Helix: GUI 조작과 코드 실행을 하나의 Action Space로 통합하여 학습시킨 엔드 투 엔드 Computer-Using Agent.
• Application–Artifact Composition: 데스크탑 애플리케이션과 실제 파일 아티팩트를 결합하여 재현 가능한 환경을 구축하는 데이터 인프라.
• Step-balanced GSPO: 긴 코드 액션이 최적화 과정을 지배하는 문제를 해결하기 위해, 토큰 단위가 아닌 액션 단계(Action Step) 단위로 중요도를 가중치화하는 RL 알고리즘.
• CUAs (Computer-Using Agents): 스크린샷을 인지하고 마우스/키보드 조작 또는 코드 실행을 통해 개방형 작업을 수행하는 에이전트.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 GUI 중심 에이전트가 복잡한 상태 조작이나 구조적 데이터 처리에 있어 비효율적이라는 점을 해결하고자 한다. 단순히 GUI 모델에 코드 실행 도구를 부착하는 방식은 도구 간의 모달리티 전환(Routing)이 제대로 학습되지 않아 오히려 성능을 저하시키는 현상이 발생한다. 저자들은 기존의 Framework-centric 접근법들이 외부 하네스(External Harness)에 과도하게 의존하여 단일 정책 내에서 GUI와 코드를 조화롭게 학습하는 데 한계가 있음을 지적한다 [Figure 1]. 따라서 본 연구는 이러한 모달리티 간의 원활한 통합과 전략적 전환을 학습할 수 있는 네이티브 하이브리드 정책의 필요성을 제기한다.

Figure 1 — GUI와 코드 실행을 통합하는 하이브리드 패러다임의 필요성을 보여주는 핵심 개념도

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 고품질 하이브리드 데이터를 생성하는 데이터 파이프라인과 이를 안정적으로 학습시키는 강화학습 알고리즘을 제안한다 [Figure 2]. 우선, 다양한 애플리케이션과 아티팩트를 조합하여 재현 가능한 환경을 구축하고, 독립적인 탐색 및 평가 에이전트를 통해 검증 가능한 태스크를 대량으로 합성하였다. 학습 과정에서는 Step-balanced GSPO를 도입하여 코드 액션과 GUI 액션이 균형 있게 최적화되도록 설계하였다. 실험 결과, OS-Helix-35B-A3B는 매칭되는 Qwen3.5 하이브리드 베이스라인 대비 33.7%의 상대적 향상을 기록하였으며, OS-Helix-27B-RL은 최종 66.44%의 성공률을 달성하였다 [Table 1]. 이러한 결과는 단순한 코드 도구 접근 권한 부여를 넘어, 학습 단계에서 GUI와 코드 실행을 유기적으로 결합한 정책이 실질적인 성능 향상으로 이어짐을 입증한다.

Figure 2 — 환경 구성부터 RL 최적화까지의 OS-Helix 파이프라인 전체 과정을 요약한 핵심 아키텍처

Table 1 — 다양한 모델과 비교한 OS-Helix의 성능 개선 폭을 보여주는 정량적 지표 테이블

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 GUI 인터페이스 조작과 코드 실행을 단일 정책 내에서 네이티브하게 통합하는 것이 하이브리드 에이전트 성능의 핵심임을 증명하였다. 제안된 OS-Helix는 제어 가능한 환경 합성과 액션 단계별 최적화 기법을 통해 데스크탑 자동화 분야의 새로운 기준을 제시한다. 이 연구는 향후 연구자들이 복잡한 멀티 애플리케이션 워크플로우를 처리하는 더 범용적인 에이전트를 설계하는 데 중요한 토대를 마련하며, 실무적인 자동화 시스템 구축에 있어 데이터 품질과 최적화 알고리즘의 중요성을 확인시켜 준다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.