[논문리뷰] OpenRUA: Robot-Use Agents Are Zero-Shot Visuomotor Policies

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhaoyang Chu, Earl T. Barr, Claire Le Goues, Peter O'Hearn, Mark Harman, Federica Sarro, He Ye

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• OpenRUA: 로봇 제어를 위해 별도의 추상화 계층이나 사전 정의된 프리미티브 없이, 로봇의 네이티브 인터페이스인 ROS 2를 직접 활용하는 제로 추상화 환경입니다.
• Robot-Use Agent (RUA): 로봇을 마치 컴퓨터 소프트웨어 프로젝트처럼 다루며, 터미널 명령과 코딩을 통해 로봇의 센서 데이터를 해석하고 제어 프로그램을 생성하는 Coding Agent를 의미합니다.
• Workspace-as-Harness: 에이전트에게 ROS 2 문서와 기본 도구만을 제공하여 로봇 제어 환경을 구성하는 미니멀리스트 설계 기법입니다.
• Zero-Shot Visuomotor Policy: 별도의 로봇 데모 학습이나 태스크별 파인튜닝 없이, RAW 감각 입력에서 모터 명령까지의 제어 프로세스를 즉각적으로 수행하는 에이전트의 능력입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 로봇 제어 연구들이 불필요하게 복잡한 커스텀 하네스(custom harness)와 전문화된 인터페이스를 사용하여 에이전트를 조율하는 문제에 주목합니다 [Figure 1]. 기존 연구들은 로봇 제어를 위해 학습된 비주모터 정책을 도구로 래핑하거나, 사람의 전문 지식에 기반한 인식 및 제어 프리미티브를 수작업으로 설계해야 했습니다. 이러한 복잡한 구조가 실제 로봇 제어에 필수적인지, 혹은 현대적인 Coding Agent의 능력을 과소평가한 결과인지에 대한 의문이 본 연구의 출발점입니다. 저자들은 로봇 생태계의 표준인 ROS 2 인터페이스에 대한 직접적인 접근만으로도 충분히 효과적인 로봇 제어가 가능함을 입증하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 OpenRUA라는 미니멀리스트 Workspace-as-Harness 설계를 제안하며, 인식을 파일 I/O로, 조작을 CLI 코딩으로 재정의합니다 [Figure 2]. 에이전트는 제공된 환경에서 스스로 로봇의 센서 데이터를 처리하고, ROS 2 명령을 통해 실시간으로 제어 프로그램을 작성 및 수정하며 태스크를 완수합니다. 실험 결과, Claude Code와 Claude Opus 5를 탑재한 OpenRUA는 CaP-Bench에서 99.0%, LIBERO-PRO에서 87.0%의 성공률을 기록했습니다 [Table 1]. 이는 기존의 ASPIRE(81.0%)나 Harness VLA(82.4%)와 같은 선도적인 시스템들을 능가하는 수치입니다. 특히, 에이전트가 에피소드의 96.80%에서 스스로 센서 데이터를 처리하고, 95.87%에서 독자적인 모션 제어 클라이언트를 구축하는 등 높은 자율성과 일반화 성능을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 범용 Coding Agent가 별도의 학습 없이도 로봇의 네이티브 인터페이스를 통해 Zero-Shot Visuomotor Policy로 기능할 수 있음을 성공적으로 증명했습니다. OpenRUA의 미니멀리스트 설계는 복잡한 소프트웨어 추상화 계층 없이도 에이전트의 창의적이고 자율적인 문제 해결 능력을 극대화할 수 있음을 보여줍니다. 이 연구는 로봇 공학에서 하드웨어와 소프트웨어 간의 연결을 더욱 단순화하고, AI 에이전트가 물리적 세계를 조작하는 방식에 대한 새로운 패러다임을 제시하며 학계와 산업계 전반에 큰 파급력을 미칠 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.