[논문리뷰] CaPtain: A Pipeline for Post-Training Code-as-Policy Robot Agents

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yijia Fan, Xilin He, Yilei Jiang, Dongming Wu, Jiaxu Wang, Xiangyu Yue, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• CaPtain-Harness: 로봇의 low-level perception, geometry, guarded-motion 등 22개의 primitive 기능만을 노출하여, 에이전트가 직접 제어 로직을 작성하고 실행 결과를 텍스트 receipt로 수신할 수 있도록 설계된 실행 환경.
• Simulator Critic: 시뮬레이터 내부의 privileged physical state(정책이 직접 볼 수 없는 상태)를 읽어, 각 request가 태스크 성공 확률을 얼마나 높였는지 정량화하여 per-request credit을 계산하는 보상 모델.
• Code-as-policy (CaP): 로봇 정책이 직접 로봇 API를 사용하여 코드를 작성하고 그 실행 결과를 기반으로 의사결정을 내리는 프레임워크.
• Per-request Credit: 다중 턴(multi-turn) 에피소드에서 최종 성공 여부만으로 학습하기 어려운 문제를 해결하기 위해, 각 개별 request의 기여도를 시뮬레이터 통계 기반으로 추정하여 부여하는 보상 할당 방식.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 소형 오픈 소스 VLM(Vision-Language Model)을 사용하여, frontier model 없이도 고성능의 Code-as-policy(CaP) 로봇 에이전트를 구축하는 것을 목표로 합니다. 기존 연구들은 주로 closed-source frontier model에 의존하거나, high-level skill만을 제어하는 방식에 머물러 있어, 세밀한 로봇 조작 제어에 한계가 있었습니다. 특히, low-level 조작을 수행하는 에이전트는 수십 번의 request를 거쳐야 성공에 도달하는데, 최종 결과물만으로 각 request의 기여도를 할당하기 어려운 'credit assignment' 문제가 발생합니다. 이에 따라 저자들은 SFT와 Multi-turn RL을 결합한 통합 파이프라인을 제안하여, 정책 스스로가 low-level primitives를 조합해 성공적인 manipulation을 수행하도록 학습시키고자 합니다. [Figure 1]

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 CaPtain-Harness 환경에서 GPT-6 Astra로 생성된 합성 데이터를 활용한 SFT와, 시뮬레이터의 privileged state를 활용한 Multi-turn RL을 결합한 파이프라인을 제안합니다. Qwen3.5-4B 모델을 기반으로 한 CaPtain-4B는 SFT만으로 LIBERO 성공률을 0%에서 55.4%까지 향상시켰으며, 이후 RL 과정을 거쳐 73.8%의 성공률을 달성하였습니다. 특히 LIBERO-PRO 벤치마크에서는 78.5%의 성공률을 기록하여 K1(77.2%), WAA(75.6%) 등 frontier-model 기반 에이전트의 성능을 상회하였습니다. 또한, 학습 과정에서 환경 변화나 물체 위치 변경 등의 perturbation에도 성능이 견고하게 유지되었으며, SimplerEnv WidowX 환경에서는 83.3%의 높은 성공률을 기록하며 뛰어난 범용성을 입증하였습니다. 저자들은 이 모델이 실제 로봇에서도 추가적인 실환경 데이터 없이 시뮬레이션 기반 적응만으로 동작 가능함을 보였습니다. [Figure 1]

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 Code-as-policy를 위한 SFT 및 Multi-turn RL 파이프라인인 CaPtain을 통해, 소형 오픈 모델도 수준 높은 로봇 제어 에이전트가 될 수 있음을 증명했습니다. 이는 거대 모델이나 VLA(Vision-Language-Action) 모델 없이도 저비용으로 고성능 로봇 정책을 학습시킬 수 있는 길을 열었습니다. 향후 본 연구는 로봇 학습의 효율성을 크게 높이고, 다양한 로봇 하드웨어에 대한 범용적인 제어 에이전트 개발에 중요한 기반이 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.