[논문리뷰] EXIMO: VLM Guided Exploration of VLA Policies

링크: 논문 PDF로 바로 열기

메타데이터

저자: Bhavya Sukhija, Oliver Groth, Mohit Shridhar, Tim Hertweck, Michael Bloesch, Markus Wulfmeier, Abbas Abdolmaleki, Martin Riedmiller

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action): 로봇 제어를 위해 시각 정보와 자연어 지시를 입력받아 행동을 예측하도록 사전 학습된 모델입니다.
• VLM (Vision-Language Model): 방대한 세계 지식을 바탕으로 로봇의 복잡한 long-horizon 과업을 하위 단계(atomic skills)로 분해하고, 로봇을 안내하는 planner 역할을 수행합니다.
• GROD (Gemini Robotics On-Device): 본 논문에서 기반 모델(Base VLA)로 사용하는 3B 규모의 모델로, PaliGemma를 백본으로 하여 diffusion policy head를 탑재하고 있습니다.
• Residual RL: VLA의 사전 학습된 정책에 추가적인 보정값(residual action)을 더하여 성능을 최적화하는 강화학습 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 사전 학습된 VLA 정책을 새로운 long-horizon 과업에 대해 sample-efficient하게 파인튜닝하는 문제를 해결합니다. 기존의 Behavioral Cloning (BC) 방식은 teleoperation 데이터에 의존해야 하므로 비용이 많이 들고, 순수 Reinforcement Learning (RL) 방식은 특히 long-horizon 작업에서 탐색(exploration) 효율이 매우 낮다는 한계가 있습니다. 이를 해결하기 위해 저자들은 별도의 teleoperation 과정 없이, 사전 학습된 VLM의 지식을 활용하여 로봇 정책을 탐색하고 개선하는 Eximo를 제안합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Explore, Imitate, Optimize의 3단계 파이프라인으로 구성된 Eximo를 제안합니다. Explore 단계에서는 VLM이 로봇을 안내하여 새로운 과업을 수행하는 데이터를 수집합니다 [Figure 1]. Imitate 단계에서는 수집된 데이터 중 성공적인 에피소드만을 필터링하여 VLA를 지도 학습(Supervised Finetuning, SFT)함으로써 VLM의 지식을 정책에 증류(distillation)합니다. 마지막으로 Optimize 단계에서 residual off-policy RL을 통해 정책을 최종 미세 조정합니다.

Figure 1 — Eximo 탐색 단계의 VLM 오케스트레이션

실험 결과, Eximo는 기존 VLA 베이스라인 및 VLM 오케스트레이션만을 사용한 경우보다 훨씬 뛰어난 성능을 보였습니다. 22개의 조작 과업에서 Eximo를 적용했을 때, 파인튜닝된 VLA는 단순 베이스라인 대비 유의미한 Success Rate 향상을 기록했습니다 [Figure 2]. 특히 online RL 결합 시, Eximo를 거친 모델은 적은 환경 스텝 내에서도 더 높은 수렴 성능을 보이며 월등한 sample-efficiency를 입증했습니다 [Figure 3], [Figure 4].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 VLM의 고차원적 계획 능력과 VLA의 물리적 제어 능력을 통합하여 로봇 학습의 효율성을 극대화하는 Eximo를 성공적으로 제시했습니다. 이 연구는 대규모 teleoperation 데이터 없이도 강력한 로봇 정책을 구축할 수 있는 새로운 post-training 패러다임을 제안합니다. 향후 VLM을 보상 모델링이나 환경 재설정(reset)에 직접 활용함으로써, 인간의 개입이 거의 없는 자율적인 로봇 학습 체계로 발전할 가능성을 열었습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.