[논문리뷰] GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

링크: 논문 PDF로 바로 열기

저자: GigaBrain Team (Boyuan Wang, Chaojun Ni, Guan Huang, Guosheng Zhao, Hao Li, Jie Li, Jindi Lv, Jingyu Liu, Lv Feng, Mingming Yu, Peng Li, Qiuping Deng, Tianze Liu, Xinyu Zhou, Xinze Chen, Xiaofeng Wang, Yang Wang, Yifan Li, Yifei Nie, Yilong Li, Yukun Zhou, Yun Ye, Zhichao Liu, Zheng Zhu)

핵심 연구 목표

본 논문은 현재 VLA(Vision-Language-Action) 모델이 겪는 제한된 장면 이해 능력과 약한 미래 예측 능력으로 인한 장기적인 액션 계획의 한계를 해결하는 것을 목표로 합니다. 대규모 비디오 데이터로 사전 학습된 세계 모델의 강력한 시공간 추론 및 미래 예측 능력을 활용하여 VLA 학습을 강화하고자 합니다.

핵심 방법론

제안하는 GigaBrain-0.5M*은 기존의 VLA 모델인 GigaBrain-0.5 에 RAMP (Reinforcement leArning via world Model-conditioned Policy) 프레임워크를 통합합니다. 이 방법론은 세계 모델 사전 훈련 , 세계 모델 조건부 정책 훈련 , HILR(Human-in-the-Loop Rollout) 데이터 수집 , 그리고 롤아웃 데이터로 지속적인 훈련 의 네 가지 반복 단계를 거칩니다. 특히, GigaBrain-0.5 는 10,000시간 이상의 로봇 조작 데이터 로 사전 훈련되었으며, 세계 모델은 미래 상태와 가치 예측을 통해 정책에 실질적인 지침을 제공합니다.

주요 결과

GigaBrain-0.5M*은 Laundry Folding, Box Packing, Espresso Preparation 과 같은 도전적인 작업에서 RECAP 기준선 대비 약 30%의 성능 향상 을 달성했습니다. GigaBrain-0.5 의 중간 버전은 국제 RoboChallenge 벤치마크 에서 51.67%의 평균 성공률 로 1위를 차지했습니다. 또한, 세계 모델의 가치 예측 성능 평가에서 제안된 공동 예측 방식은 최고의 Kendall's tau (0.8018) 및 최저 MAE (0.0621) 를 기록했습니다.

AI 실무자를 위한 시사점

GigaBrain-0.5M*은 세계 모델 기반 RL을 통해 VLA 모델의 장기적이고 복잡한 조작 작업에서의 신뢰성 있는 실행 능력을 크게 향상시켰습니다. RAMP 프레임워크 의 HILR 는 고품질 훈련 데이터를 생성하고 정책의 지속적인 개선을 촉진하여, 로봇 시스템의 자율 학습 및 일반화 능력을 발전시키는 데 중요한 기여를 합니다. 이는 복잡한 로봇 작업을 위한 모델 개발 및 배포에 있어 효율적이고 견고한 접근 방식을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.