[논문리뷰] HuGe: Scaling Humanoid Generalist Vision-Language-Action Models with Egocentric Experience

링크: 논문 PDF로 바로 열기

저자: Yang Liu, Jiacheng Liu, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Vision-Language-Action Models (VLAs): Vision-Language Models (VLMs) 및 World Models (WMs)를 기반으로 언어 명령에 따라 다양한 조작 작업을 수행하도록 학습된 모델입니다. 본 논문에서는 이를 휴머노이드 로봇에 확장하는 것을 목표로 합니다.
• HuGe: Egocentric human 및 robot 데이터를 활용하여 학습된 Humanoid Generalist VLAs 패밀리로, whole-body controller와 협력하여 다양한 휴머노이드 태스크를 수행합니다.
• Egocentric Experience: 인간 또는 로봇의 1인칭 시점(egocentric view)에서 수집된 경험 데이터로, 대규모 로봇 학습을 위한 보완적인 task experience source로 사용됩니다.
• Pseudo-Proprioceptive States: Egocentric human demonstration에는 없는 로봇의 proprioceptive observation을 시뮬레이션 플레이백을 통해 구성한 가상(pseudo)의 신체 상태 정보입니다.
• SONIC: 사전에 학습된 whole-body controller로, HuGe가 예측한 latent motion token을 joint-level command로 변환하여 휴머노이드의 coordinated whole-body motion을 구현합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 Vision-Language-Action models (VLAs)를 휴머노이드 로봇에 확장하여 인간 환경에서 다양한 태스크를 수행할 수 있도록 하는 핵심 문제를 다룹니다. 휴머노이드 로봇에 VLA를 적용하는 것은 coordinated whole-body motion과 balance 유지가 필수적이므로 기존 로봇 매니퓰레이터를 위한 VLA 정책을 직접 이전하기 어렵습니다. 특히, 팔 움직임이 torso 및 lower body와 조화를 이루어야 하는 복잡한 action space와 dynamics가 주된 challenge입니다.

또한, generalist humanoid behavior 학습에 필요한 diverse whole-body demonstration 데이터를 실제 로봇에서 수집하는 것은 비용과 시간이 많이 소모되는 data bottleneck 문제를 야기합니다. Egocentric human demonstration은 풍부한 task experience를 제공하지만, 시각적 embodiment 차이와 robot proprioceptive observation의 부재로 인해 휴머노이드 정책 학습에 직접 사용하기 어렵습니다. 이러한 한계점들을 극복하기 위해 VLA 정책을 whole-body control과 통합하고, 확장 가능한 training pipeline을 통해 egocentric human experience를 휴머노이드 로봇으로 효과적으로 transfer하는 새로운 접근 방식이 요구됩니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 egocentric human 및 robot 데이터를 활용하여 2,000시간 이상의 대규모 데이터셋으로 사전 학습된 Humanoid Generalist VLAs인 HuGe를 제안합니다. HuGe는 OFT, GR00T, π와 같은 세 가지 기존 VLA 아키텍처를 사용하여 사전에 학습된 whole-body controller인 SONIC을 위한 latent motion token과 hand-control signal을 예측합니다. 이 방법론은 세 가지 training stage로 구성된 파이프라인을 따릅니다 [Figure 1, cite: 1].

첫째, Egocentric Pre-Training 단계에서는 대규모 egocentric human experience (EgoDex, EgoVerse, Xperience-10M) 및 시뮬레이션 로봇 데이터 (BEHAVIOR-1K)를 사용하여 language-conditioned action prediction을 학습합니다. 이때, 로봇 proprioceptive observation이 없는 egocentric 데이터의 경우, 시뮬레이션 플레이백을 통해 34차원의 Pseudo-Proprioceptive States를 구성하여 로봇 state 입력을 제공합니다. 시뮬레이션 평가 결과, pseudo-proprioceptive states를 통합했을 때 HuGe-GR00T는 평균 성공률 5.00%p, HuGe-Pi는 2.86%p 향상되어, 시뮬레이션 body configuration이 휴머노이드 action mapping 학습에 유용한 context를 제공함을 보여주었습니다. 특히 SitSofa 태스크에서는 각각 61.67%에서 78.33%, 68.33%에서 83.33%로 크게 증가했습니다. Egocentric pre-training 데이터의 규모를 확장할수록 HuGe-GR00T와 HuGe-Pi의 성능이 점진적으로 향상되는 경향을 보였습니다 [Figure 2, cite: 1].

둘째, Humanoid Adaptation 단계에서는 Humanoid Everyday, UniFoLM-WBT, HIW-500과 같은 실제 G1 로봇 demonstration 데이터를 사용하여 정책을 real-world 로봇 observation 및 state에 적응시킵니다. 셋째, Downstream Fine-Tuning 단계에서는 HumanoidArena 벤치마크 및 실제 cola pick-and-drop task에 정책을 적응시킵니다. 특히, real-world fine-tuning을 위해 Phantom의 visual editing pipeline을 사용하여 egocentric human demonstration에서 보이는 인간 손과 팔을 제거하고, 노출된 영역을 inpaint한 뒤 렌더링된 로봇 손을 합성하는 Visual Adaptation 기법을 적용합니다 [Figure 4, cite: 1].

HumanoidArena 시뮬레이션 벤치마크에서 HuGe-GR00T와 HuGe-Pi는 각각 평균 성공률 66.67% 및 65.00%를 달성하여 기존 strongest baseline인 π 0.5 대비 12.86%p 및 11.19%p 높은 성능을 기록하며 state-of-the-art를 달성했습니다. 실제 Unitree G1 로봇의 cola pick-and-drop task에서는 110개의 로봇 demonstration에 400개의 raw egocentric demonstration을 추가했을 때 성공률이 43.3%에서 60.0%로 증가했으며, 시각적으로 adapted된 egocentric demonstration을 사용했을 때는 성공률이 66.7%로 더욱 향상되었습니다 [Figure 3(c), cite: 1]. 이는 visual adaptation이 human demonstration 활용도를 높여 downstream control 성능을 개선함을 시사합니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 egocentric human 및 robot demonstration을 활용한 세 단계 파이프라인으로 학습된 Humanoid Generalist VLAs인 HuGe를 성공적으로 제안했습니다. 기존 VLA 아키텍처와 사전 학습된 whole-body controller를 기반으로, HuGe는 pseudo-proprioceptive states와 visual adaptation을 통합하여 human-to-humanoid transfer를 효과적으로 지원합니다.

이 연구는 whole-body policy learning을 위한 egocentric human experience의 가치를 시뮬레이션 및 실제 로봇 태스크 모두에서 입증했습니다. HuGe의 scalable training pipeline은 고비용의 실제 로봇 데이터 수집에 대한 의존도를 줄이면서도 diverse whole-body behavior 학습을 가능하게 하여, 미래 휴머노이드 로봇이 복잡한 인간 환경에서 더 다양한 태스크를 수행할 수 있는 잠재력을 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.