[논문리뷰] Open-HumanScale: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models

링크: 논문 PDF로 바로 열기

저자: Juncheng Ma, Jiaxin Li, Jiankai Tu, et al. (교신: Tat-Seng Chua, Daquan Zhou)

1. Key Terms & Definitions (핵심 용어 및 정의)

• Open-HumanScale-50K: 공개 egocentric dataset 5종(HumanNet, EgoSuite-Open100K, EgoDex, Gen-HumanEgo, EgoVerse)을 curation하고 정렬해 만든 50,000시간 규모의 corpus입니다. 원본은 약 104K시간이고, curation 후 35.9M clip이 남았습니다. 모든 clip에는 hand-motion과 language annotation이 붙어 있습니다.
• Unified Bimanual EEF Action Space: 사람 손목 pose와 robot action을 하나의 16-D end-effector 표현으로 정렬한 action space입니다. 양손 각각의 position, quaternion, gripper openness로 구성됩니다. Camera frame, wrist axis, gripper openness는 source가 달라도 같은 기준으로 맞춥니다. Hybrid 설정에서는 이 공간을 49-D로 확장합니다.
• HumanWAM-Vanilla: Egocentric human video 50K시간만으로 pretraining한 world–action model입니다. IDM(inverse-dynamics) attention을 사용하므로 action token이 현재 frame과 미래 video latent를 함께 참조합니다.
• HumanWAM-Goal: Cosmos3-Nano-16B backbone 위에 goal image conditioning을 추가한 model입니다. Human과 robot 데이터로 joint pretraining하며, 미래 video 12 frame과 48-step action chunk를 함께 예측합니다.
• Clean2Clean / Clean2Random: RoboTwin 2.0의 평가 설정입니다. 두 설정 모두 clean demonstration으로 post-training합니다. Clean2Clean은 같은 분포에서 평가하고, Clean2Random은 배경·조명·clutter·table height를 randomize한 OOD 환경에서 평가합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는 egocentric human video의 데이터 규모를 robot policy의 generalization 향상으로 꾸준히 이어 줄 수 있는 pretraining recipe가 무엇인지입니다. 저자들은 이를 공개적이고 재현 가능한 형태로 규명하고자 합니다. Teleoperation으로 robot 데이터를 모으는 데는 비용이 많이 들고, egocentric video는 저렴하면서도 다양한 manipulation 경험을 담고 있습니다. 그러나 recipe에 따라 downstream 이득이 제한적이거나 일관되지 않다는 보고도 있습니다.

선행 연구들은 각각 다음과 같은 한계를 보였습니다.

• EgoScale과 HumanScale은 scaling 효과를 확인했지만, HumanScale의 근거는 validation action loss 중심이었습니다.
• Dyna-2는 1M시간까지 scaling했지만, 데이터 diversity가 미치는 영향과 robot adaptation에 필요한 supervision은 충분히 분석되지 않았습니다.
• 순수 human pretraining에는 embodiment gap이 남아 있어, 모든 target task마다 demonstration 기반 finetuning이 필요합니다.
• Robot 데이터만 늘리는 방식은 scene diversity의 한계 때문에 성능이 금방 plateau에 도달합니다.

저자들은 이런 한계를 해결하기 위해 closed-loop simulation 기반의 통제된 scaling 연구와 human–robot hybrid scaling을 함께 제안합니다 [Figure 1].

Figure 1 — 연구 전체 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 세 단계로 연구를 진행합니다. 먼저 curation과 action 정렬을 거친 50K시간 corpus를 만들고, 그다음 통일된 world–action model protocol로 scaling을 체계적으로 분석한 뒤, 마지막으로 hybrid co-training으로 model을 확장합니다.

Corpus 구축. Curation 단계에서는 다음 기준으로 데이터를 걸러냅니다.

• Hand visibility: 3D EEF를 이미지에 투영해 손이 시야 안에 있는지 판단합니다.
• Motion/camera stability
• Manipulation activity

이어서 source마다 다른 camera 좌표와 wrist axis를 정렬합니다.

HumanWAM-Vanilla 구조와 평가 protocol. Video expert와 action expert가 joint masked self-attention으로 상호작용하는 구조입니다. 비교 대상은 isolated attention과 IDM attention 두 가지입니다. 모든 model은 egocentric pretraining 후 RoboTwin clean demonstration으로 post-training하고, clean, scene-ood, random 세 조건에서 평가합니다 [Figure 3].

Figure 3 — WAM 구조 및 평가 protocol

Pure egocentric scaling 결과:

• Log-linear scaling law: Downstream 성공률은 SR = a + b·log₁₀H 형태를 따릅니다(H는 pretraining 시간). Fit의 R²는 clean 0.971, scene-ood 0.949, random 0.877입니다. Pretraining 데이터가 10배 늘 때 성공률은 clean +4.43pp, scene-ood +15.88pp, random +10.24pp 상승합니다. 이득은 OOD 조건에서 특히 큽니다.
• Diversity scaling: Task와 scene coverage를 시간과 함께 늘리면, coverage를 고정했을 때보다 fitted slope가 clean +2.02, scene-ood +4.73, random +4.50 더 큽니다.
• Sample efficiency: Task당 demonstration 10개 조건에서 clean 성공률은 No-Ego 34.5%, 500시간 pretraining 44.2%, 5,000시간 pretraining 50.1%입니다.
• Human vs. Robot pretraining: 5,000시간에서 egocentric pretraining이 robot pretraining보다 우수합니다(scene-ood 52.3% vs. 45.6%, random 27.6% vs. 22.4%). 1,000시간 egocentric model도 5,000시간 robot model을 세 설정 모두에서 앞섭니다.
• Cross-source action alignment와 human motion prediction(action supervision)도 각각 downstream generalization을 높였습니다.

HumanWAM-Vanilla 성능:

• RoboTwin 2.0: Clean2Clean 92.08%, Clean2Random 68.88%, 평균 80.48%
• RoboDojo: 평균 success rate 14.17%, progress score 19.00
• 실제 robot(Cobot Magic, 4개 task):
  • In-distribution: No-Ego 57.5% → 87.5%
  • Tablecloth·조명 변화(OOD): 2.5% → 67.5%

HumanWAM-Goal 구성. 약 14.6K시간의 robot 데이터와 egocentric human 데이터로 co-training합니다. Goal image는 frozen Wan VAE로 encoding하고 learnable goal embedding을 더해 clean conditioning token으로 주입합니다. Video와 action은 joint rectified-flow sampling으로 함께 생성합니다 [Figure 16].

Figure 16 — HumanWAM-Goal 구조

HumanWAM-Goal 결과:

• RoboTwin zero-shot: 평균 13.94%입니다. Robot-only는 11.48%, π0.5는 1.06%, Pelican-VLA 0.5는 4.70%였습니다.
• RoboTwin post-training: Clean2Clean 92.70%, Clean2Random 84.60%, 평균 88.65%로 SOTA를 기록했습니다. Robot-only post-training의 Random 성공률은 8,475시간 이후 약 70.9%에서 plateau에 머물렀습니다. Human 데이터 45.9K시간을 추가하면 74.36%로 올라 이 plateau를 넘었습니다.
• 실제 robot zero-shot(20개 task): Human 데이터 45.9K시간을 추가하면 평균 성공률이 20.0% → 30.5%로 오릅니다. 같은 데이터에서 batch 내 robot과 human sample 비율을 1:1로 맞추는 robot-balanced sampling을 적용하면, hard task 성공률이 19% → 27%로 오릅니다.
• Embodied In-Context Learning: Parameter를 고정한 상태에서도 goal image만 바꾸면 목표 위치, category별 container 배정, stacking 순서를 바꿔 실행합니다. Post-training 후에는 사람의 egocentric goal image도 따릅니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문의 결론은 egocentric human data scaling이 robot policy의 OOD generalization을 log-linear하게 높인다는 것입니다. 이 효과는 hybrid human–robot scaling으로 zero-shot 실행과 SOTA post-training 성능까지 이어집니다. 데이터 시간뿐 아니라 task와 scene diversity, cross-source action alignment, human motion supervision이 모두 중요한 scaling 요인으로 확인되었습니다. 또한 같은 시간 규모(500시간 이상)에서는 human 데이터가 robot 데이터보다 더 효율적이었습니다.

실무적으로는 다음과 같은 시사점이 있습니다.

• 비싼 teleoperation 데이터를 저렴한 human video로 상당 부분 보완할 수 있습니다.
• 다만 어려운 task에서는 robot sample의 batch 비율을 충분히 유지해야 합니다.

저자들은 Open-HumanScale-50K corpus, curation 및 pretraining pipeline, checkpoint, evaluation suite를 모두 공개합니다. 이를 통해 embodied foundation model 분야의 scaling 연구를 재현 가능하게 하는 공개 기반을 제공한다는 데 의의가 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.