본문으로 건너뛰기

[논문리뷰] SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models

링크: 논문 PDF로 바로 열기

참고: 받아온 페이지는 텍스트만 있고 <img> 태그가 없었습니다. 그래서 Part 2의 이미지 URL은 확인한 주소가 아니라, arXiv HTML의 일반적인 규칙(v1/xN.png)으로 추정한 것입니다. 실제 경로와 다를 수 있으니 확인해 주세요. 또 논문 본문의 저자는 요청에 적힌 4명이 아니라 6명입니다(Xiao Yang, Jun Zhu 추가).


저자: Jiachun Jin, Zetong Zhou, et al. (Haonan Wang, Xiao Yang, Jun Zhu, Zhijie Deng / Sharpa Robotics, SJTU-Sharpa Joint Lab for Embodied AI, Tsinghua University)

1. Key Terms & Definitions (핵심 용어 및 정의)

  • LAM (Latent Action Model): Action label 없이 두 observation($o_t$, $o_{t+k}$) 사이의 visual transition을 압축된 latent로 표현하는 모델입니다. Inverse-dynamics encoder, information bottleneck(quantizer), forward-dynamics decoder로 구성됩니다.
  • WAM (World-Action Model): 미래 video frame과 action을 함께 예측하는 모델입니다. Pixel prediction이 필요해서 학습 효율이 낮고, scene appearance 변화에 취약합니다.
  • Atomic-Action Description: "grasp the cup"처럼 clip 안에서 embodiment가 수행하는 원자적 행동을 설명하는 자연어입니다. Embodiment와 무관하게 행동의 의미를 담으며, tokenizer 학습에만 쓰입니다.
  • Robot-Anchored Semantic Transfer: Language similarity로 만든 soft neighborhood($P_i$)로 human latent의 neighborhood($Q_i$)를 supervise하는 alignment 방식입니다. Robot latent에는 stop-gradient를 걸어 control에 grounded된 anchor로 고정하고, human latent만 그쪽으로 움직입니다.
  • SoftVQ: 각 token을 one-hot이 아니라 codebook 위의 categorical distribution으로 표현하는 quantizer입니다. Commitment loss가 없고 $z$에 따라 부드럽게 변하므로 graded semantic relation을 표현할 수 있습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 해결하려는 문제는 기존 LAM의 latent action이 행동이 아니라 visual appearance(scene) 기준으로 clustering되어, human video를 robot policy의 supervision으로 제대로 옮기지 못한다는 점입니다. Robot teleoperation data는 수집 비용이 크고, egocentric human video는 그 보완재가 될 수 있습니다. 하지만 사람과 로봇은 같은 동작이라도 motion, control mechanism, scene이 다른 embodiment gap이 있습니다. 기존 LAM은 각 clip의 video reconstruction만으로 학습하기 때문에, 같은 행동을 하는 human clip과 robot clip을 서로 연결하는 제약이 없습니다. WAM은 pixel prediction 부담 때문에 training/inference cost가 크고, domain randomization 같은 scene 변화에 약합니다. 한편 paired human-robot data나 hand tracking에 의존하는 방법은 확장성이 떨어집니다. 그래서 저자들은 unpaired data만으로 두 embodiment의 latent action을 의미 단위로 정렬할 supervision이 필요하다고 보고, 그 신호로 language를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

SALA는 language로 정렬한 latent action tokenizer를 학습하고, 이 tokenizer를 teacher로 써서 human video와 robot video를 하나의 policy로 학습합니다 [Figure 2].

  • Tokenizer 학습: Human clip과 robot clip이 visual encoder, SoftVQ quantizer(8 tokens, 256-code codebook), visual decoder를 공유합니다. Visual reconstruction target은 DINOv2 feature입니다. Robot clip만 별도의 action decoder로 action chunk를 복원하며($\mathcal{L}_{act}$), 이를 통해 robot latent가 control에 grounding됩니다.
  • Semantic alignment: Frozen text encoder(simulation에서는 CLIP ViT-B/32, real world에서는 Qwen3-Embedding-4B)로 atomic-action description 간 similarity를 계산합니다. 이를 softmax로 soft neighborhood로 바꾸고, latent similarity와의 cross-entropy($\mathcal{L}{align}$)로 human latent를 robot latent 쪽으로 끌어당깁니다. 전체 objective는 $\mathcal{L}{tok} = \frac{1}{2}(\mathcal{L}^H_{vis}+\mathcal{L}^R_{vis}) + \lambda_{act}\mathcal{L}{act} + \lambda{align}\mathcal{L}_{align}$입니다.
  • Policy: π0-style 구조로, VLM은 Qwen3-VL-4B, action expert는 0.6B Qwen3-style transformer를 씁니다. Action expert에 learnable latent query를 추가해 teacher의 token distribution을 KL divergence로 예측하게 합니다($\mathcal{L}_{LA}$). Robot data에는 여기에 flow-matching loss가 더해집니다.
  • 3-stage 학습: (1) Human video만 쓰는 latent-only pre-training (2) Robot teleoperation mid-training (3) Task-specific teleoperated demonstration과 human demonstration을 함께 쓰는 post-training. Deployment 단계에서는 teacher와 미래 frame이 필요 없습니다.

핵심 결과:

  • RoboTwin 2.0 (target은 Aloha-AgileX, ARX-X5 video로 human video를 대체): SALA의 평균 success rate는 64.4%(Clean 80.2 / Random 48.6)로 가장 높습니다. 비교 대상은 π0.5 (58.7), LingBot-VA (57.1), RotVLA (51.2) 등입니다. FastWAM과 OpenWAM은 Clean에서 79.4/86.8을 기록했지만 Random에서는 3.2/3.9로 무너졌습니다. SALA는 robot-pretrained checkpoint 없이 일반 VLM만으로 이 결과를 냈습니다.
  • Real robot (63-DoF Sharpa North, 22-DoF dexterous hand 2개): 4개 task의 평균 success rate가 72.5%로, GR00T N1.7 (41.25%)과 Vanilla VLA (27.5%)보다 높았고 모든 task에서 앞섰습니다.
  • Dual-axis scaling [Figure 4]:
    • Pre-training의 human video를 0, 473, 1,103, 2,678시간으로 늘릴 때마다 추가 robot data 없이도 validation L1 action error가 꾸준히 감소했습니다.
    • Teleoperated demonstration은 고정한 채 task-specific human demonstration을 10%에서 100%로 늘리면, success rate가 53.75%에서 72.5%로 올랐습니다.
  • Ablation:
    • $\mathcal{L}_{align}$을 제거하면 Random 성능이 48.6에서 36.8로 떨어졌습니다.
    • Stop-gradient를 빼면 Clean 성능이 80.2에서 73.5로 떨어졌습니다.
    • Alignment를 적용하면 latent variance 중 action이 설명하는 비율(median)이 0.41에서 0.67로 오르고, scene이 설명하는 비율은 0.14에서 0.04로 내려갔습니다.
    • Hard VQ를 쓰면 alignment loss가 거의 줄지 않았습니다.

4. Conclusion & Impact (결론 및 시사점)

SALA는 atomic-action language를 relational supervision으로 써서, unpaired human video와 robot video의 latent action을 action semantics 기준으로 정렬합니다. 이렇게 정렬된 latent 덕분에 human video가 robot을 제어하는 같은 action expert를 직접 supervise할 수 있습니다. 그 결과 pre-training과 post-training 두 축 모두에서 human video를 늘릴수록 성능이 좋아지는 scaling을 보였습니다. 산업 측면에서는, 로봇 없이 찍을 수 있는 저렴한 human demonstration으로 새 task 성능을 올릴 수 있다는 점에서 teleoperation 의존도를 줄이는 실용적인 경로를 제시합니다. 한계도 있습니다. Tokenizer 학습에는 atomic-action annotation이 필요합니다. 또 scaling 분석은 offline validation error를 setting당 1회 실행으로 측정한 것이고 2,678시간까지만 다뤘기 때문에, 더 큰 규모에서도 같은 추세가 이어질지, 그리고 그것이 실제 로봇 success rate로 어떻게 이어질지는 아직 열린 문제입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글