[논문리뷰] RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoyu Zhao, Xingyue Zhao, Zhian Su, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• RynnLAM (Latent Action Model): 비디오 프레임 쌍 간의 움직임을 3D 공간상에서 이해하고, 로봇 제어에 활용 가능한 연속적이고 압축된 latent action 표현을 생성하는 학습 엔진입니다.
• RynnVLA-Latent: 사전 학습된 vision-language 백본과 Flow Matching 기법을 결합하여, 다양한 환경의 비디오 데이터로부터 latent action을 예측하도록 학습된 robotic foundation model입니다.
• Embodiment-specific Post-training: 범용적인 latent action으로 사전 학습된 모델을 특정 로봇의 고유한 Action Space 및 Proprioception에 맞게 미세 조정(Fine-tuning)하여 실제 제어를 가능하게 하는 단계입니다.
• Camera-motion Decoupling: 로봇이나 카메라의 단순한 이동(Ego-motion)과 실제 물체 조작(Manipulation)에 의한 움직임을 분리하여 제어 효율성을 극대화하는 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 다양한 로봇 플랫폼과 환경에서 통용되는 로봇 제어 파운데이션 모델을 구축하기 위해 데이터 부족과 제어 공간의 불일치 문제를 해결하고자 합니다. 기존의 로봇 학습 방식은 특정 로봇의 고유한 제어 명령어(Native control)에 의존하므로, 인간의 작업 비디오나 다양한 환경의 데이터를 통합하여 모델을 확장하기 어렵습니다 [Figure 1]. 저자들은 단순히 시각적인 변화를 복구하는 기존의 Latent Action 학습 방식이 카메라 움직임과 실제 조작 움직임을 구분하지 못하여 제어 예측 성능이 떨어진다는 한계를 지적합니다. 따라서, 저자들은 물리적 움직임(Physical scene dynamics)을 효과적으로 캡처할 수 있는 새로운 Geometric Grounding 기반의 접근 방식이 필요하다고 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 RynnLAM을 도입하여 비디오 데이터 내에서 Residual future-feature prediction, 3D dynamic-flow prediction, 카메라 pose 추정 등을 통해 동작 관련 표현을 추출하는 프레임워크를 제안합니다 [Figure 3]. 이 시스템은 30.1K 시간 분량의 인간, 로봇, 시뮬레이션 데이터를 활용하여 745.52M개의 latent-action descriptor를 생성하며, 이를 통해 모델이 대규모의 다양한 비디오로부터 움직임 규칙을 학습하도록 합니다. 학습 단계에서는 Flow Matching을 통해 비디오 관찰과 언어 지시어로부터 latent action chunk를 생성합니다 [Figure 2]. 주요 성능 평가에서, RynnVLA-Latent는 LIBERO 벤치마크에서 98.8%의 성공률을 기록하였으며, RoboTwin 2.0 bimanual 작업에서는 평균 88.6%의 성공률을 달성하였습니다. 또한, 5개의 VLABench 트랙에서 평균 51.9%의 높은 성과를 거두며, 다양한 실제 로봇 환경에서 타 방법론 대비 우수한 조작 성능을 입증하였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 latent action 기반의 지도 학습(Supervision)이 로봇 정책 학습의 확장성을 크게 향상할 수 있음을 입증합니다. 제안된 RynnVLA-Latent는 고가의 로봇 실시간 데모 데이터 없이도 방대한 비디오 데이터를 활용하여 학습의 효율성을 극대화했습니다. 이 연구는 이기종 플랫폼 간의 제어 문제를 해결할 수 있는 교차 구현(Cross-embodiment) 모델 개발에 기여하며, 향후 embodied AI 분야에서 대규모 비디오 데이터의 활용 가능성을 제시합니다. 이러한 접근 방식은 로봇이 더욱 다양한 환경에서 정교한 manipulation 작업을 수행하도록 돕는 강력한 기초가 될 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — 사전 학습 데이터 구성

Figure 2 — 데이터 큐레이션 파이프라인

Figure 3 — RynnLAM 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.