[논문리뷰] RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoyu Zhao, Yinzhou Tang, Zixuan Wang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• RynnLAM: 3D-grounded continuous latent-action descriptors를 생성하는 사전 학습된 인코더로, 서로 다른 로봇 및 환경 데이터를 통합하는 공통 인터페이스 역할을 함.
• Cross-Embodiment: 로봇마다 서로 다른 kinematic 구조, 좌표계, 제어 주파수를 가진 이기종 환경 간의 상호 운용성을 의미함.
• Latent-Action Interface: 원본 로봇 제어 신호 대신 비디오 전환에서 추출된 추상화된 latent 변수를 사용하여 환경의 변화와 제어 가능성을 표현하는 방식.
• Digital Teleoperation: 타겟 로봇의 제어 명령을 모델에 입력하여 실제 물리적 실행 없이도 정교한 action-video 데이터를 생성하는 파이프라인.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존의 로봇용 world model들은 로봇의 하드웨어 특성에 종속된 raw action 공간을 사용하기 때문에 이기종 로봇 간의 일반화가 어렵다는 한계가 있음. 특히, 대규모 human interaction 비디오 데이터는 로봇 제어 레이블이 부족하여 학습에 활용하기 어렵고, 언어 기반 조건화(Language-conditioned) 방식은 세밀한 조작(contact-rich manipulation)의 정밀한 궤적 제어가 불가능함. 본 논문은 이러한 Embodiment 불일치와 제어 인터페이스의 부재를 해결하기 위해 공통 latent action을 기반으로 한 Cross-Embodiment world model인 RynnWorld-Latent를 제안함.

3. Method & Key Results (제안 방법론 및 핵심 결과)

RynnWorld-Latent는 frozen RynnLAM을 통해 추출된 latent action을 조건부 인터페이스로 사용하며, 사전 학습된 비디오 트랜스포머에 global action tokens와 frame-aligned local conditioning pathway를 결합함. 구체적으로, 전역적인 action 토큰은 joint self-attention에 참여하고, 로컬 경로는 각 비디오 latent 프레임에 대응하는 latent action을 직접적으로 주입하여 미래 비디오를 예측함. 저자들은 23개 데이터셋(약 553.5M 프레임)을 통해 pretraining을 수행하고, target robot을 위한 post-training을 통해 이기종 로봇 환경으로의 확장을 지원함. 주요 실험 결과로, 제안 모델은 비디오 예측 지표(Metric) 면에서 기존 baseline을 상회하는 성능을 보였으며, 합성 데이터(Synthetic mid-training)를 활용하여 LIBERO 및 LIBERO-Plus 벤치마크에서 정책 성공률(Policy success rate)을 유의미하게 개선함. 또한, 디지털 텔레오퍼레이션 및 latent-action 합성 파이프라인을 통해 학습된 모델은 실제 로봇 조작 과제에서 단일 실데이터 학습 대비 더 높은 closed-loop 성공률을 기록함.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 RynnWorld-Latent가 이기종 환경 간의 데이터 병목 현상을 해결하고, 정밀한 제어가 가능한 차세대 world model로서의 가능성을 입증함. 특히, 레이블이 없는 방대한 비디오 데이터를 활용하여 범용적인 로봇 학습 프레임워크를 구축했다는 점에서 산업계 및 학계의 robot learning 확장성에 큰 기여를 함. 이 연구는 앞으로 물리적 제약이 많은 로봇 데이터 수집의 의존도를 낮추고, 시뮬레이션 및 데이터 합성을 통한 로봇 지능의 일반화(Generalization)를 가속화할 것으로 기대됨.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.