[논문리뷰] RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

링크: 논문 PDF로 바로 열기

저자: Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

1. Key Terms & Definitions (핵심 용어 및 정의)

• RGB-DF: RGB, Depth, Flow의 합성어로, 단순 2D 영상에 Depth와 Optical Flow를 결합하여 물리적으로 정교한 4D 동역학을 표현하는 프로젝티브 4D 데이터 포맷입니다.
• RynnWorld-4D: 단일 RGB-D 이미지와 텍스트 지시사항을 입력받아 RGB, Depth, Flow를 동기화하여 생성하는 트라이-브랜치(Tri-branch) 구조의 생성형 4D 월드 모델입니다.
• RynnWorld-4D-Policy: RynnWorld-4D가 생성한 내부 4D 표현을 직접 활용하여 역동역학(Inverse Dynamics)을 수행, 실시간 폐루프(Closed-loop) 제어를 가능하게 하는 정책 헤드입니다.
• Joint Cross-Modal Attention (JA): 서로 다른 모달리티(RGB, Depth, Flow) 간의 일관성을 유지하기 위해 3D RoPE를 사용하여 프레임별로 교차 모달리티 정보를 통합하는 신경망 모듈입니다.
• Flow Matching: 생성 모델의 학습 및 추론 과정에서 노이즈로부터 데이터를 복원하는 속도장(Velocity Field)을 학습하는 목표 함수이자 방법론입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

기존의 로봇 조작을 위한 월드 모델들은 주로 2D 픽셀 기반의 비디오 생성에 의존하고 있어, 실제 로봇 시스템이 요구하는 정밀한 3D 공간 관계나 물리적 일관성을 확보하는 데 한계가 있습니다. 이러한 2D 모델은 깊이(Depth) 정보의 부재로 인해 6-DoF 포즈 추정이나 깊이 기반 상호작용에서 오차가 발생하며, 시간적 일관성 부족으로 물체 크기가 변하는 등 물리적 왜곡이 나타납니다. 결과적으로 생성된 영상과 로봇의 실제 조작 동작 사이에는 큰 간극이 존재하여 정밀한 제어가 어렵습니다. 본 논문은 이러한 2D 한계를 극복하고, 기하학적 정보와 시간적 움직임이 명시된 4D 환경 모델을 통해 로봇 조작 성능을 개선하고자 합니다 [Figure 1].

Figure 1 — 4D 생성 및 3D 장면 흐름 개념

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 대규모 데이터셋인 Rynn4DDataset 1.0을 구축하고, 이를 학습하기 위한 트라이-브랜치 구조의 RynnWorld-4D 프레임워크를 제안합니다. 이 모델은 Wan 2.2를 백본으로 확장하여 각 모달리티를 독립적으로 처리하되, 10개의 Joint Cross-Modal Attention 모듈을 통해 모달리티 간의 기하학적·시간적 일관성을 강화합니다 [Figure 4]. 제안된 RynnWorld-4D-Policy는 비싼 다단계 디노이징 과정 없이, 월드 모델의 내부 잠재 표현을 단일 forward pass로 추출하여 고주파(9 Hz) 폐루프 제어를 구현합니다. 실험 결과, RynnWorld-4D는 시간적·공간적 일관성이 높은 4D 예측을 수행함을 입증했습니다. 특히, RynnWorld-4D-Policy는 실제 로봇 조작 태스크에서 공간 정밀도와 시간적 협응 측면에서 state-of-the-art 성능을 달성하였으며, 1.1초의 짧은 사이클 타임 내에 계획을 재수립하는 견고함을 보였습니다 [Table 1].

Figure 4 — RynnWorld-4D 아키텍처 개요

4. Conclusion & Impact (결론 및 시사점)

본 논문은 RGB-DF 기반의 프로젝티브 4D 표현을 통해 로봇이 환경의 변화를 물리적으로 예측하고 행동으로 연결하는 새로운 파이프라인을 제시합니다. RynnWorld-4D는 기존 2D 월드 모델의 한계를 넘어, embodied AI가 물리적 세계를 이해하고 조작하는 데 필요한 핵심 정보를 효과적으로 통합합니다. 이 연구는 복잡한 조작 태스크에서 로봇의 자율성과 정밀도를 향상시킴으로써, 향후 실생활 환경에서의 로봇 배포를 가속화하는 중요한 기반 기술이 될 것으로 기대됩니다.

Figure 3 — 데이터 큐레이션 파이프라인

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.