[논문리뷰] DreamX: Video Diffusion Model is a Universal Latent Action Learner

링크: 논문 PDF로 바로 열기

The paper is "DreamX: Video Diffusion Model is a Universal Latent Action Learner" by Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, and Seungryong Kim. The project page is https://cvlab-kaist.github.io/DreamX.

I will now proceed with summarizing the paper based on the browsed content, following all the specified constraints and formatting requirements.

Authors: Jisoo Kim, Chaehyun Kim, Junsu Kim, et al. Keywords: Latent Action Learning, Video Diffusion Models, Universal Action Representation, Cross-Embodiment Transfer, Policy Learning, Robot Manipulation, Spatiotemporal Features

1. Key Terms & Definitions (핵심 용어 및 정의)

• Latent Action Models (LAMs): 시각적 전환(visual transitions)으로부터 행동 표현(action representations)을 학습하여, 행동 레이블이 없는 비디오를 사용하여 downstream 제어를 감독할 수 있도록 하는 모델입니다.
• Video Diffusion Model: 대규모 비디오 데이터에 대해 학습되어 장면이 시간 경과에 따라 어떻게 진화하는지 모델링함으로써 풍부한 spatiotemporal 구조를 습득하는 generative model입니다.
• Universal Latent Action: Embodiment(인간, 로봇 등) 및 환경 변화에 불변하면서도 동일한 행동의 다양한 실행에 걸쳐 일관된 dynamics를 모델링하여 비디오로부터 학습된 보편적인 행동 표현입니다.
• Query Tokens: DreamX 프레임워크에서 learnable하며, 비디오 모델의 spatiotemporal attention을 통해 비디오 토큰과 함께 처리되어 action-relevant 정보를 수집하고 latent action을 압축하는 데 사용되는 토큰입니다.
• LARYBench: Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment의 약자로, 잠재 행동 표현이 미세한 동작 궤적을 얼마나 잘 포착하는지(Regression)와 다른 동작을 얼마나 잘 구별하는지(Classification)를 평가하는 벤치마크입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

DreamX는 다양한 embodiment에 걸쳐 일관되고 appearance에 불변하는 universal action representation 학습의 어려움을 해결하고자 합니다. 기존의 Latent Action Models (LAMs)는 시각적 전환으로부터 action을 추론하지만, 학습된 표현이 종종 underlying action과 관련 없는 시각적 variations를 얽히게 하여 embodiment 간의 transferability를 제한하는 한계를 가지고 있습니다. 이는 동일한 행동이 embodiment에 따라 다른 low-level action에 해당할 수 있어 action label을 직접 공유하기 어렵게 만듭니다.

저자들은 이러한 문제를 극복하기 위해 pretrained video diffusion model의 spatiotemporal prior와 generative prior를 활용하는 새로운 접근 방식이 필요하다고 지적합니다. 기존 LAMs는 종종 단일 프레임 페어의 local visual transition에서 action space를 학습하여, 동작이 한 단계를 넘어 어떻게 지속되는지에 대한 관점을 제공하지 못하고 encoder가 action을 appearance와 얽히게 하며 그 표현이 훈련 embodiment에 묶이게 만듭니다. 또한, VPP나 AdaWorld, VideoWorld2와 같은 연구들은 비디오 모델을 generative prior로 활용하지만, action representation은 외부 모듈에 의해 학습되므로 비디오 diffusion backbone의 내부 표현을 직접적으로 활용하지 못하는 단점이 있었습니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 pretrained video diffusion model을 universal latent action learner로 재활용하는 DreamX 프레임워크를 제안합니다. DreamX는 learnable query tokens를 사용하여 비디오 모델의 풍부한 spatiotemporal features로부터 compact latent action을 추출하며, 각 latent video frame을 1,200개의 토큰에서 단 4개의 토큰으로 압축하여 300배의 토큰 수 감소를 달성합니다. 이 latent action들은 동일 모델의 text conditioning을 대체하여 initial frame으로부터 future frames를 재구성하는 데 사용되며, 이 재구성 목적 함수는 latent action이 시각적 appearance와 disentangle된 action-relevant dynamics를 포착하도록 유도합니다. DreamX는 Cosmos-Predict2.5 2B 모델을 기반으로 하며, 인간의 egocentric 비디오와 로봇 비디오를 포함하는 heterogeneous 데이터셋으로 학습되었습니다.

DreamX는 다양한 실험에서 뛰어난 성능을 보였습니다. LARYBench에서 기존 latent action models 중 state-of-the-art 성능을 달성했으며, 특히 Regression MSE는 가장 강력한 Baseline인 DiLA의 0.38에서 0.17로 감소시켰고, Classification Accuracy는 62.25%에서 69.67%로 향상시켰습니다. [Table 1] 이러한 결과는 비디오 모델의 pretrained prior에서 직접 latent action을 읽는 것이 spatial, temporal, semantic 구조를 embodiment 전반에 걸쳐 포착하는 데 효과적임을 시사합니다. DreamX는 또한 any-to-any video transfer 및 zero-shot human-to-robot action transfer 기능을 지원하며, 이는 paired source-target training data 없이도 이루어집니다. 예를 들어, Figure 4와 5는 DreamX가 source motion을 재현하면서 target scene과 embodiment의 appearance를 보존하는 것을 보여줍니다. 특히 Zero-shot human-to-robot video transfer에서는 AdaWorld와 VideoWorld2 대비 모든 metric에서 우수한 성능을 기록했는데, FVD는 57.44로 경쟁 모델 대비 현저히 낮았으며 LPIPS는 0.179, PSNR은 26.52, SSIM은 0.917을 달성했습니다. [Table 2] 이는 DreamX가 appearance로부터 transferable motion을 더 잘 분리하여 더 일관된 human-to-robot transfer를 가능하게 함을 의미합니다. 또한, DreamX의 latent actions는 real-world drawer-closing 태스크에서 downstream policy learning의 예측 targets로 사용될 수 있음을 입증했습니다. DreamX는 평균 96.7%의 subgoal Success Rate를 달성했으며, Mimic-Video 대비 19.1배 빠른 1,474ms의 inference Latency를 보였습니다. [Table 3] Latent-action conditioning이 policy 성능을 향상시키는 것도 확인되었습니다. [Table 7]

4. Conclusion & Impact (결론 및 시사점)

DreamX는 pretrained video diffusion model의 spatiotemporal 및 generative priors를 활용하여 universal latent action을 학습하는 효과적인 프레임워크입니다. 이 연구는 기존 latent action models의 한계를 극복하고, 다양한 embodiment와 환경에 걸쳐 action-relevant dynamics를 disentangle된 형태로 포착하는 새로운 방법을 제시합니다. DreamX가 LARYBench에서 달성한 state-of-the-art 성능과 any-to-any video transfer, zero-shot human-to-robot action transfer 능력은 pretrained video models가 재사용 가능한 action representation 학습의 강력한 기반임을 입증합니다.

이 연구는 학계와 산업계 모두에 상당한 시사점을 제공합니다. 학술적으로는 video diffusion models의 latent space가 단순한 비디오 생성뿐만 아니라, 로봇 제어와 같은 high-level task에 필요한 보편적인 행동 표현을 학습하는 데 강력한 잠재력을 가지고 있음을 보여줍니다. 산업적으로는, 대규모의 로봇 demonstration data 수집 비용 문제를 완화하고, human egocentric video와 같은 풍부한 비디오 자원을 활용하여 일반화 가능한 로봇 policy를 개발하는 데 기여할 수 있습니다. 특히, compact latent action을 예측 목표로 사용하는 policy learning은 효율적인 로봇 제어를 가능하게 하여, 미래 로봇 시스템의 실용적인 배포를 위한 중요한 단계를 제공합니다.

Figure 1 — DreamX 프레임워크 개요

Figure 2 — DreamX 아키텍처 및 어텐션 마스크

Figure 3 — DreamX 하위 애플리케이션

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.