[논문리뷰] OSWAM: An Effective World Action Model with One-Step Action Generation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Guowen Zhang, Liyi Chen, Xu Hu, Pengfei Wang, Jingfan Chen, Chenhang He, Lei Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• World Action Model (WAM): 비디오 생성 모델의 사전 학습된 지식을 활용하여 환경의 미래 상태를 예측하고 이를 기반으로 행동(Action)을 결정하는 프레임워크입니다.
• Direct-policy WAM: 추론 시점에 명시적인 미래 비디오 생성 과정(Rollout)을 생략하고, 현재 관측값으로부터 직접 행동을 추론하는 모델 구조입니다.
• Imagination Tokens (AIT/SIT): Diffusion Transformer(DiT)의 입력 단계에서 구조화된 정보를 제공하기 위해 도입된 토큰으로, AIT는 행동을 위한 사전 지식을, SIT는 장면 문맥을 모델링합니다.
• Privileged-information Distillation: 훈련 시점에만 미래 전체 시점의 정보를 접근할 수 있는 교사(Teacher) 모델로부터 긴 시간 범위의 문맥 정보를 학습하여, 추론 시에는 단일 프레임만으로 미래를 예측할 수 있게 하는 증류 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 Direct-policy WAM이 실시간 제어가 필요한 자율주행 및 로봇 제어에서 겪는 추론 지연(Latency) 문제를 해결하고자 합니다. 기존 모델들은 행동 품질을 유지하기 위해 수십 단계의 노이즈 제거(Denoising) 과정을 거쳐야 하는데, 이를 무리하게 줄이면 비선형적인 행동 궤적이 붕괴되어 제어 정확도가 급격히 하락합니다 [Figure 2]. 이러한 성능 저하는 초기 무작위 노이즈에서 구조화된 행동 사전 지식이 결여된 상태로 생성하기 때문에 발생합니다. 따라서 본 연구는 실시간성을 확보하면서도 고품질의 행동을 단 한 번의 단계로 생성할 수 있는 모델 구조를 목표로 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 구조화된 시작점을 생성하여 단일 단계 추론을 가능하게 하는 OSWAM을 제안합니다 [Figure 3]. OSWAM은 Action Imagination Tokens (AIT)와 Scene Imagination Tokens (SIT)를 도입하여, 비디오 DiT로부터 추출된 물리적으로 근거 있는 정보를 행동 DiT의 시작점으로 제공합니다. 또한, 미래 정보를 사전에 학습하는 Privileged-information Distillation을 통해 추론 시점의 추가 연산 없이도 긴 시간 범위의 문맥을 확보합니다 [Figure 4].

실험 결과, OSWAM은 NAVSIM(자율주행) 및 RoboTwin(로봇 제어) 데이터셋에서 기존 Direct-policy WAM 대비 약 3배 이상의 속도 향상을 달성했습니다 [Table 3]. 자율주행 환경에서 PDMS 90.3의 우수한 성능을 유지하면서도 단일 단계 추론을 통해 40ms 수준의 낮은 Latency를 확보했습니다. 이는 기존 모델들이 10단계 이상의 노이즈 제거를 수행하던 것과 비교하여 매우 효율적인 결과입니다 [Table 1, Table 2].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 OSWAM을 통해 효율적인 One-step Action Generation이 가능한 세계 행동 모델의 새로운 패러다임을 제시했습니다. 구조화된 초기화와 증류 기법을 결합하여 실시간 제어가 필수적인 물리 기반 AI 응용 분야에서 모델의 배포 가능성을 대폭 높였습니다. 본 연구의 성과는 향후 실시간성이 요구되는 임베디드 제어 시스템 및 자율 주행 로봇 분야의 표준적인 모델링 접근 방식에 중대한 기술적 시사점을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.