[논문리뷰] Vidu S1: A Real-Time Interactive Video Generation Model

링크: 논문 PDF로 바로 열기

저자: Jintao Zhang, Kai Jiang, Jintao Chen, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• TurboDiffusion: 비디오 확산 모델을 가속화하여 대폭적인 추론 효율을 제공하는 하드웨어-소프트웨어 공동 설계 기술입니다.
• TurboServe: 스트리밍 비디오 생성을 효율적이고 경제적으로 수행하기 위해 클러스터 수준에서 서빙을 최적화하는 시스템입니다.
• TwinCache: 이전 단계의 Noisy/Clean 캐시를 적절히 활용하여 장기적인 시간적 일관성과 시각적 품질을 동시에 유지하는 스테이지 인식 캐싱 전략입니다.
• Vidu-StreamBench: 실시간 인터랙티브 아바타 생성 능력을 평가하기 위해 저자들이 직접 설계한 500개 샘플 규모의 벤치마크입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 오프라인 생성 패러다임이 가진 상호작용성 부재와 실시간 응답성 결여 문제를 해결하기 위해 Vidu S1을 제안합니다. 대부분의 기존 비디오 생성 모델은 전체 프레임을 한 번에 생성하는 one-shot 방식에 의존하여, 사용자가 생성 과정에 실시간으로 개입할 수 없는 한계가 있습니다. 또한, 장기 생성 시 발생하는 오차 누적으로 인한 drift와 visual collapse 문제가 존재하며, 실시간 요구사항을 충족하기 위한 고성능 인프라가 필수적입니다. [Figure 1]은 이러한 제약 조건을 극복하고 사용자 음성 명령을 통해 미래 비디오를 실시간으로 제어하는 모델의 개요를 나타냅니다.

Figure 1 — 모델의 주요 기능과 구조를 직관적으로 보여주는 핵심 개요도입니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 3단계 학습 파이프라인을 통해 실시간 인터랙티브 비디오 생성 성능을 극대화합니다. 첫째, Bidirectional Teacher 모델을 통해 고품질의 생성 Prior를 구축하고, 둘째, Teacher Forcing과 Diffusion Forcing을 결합한 하이브리드 학습을 통해 Causal Teacher로 적응시킵니다. 마지막으로, DMD (Distribution Matching Distillation) 및 PCM (Phased Consistency Models) 정규화를 적용하여 샘플링 단계를 압축함으로써 실시간성을 확보합니다. [Table 1]에 따르면, Vidu S1은 540p 해상도에서 42 FPS의 추론 속도를 달성하며, CSIM (0.9192), Sync-D (7.847), DOVER (0.5660) 지표에서 경쟁 모델 대비 가장 우수한 성능을 입증했습니다. 특히, 음성 명령을 통한 Subject Controllability에서 경쟁 시스템 대비 100%의 압도적인 사용자 선호도를 기록했습니다.

Table 1 — 제안 모델의 우수한 성능을 수치적으로 증명하는 비교 결과 테이블입니다.

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 음성 제어 가능한 디지털 캐릭터를 위한 실시간 인터랙티브 비디오 생성 프레임워크인 Vidu S1을 성공적으로 제시하였습니다. 제안된 시스템은 실시간 생성 환경에서도 안정적인 Long-horizon 스트리밍을 지원하며, 저비용 GPU 환경에서도 42 FPS라는 높은 Throughput을 제공하여 실용성을 극대화하였습니다. 이러한 기술적 도약은 향후 라이브 컨버세이션, 가상 호스트, 엔터테인먼트 에이전트 등 고도의 실시간 상호작용이 필요한 산업 분야에 큰 영향을 미칠 것으로 기대됩니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.