[논문리뷰] Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds

링크: 논문 PDF로 바로 열기

메타데이터

저자: Nan Duan, Haoyang Huang, Weiyang Jin, Haoran Li, Yaowei Li, Yuming Li, Yijun Liu, Xin Lu, Xiaoxiao Ma, Yanwen Ma, Yaofeng Su, Yilang Sun, Haoyu Wang, Zeyue Xue, Songchun Zhang, Junhao Zhuang

1. Key Terms & Definitions (핵심 용어 및 정의)

• Audio-Visual Memory: 다수의 과거 샷(shot)에서 추출한 시각적 증거와 음성 데이터를 통합하여 캐릭터의 외형 및 음성 정체성을 장기적으로 유지하는 프레임워크입니다.
• 6-DoF (Degrees of Freedom): 3차원 공간에서의 위치(x, y, z)와 회전(yaw, pitch, roll) 정보를 포함하는 카메라 궤적 데이터로, World Model의 정교한 제어를 위해 사용됩니다.
• Self-Gradient Forcing: 모델이 생성한 과거의 rollout 시퀀스를 학습 데이터로 사용하여, 누적된 생성 오류에 강건하게 대응하고 장시간 일관성을 유지하도록 돕는 훈련 전략입니다.
• DMD (Distribution Matching Distillation): 생성 과정의 효율성을 높이기 위해 복잡한 확산(diffusion) 과정을 몇 단계의 샘플링으로 압축하는 증류 기법입니다.
• T2AV / I2AV: 각각 텍스트-오디오-비디오(Text-to-Audio-Video) 및 이미지-오디오-비디오(Image-to-Audio-Video) 생성을 지칭하며, 시스템이 다루는 주요 입력 모달리티 인터페이스입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 비디오 생성 모델이 가진 고정된 시간적 윈도우의 한계를 극복하고, 장시간의 내러티브와 상호작용 가능한 세계를 일관되게 생성하기 위한 JoyAI-Echo-1.5를 제안합니다. 기존 모델들은 생성된 과거 기록을 활용하는 과정에서 정체성(Identity) 정보가 소실되거나, 다중 샷(shot) 간의 시각적 불일치가 발생하는 문제가 있었습니다. 또한, 사용자 제어 입력과 비디오 출력 사이의 정렬(alignment)이 부족하여 복잡한 환경에서의 상호작용이 어렵다는 한계가 있었습니다. 이를 해결하기 위해 저자들은 메모리 기반의 조건부 생성과 기하학적 제어 경로를 통합하는 새로운 프레임워크가 필요하다고 판단하였습니다 [Figure 1].

Figure 1 — JoyAI-Echo-1.5 데이터 구축 파이프라인

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 JoyAI-Echo-1.5의 두 가지 핵심 변형 모델을 통해 위 문제를 해결합니다. Long-video 모델은 composable cross-shot memory를 통해 여러 이전 샷에서 시각적/음성적 증거를 집계하여 정체성을 유지하며, 이를 통해 다양한 텍스트 및 이미지 조건부 생성을 수행합니다. World-model 모델은 사용자의 내비게이션 입력을 6-DoF 카메라 궤적으로 변환하고, 이를 geometry-aware conditioning 경로를 통해 모델에 주입함으로써 정교한 제어를 실현합니다. 효율적인 장기 생성을 위해 모델은 bidirectional 오디오-비디오 백본을 causal한 형태로 변환하는 progressive teacher forcing과 Self-Gradient Forcing 기법을 적용하였습니다. 실험 결과, JoyAI-Echo-1.5는 기존 베이스라인 대비 샷 간 일관성, 비디오 품질, 언어 정렬 및 음성 충실도 측면에서 우수한 성능을 입증했습니다. 특히, 세계 모델 변형은 WBench에서 평균 점수 81.7을 기록하며 1위를 달성하였고, SANA-WM-Bench에서도 선도적인 시각적 품질과 장기 지속성을 보였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 메모리, 기하학적 제어, 그리고 rollout 기반의 학습 전략을 통해 비디오 생성의 범위를 단순 클립 단위에서 확장 가능한 내러티브와 상호작용 세계로 진전시켰습니다. 제안된 JoyAI-Echo-1.5는 캐릭터의 정체성과 음성 정보를 샷 간에 효과적으로 유지함으로써 스토리텔링의 지속성을 크게 개선하였습니다. 이 연구 결과는 향후 AI가 생성한 콘텐츠가 단순한 시각적 묘사를 넘어, 사용자 의도에 반응하고 지속적으로 진화하는 환경을 구축하는 기반 기술로서 중요한 이정표를 제시합니다. 학계와 산업계 전반에 걸쳐 고도화된 상호작용형 가상 세계 및 장편 비디오 콘텐츠 제작 프레임워크로 활용될 가능성이 매우 높습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.