[논문리뷰] OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation

링크: 논문 PDF로 바로 열기

저자: Jun Zhan, Chen Yang, Yitian Gong, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• OmniVAE: 오디오와 비디오의 fine-grained semantic alignment를 학습하기 위해 설계된 공동 훈련 방식의 오디오-비디오 VAE입니다.
• Segment-level Audio-Video Contrastive Learning: 오디오와 비디오 latents를 temporal segment 단위로 정렬하여 교차 모달 대응성을 강화하는 학습 기법입니다.
• Modality-specific Semantic Distillation: frozen pretrained encoder로부터 지식을 증류하여 각 latent space의 구조적 learnability를 향상시키는 기법입니다.
• T2AV (Text-to-Audio-Video): 단일 텍스트 프롬프트로부터 의미적으로 일관되고 시간적으로 동기화된 오디오와 비디오를 공동 생성하는 모델입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 독립적인 오디오-비디오 VAE 학습 방식이 초래하는 교차 모달 정렬(cross-modal alignment) 부족 문제를 해결하고자 합니다. 대부분의 생성 모델은 별도로 학습된 VAE를 사용하므로, downstream 생성 과정에서 모델이 처음부터 모달리티 간의 동기화와 데이터 분포를 동시에 학습해야 하는 비효율성이 발생합니다. 이러한 불일치는 오디오-비디오 생성 시 세밀한 temporal synchronization을 달성하는 데 큰 걸림돌이 됩니다. [Figure 1]에서 볼 수 있듯이, 본 연구는 생성 모델이 이미 정렬된 latent representation에서 작업할 수 있도록 VAE 아키텍처 내부에 명시적인 정렬 기법을 통합하는 방식을 제안합니다.

Figure 1 — OmniVAE의 전체적인 학습 아키텍처 및 정렬 메커니즘을 설명하는 핵심 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 재구성(reconstruction) 기반의 표준 VAE 학습에 두 가지 훈련 전용(training-only) 보조 목적함수를 추가하여 정렬을 최적화합니다. 첫째, Segment-level Audio-Video Contrastive Learning은 8초 분량의 클립을 1/6초 단위의 세그먼트로 나누고, 대규모 negative pool을 구성하여 bidirectional InfoNCE loss를 적용함으로써 fine-grained temporal alignment를 구축합니다. 둘째, Modality-specific Semantic Distillation은 Qwen3-Omni 기반의 frozen 인코더를 교사(teacher)로 활용하여 각 브랜치의 잠재 공간이 의미적으로 풍부한 구조를 갖도록 지도합니다. [Table 2]의 실험 결과에 따르면, OmniVAE는 독립적인 재구성 모델 대비 비디오 및 오디오 재구성 품질을 유지하면서도, 정렬 성능 면에서 현저히 우수한 지표를 기록하였습니다. 구체적으로, 동기화 탐색(sync probing) 실험에서 [Table 3]을 통해 증명된 바와 같이, 제안된 기법들은 A@1 지표를 기준으로 baseline 대비 크게 향상된 temporal alignment 정확도를 달성했습니다.

Table 2 — 제안 모델과 기존 VAE 모델 간의 재구성 품질을 정량적으로 비교한 표

Table 3 — 제안한 정렬 방식의 효과를 보여주는 temporal synchronization 정량 지표

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 오디오와 비디오 latent space를 명시적으로 정렬하는 것이 downstream 생성 모델의 품질과 동기화 정밀도에 결정적임을 입증했습니다. 제안된 OmniVAE는 추론 단계에서 추가적인 연산 비용 없이 효율적인 정렬 효과를 제공하며, 이는 통합 멀티모달 모델 구축을 위한 견고한 foundation을 제시합니다. 본 연구는 대규모 생성 모델에서 모달리티 간의 관계를 사전 학습 단계에서 강화하는 전략의 유효성을 보여주었으며, 향후 다양한 오디오-비디오 생성 프레임워크에 표준적인 접근법으로 활용될 것으로 기대됩니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.