[논문리뷰] Ex-Omni-2D: Expressive Omni-Modal Dialogue Models with Native Visual Presence

링크: 논문 PDF로 바로 열기

저자: Haoyu Zhang, Zhipeng Li, Xiaoying Tang, Tianshu Yu, Yiwen Guo

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• VTP (Visual Thought Plan): LLM이 대화 맥락과 사용자 쿼리를 바탕으로 생성하는 중간 단계의 비디오 제어 구조물로, 장면, 감정, 동작 등을 명시적으로 계획합니다.
• Multi-codebook Speech Units: 16개의 codebook으로 구성된 공유 음향 표현으로, 음성 렌더링뿐만 아니라 비디오 프레임과의 정렬을 위한 시간적 인터페이스로 사용됩니다.
• Prefix Streaming: 증분 생성 시 발생하는 후반부 품질 저하를 방지하기 위해 이전 chunk의 마지막 latent를 다음 chunk의 입력으로 재사용하는 기법입니다.
• Teacher-Student Distillation: 50단계의 denoising 과정을 거치는 full-sequence Teacher 모델을 소규모의 block-causal Streaming Student 모델로 증류하여 효율적인 추론을 가능하게 합니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 omni-modal 대화 모델들이 텍스트와 음성 이해에는 능숙하지만, 시각적 실체가 결여된 'visually disembodied' 상태라는 문제를 해결하기 위해 Ex-Omni-2D를 제안합니다. 기존의 talking-avatar 생성 기법들은 사전 정의된 음성 파형에만 의존하거나 대화 맥락을 충분히 반영하지 못하는 한계가 있습니다. 또한, full-sequence diffusion 방식은 실시간 상호작용이 필요한 대화 환경에 적용하기에는 너무 느리다는 문제점이 있습니다. 따라서 본 연구는 대화 맥락으로부터 직접 시각적 의도를 도출하고, 효율적인 스트리밍 방식으로 동기화된 비디오 응답을 생성하는 새로운 프레임워크를 개발하는 것을 목표로 합니다. [Figure 1]은 제안된 프레임워크의 전체 아키텍처를 보여줍니다.

Figure 1 — 전체 프레임워크의 흐름과 VTP 및 speech/video 생성 과정을 보여주는 핵심 아키텍처

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 대화 모델이 생성한 VTP와 multi-codebook speech units를 핵심 인터페이스로 활용하여 음성과 비디오 경로를 통합합니다. VTP는 명시적인 시각적 안내를 제공하며, 음향 유닛은 화자 Motion과 음성 콘텐츠의 정확한 동기화를 보장합니다. Streaming Student는 Prefix Streaming 기술을 통해 4단계 inference만으로도 효율적인 결과를 도출하며, [Table 1]과 [Table 4]에서 확인할 수 있듯이 품질과 효율성 사이의 최적의 trade-off를 달성합니다. 실험 결과, 제안 모델은 OmniCharacter 벤치마크에서 기존의 8B 파라미터 모델 대비 높은 Fluency, Coherency, Consistency 점수를 기록했습니다. 또한, CommonEval 지표에서도 높은 Sync-C 값을 보여주며 음성과 비디오 간의 뛰어난 동기화 성능을 입증하였습니다.

Table 1 — 다양한 파라미터와 기법에 따른 성능 및 효율성 지표 비교

Table 4 — Teacher와 다양한 단계의 Student 간의 성능 및 추론 효율성 비교

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 대화 응답의 일환으로 시각적 존재감을 구현하는 dialogue-native 비디오 생성 프레임워크인 Ex-Omni-2D를 성공적으로 구축하였습니다. 이 모델은 중간 단계의 VTP와 스트리밍 가능한 음향 인터페이스를 통해 대화형 AI 시스템의 시각적 표현력을 크게 향상시켰습니다. 본 연구는 향후 실시간 대화형 에이전트 개발에 있어 시각적 의도 계획과 증분 생성의 중요성을 강조하며, 관련 학계와 산업계에서 보다 몰입감 높은 인간-AI 상호작용 기술을 실현하는 데 중요한 기반이 될 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.