[논문리뷰] Video DeltaNet: A Video-Native Hybrid Attention for Livestream Video Generation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haocheng Xi, Yiming Xie, Hexu Zhao, Yiwen Zhang, Michael Liu, Thomas Creavin, Kurt Keutzer, Xiuyu Li, Zhaoyang Lv, Chenfeng Xu, Haiwen Feng

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• VDN (Video DeltaNet): 로컬 Softmax attention과 장거리 문맥을 위한 양방향 선형 메모리(Bidirectional Linear Memory)를 결합한 하이브리드 비디오 생성 아키텍처입니다.
• VDA (Video Delta Attention): 비디오의 전체 공간 토큰을 동시에 통합하여 프레임 단위로 업데이트하는 비디오 전용 델타 규칙(Delta Rule) 기반의 선형 어텐션 방식입니다.
• DiT (Diffusion Transformer): 비디오 생성 모델의 핵심인 Transformer 기반 확산 모델로, 본 논문에서는 MiniMax H3 아키텍처를 기반으로 성능을 최적화합니다.
• Boundary Anchors: 비디오 시퀀스의 첫 번째와 마지막 프레임을 글로벌 참조로 고정하여, 로컬 어텐션 윈도우 밖에서도 장기 일관성을 유지하게 하는 기법입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 긴 시공간 토큰 시퀀스를 처리하는 비디오 생성 모델에서 Softmax attention이 차지하는 높은 연산 비용 문제를 해결하고자 합니다. 기존의 Dense Softmax는 시퀀스 길이에 따라 연산량이 이차함수적으로 증가하여 대규모 비디오 생성을 저해하는 주요 병목이 됩니다. 반면, 일반적인 선형 어텐션(Linear Attention)을 적용할 경우 비디오 모델에 필요한 미세한 상호작용을 보존하지 못해 생성 품질이 저하되는 문제가 발생합니다 [Figure 1]. 저자들은 선형 어텐션의 효율성을 유지하면서도 기존의 고품질 생성을 보장할 수 있는 새로운 하이브리드 아키텍처의 필요성을 강조합니다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 비디오의 로컬 상호작용은 Sliding-Window Softmax로 처리하고, 먼 거리의 문맥은 Bidirectional Linear Memory로 요약하는 VDN 아키텍처를 제안합니다 [Figure 2]. 특히 VDA(Video Delta Attention)는 프레임 단위로 recurrent state를 업데이트하며, 이때 프레임 내의 모든 공간 토큰을 공동으로 반영하여 효율성을 극대화합니다 [Figure 3]. 모델 학습을 위해 저자들은 Staged Architecture Adaptation 레시피를 도입하여, 새로운 선형 경로를 사전 학습된 모델에 점진적으로 통합한 후, few-step distillation을 통해 50단계의 denoising 과정을 8단계로 단축했습니다. 실험 결과, 8단계 VDN-H3는 50단계 Dense H3 baseline 대비 14.3초 768p 비디오 생성에서 14.5배의 속도 향상을 달성했습니다 [Table 2]. 정성적 평가와 FIRM-Video 지표에서도 VDN-H3는 기존 Dense 모델과 동등하거나 우수한 품질을 유지하며, FastH3 모델보다 우월한 성능을 입증했습니다 [Figure 5].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 VDN을 통해 비디오 생성에서 연산 효율성과 생성 품질이라는 두 마리 토끼를 잡는 하이브리드 어텐션 프레임워크를 성공적으로 구축했습니다. 제안된 VDA와 단계별 학습 전략은 기존 foundation model의 재학습 없이도 효율적인 비디오 생성 모델로의 변환이 가능함을 보여줍니다. 이러한 접근 방식은 향후 라이브스트림 비디오 생성 및 고해상도 장기 비디오 합성 분야에서 실시간성을 확보하는 데 핵심적인 기여를 할 것으로 기대됩니다.

---

Part 2: 중요 Figure 정보

Figure 1 — VDN-H3의 품질 및 효율성

Figure 2 — Softmax 및 Linear 어텐션 할당 구조

Figure 3 — Video DeltaNet 전체 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.