본문으로 건너뛰기

[논문리뷰] MPEG-Diffusion: Mixed-Resolution Video Generation

링크: 논문 PDF로 바로 열기

저자: Dennis Menn, Tianpei Gu, Guande He, Aryan V S, Yanke Song, Nan Liu, Desai Xie, Xun Huang, Chenfeng Xu, Diana Marculescu (UT Austin, Roblox)

1. Key Terms & Definitions (핵심 용어 및 정의)

  • Mixed-Resolution Generation: 화면에서 중요한 region은 high resolution(HR)으로, 나머지는 low resolution(LR)으로 생성하는 방식입니다. LR token 1개가 HR token 여러 개(기본 n=4, 즉 2×2)를 대신하므로, 매 denoising step의 compute가 LR 영역의 면적에 비례해 줄어듭니다.
  • Curse of Mixed Resolution: HR과 LR token이 하나의 key/value 집합(shared K/V)을 함께 쓰면, softmax attention에서 LR token 1개가 자신이 대신하는 HR token n개의 attention 효과를 재현할 수 없다는 현상입니다. 저자들은 이를 Proposition 1로 증명했습니다. 원인은 weight가 아니라 token 개수이므로 fine-tuning만으로는 해결되지 않습니다.
  • Dual-Resolution Attention: 각 attention layer가 HR과 LR의 K/V 집합을 모두 완전한 형태로 유지하고, 각 query는 자기 해상도의 K/V만 읽는 구조입니다. 비어 있는 K/V 위치는 linear map(f↑, f↓)으로 다른 해상도에서 채웁니다.
  • Mixed-Resolution Decoder: VAE decoding 전에 HR latent와 LR latent를 latent space에서 하나로 합치는 모듈입니다. learned latent upscaler(𝒰)와 3D convolution 기반 mixer(G)로 구성됩니다.
  • Self-Selected HR Region: DiT 중간 block의 feature 위에 linear head(s_b = wᵀLN(h_b)) 하나를 올려, denoising 도중에 HR mask를 예측하는 방식입니다. 외부에서 HR region을 미리 지정하지 않아도 되므로 일반 text-to-video 생성에 바로 쓸 수 있습니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문의 핵심 주장은 mixed-resolution video generation의 품질 저하가 방식 자체의 한계가 아니라 기존 구현의 세 가지 root cause에서 비롯된다는 것입니다. Video DiT는 해상도와 길이가 늘어날수록 attention 비용이 quadratic하게 증가합니다. 그런데도 디테일한 얼굴이든 단순한 하늘이든 모든 region에 똑같은 compute를 씁니다. 저자들은 MPEG, H.264 같은 video codec이 중요한 영역에 bit를 더 배분하는 원리를 generation compute에 적용하려 합니다.

기존 mixed-resolution 방법(Phase-Aligned RoPE, Foveated Diffusion, LIPAR)에는 두 가지 한계가 있습니다.

  • 품질 저하: video에서 blur와 resolution boundary seam이 심하게 나타납니다.
  • HR region 사전 지정 필요: 생성 초기의 frame은 너무 흐려서 off-the-shelf detector로 영역을 찾을 수 없는데도 HR region을 미리 알아야 합니다.

저자들은 원인을 세 가지로 진단합니다.

  1. shared K/V에서 생기는 curse of mixed resolution
  2. VAE decoder가 이웃 patch에 강하게 의존하기 때문에 생기는 boundary distortion: 실제 video를 encode한 latent에서도 resize-and-paste 방식은 seam을 남깁니다.
  3. external condition에 대한 의존

3. Method & Key Results (제안 방법론 및 핵심 결과)

MPEG-Diffusion은 세 root cause에 각각 하나의 component로 대응하며, inference는 다음 네 단계로 진행됩니다.

  1. 전체 T step 중 처음 k step은 video 전체를 LR로 denoise합니다.
  2. step k에서 linear head가 HR region M을 고릅니다.
  3. M을 HR로 upscale한 뒤 re-noise하고, 남은 step에서 dual-resolution attention으로 M은 HR, 나머지는 LR로 denoise합니다.
  4. mixed-resolution decoder가 두 latent를 하나의 HR video로 합칩니다.

Dual-resolution attention의 근거와 구성

  • base Wan2.1 1.3B에서 HR과 LR의 K/V 사이에 linear map을 fit했습니다. held-out data에서 cosine similarity는 down key 0.96, down value 0.85, up key 0.94, up value 0.75로, 두 해상도 사이에 강한 linear relation이 있음을 보여줍니다.
  • map은 ridge regression으로 초기화하고 DiT와 함께 fine-tune합니다. 대형 모델에서는 메모리를 줄이기 위해 linear delta 변형(W = A + UVᵀ, rank-r correction)을 씁니다.
  • key는 RoPE 적용 전에 mapping하므로 map은 content에만 작용하고, RoPE는 각 해상도의 grid를 그대로 사용합니다.

Mixed-resolution decoder

  • LR latent에서 비어 있는 M 영역을 downscale한 HR latent로 채운 뒤 upscale합니다.
  • mixer G가 LR 영역에 대한 residual Δ를 예측해 seam을 제거합니다.

Region head 학습

  • LLM(Qwen2.5)이 prompt에서 main subject를 찾고, Grounded SAM이 이를 frame마다 tracking해 만든 object label을 사용합니다.
  • 학습은 frozen DiT 위에서 binary cross-entropy loss로 진행합니다.

주요 정량 결과 (Wan2.1 1.3B 480p / 14B 720p, 81 frames, 50 steps)

속도

  • full-resolution token의 30%만 처리하면서 denoising 속도를 1.3B에서 3.8×, 14B에서 4.8× 높였습니다.
  • 14B, k=40에서는 baseline(5.2×)보다 약간 느립니다. HR token이 전체 HR K/V를 attend하기 때문입니다. 다만 baseline의 k=25 설정(37% token)과 비교하면 더 적은 token으로 더 빠르고(4.8× vs. 4.2×) 모든 metric에서 앞섭니다.

품질

  • k=40과 k=25 설정 모두, 두 모델 모두에서 token-matched 방법 중 모든 quality metric 1위입니다. 14B k=40의 VBench Quality만 Foveated Diffusion과 동률입니다.
  • 14B k=40 기준 MANIQA는 0.397로 Foveated Diffusion(0.300)보다 높고, DOVER는 0.794로 HR(0.819)과의 gap이 0.025에 불과합니다.
  • ToMe와 IDM은 이 정도 compression ratio에서 완전한 noise로 붕괴했습니다(DOVER 약 0.07–0.12).

Human study (14B, 400 pairs, 15 raters)

  • Phase-Aligned RoPE 대비 98.8%, Foveated Diffusion 대비 90.1%, LR 대비 69.1%의 win rate를 기록했습니다.
  • HR 대비 win rate는 45.2%로 거의 대등하며, 이때 속도는 3.3× 빠릅니다.

Higher resolution (960p, LR token 1개 = HR token 16개)

  • 4.8× 속도에서 DOVER는 0.789로 HR(0.806)에 근접했습니다.
  • 같은 속도의 Foveated Diffusion(4.7×)보다 모든 metric에서 우수합니다.

Image generation (FLUX.2 [klein] 4B, 33% token)

  • patch FID 12.97, Q-Align 4.60으로 최고 성능이고, 속도는 **1.40×**로 Foveated Diffusion(1.14×)보다 빠릅니다.

Ablation

  • MPEG component 전체의 overhead는 생성 시간의 3.0%뿐입니다. K/V map 2.4%, mixer 0.6%, region head 0.04%입니다.
  • dual-resolution attention은 seam에서 warping error를 2.61 → 1.96 (×10⁻³), temporal LPIPS를 4.59 → 4.14 (×10⁻²)로 낮췄습니다.
  • mixer는 boundary 근처 LPIPS를 0.19 → 0.12로 낮췄습니다.
  • self-selected region의 mIoU는 1.3B에서 0.59, 14B에서 0.67입니다.

4. Conclusion & Impact (결론 및 시사점)

MPEG-Diffusion은 세 root cause를 각각 dual-resolution attention, mixed-resolution decoder, self-selected HR region으로 해결했습니다. 그 결과 최대 4.8× speedup에서 full-resolution에 가까운 품질을 냅니다. 또 human study에서 기존 mixed-resolution 방법 대비 90% 이상의 preference를 얻었습니다.

한계점

  • dual-resolution attention은 HR과 LR 사이의 linear relation을 구조적으로 가정하므로 약간의 품질 저하가 남을 수 있습니다.
  • LR 영역의 blur와 HR 영역의 디테일 차이가 눈에 띄는 경우가 있습니다.
  • region head가 LLM과 Grounded SAM label에 의존합니다. 저자들은 End-to-End fine-tuning을 future work로 제시합니다.

시사점

  • token merging, caching, distillation 같은 기존 efficient diffusion 기법과 orthogonal한 "공간적 해상도 할당" 축을 실용적인 수준으로 끌어올렸습니다.
  • codec식 사고를 generative model compute에 적용하는 방향을 열었으며, 고해상도·장시간 video generation의 inference 비용을 줄이는 데 산업적으로 의미가 큽니다.
  • resolution이 높아질수록 speedup이 커진다는 점(720p 3.3× → 960p 4.8×, 둘 다 k=25 기준)도 확장성 측면에서 중요합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글