본문으로 건너뛰기

[논문리뷰] JVT: Just Video Transformer makes pixel-space video diffusion simple

링크: 논문 PDF로 바로 열기

저자: Jianjun Zhou, Hua Geng, Haoyu Guo


1. Key Terms & Definitions (핵심 용어 및 정의)

  • JVT (Just Video Transformer): 저자들이 제안한 pixel-space video diffusion 모델로, large-patch를 쓰는 단순한 DiT-style Transformer이다. Pretrained autoencoder, 보조 detailer, cascaded stage, U-Net-style skip connection을 쓰지 않는다. JiT를 따라 noisy pixel에서 clean video x̂₀를 직접 예측하고, rectified-flow velocity loss로 학습한다.
  • Patch-first Embedding: tubelet embedding을 spatial 연산과 temporal 연산으로 factorize한 video patch embedding이다. 먼저 patch-wise 2D convolution으로 각 frame의 spatial feature를 뽑고, 그다음 frame-wise 1D convolution으로 temporal 정보를 aggregate한다. Channel bottleneck(C_b)과 함께 쓰인다. 순서를 반대로 한 변형은 Frame-first이다.
  • Register Tokens: 앞쪽 L₁개 block을 거친 뒤 visual token 앞에 붙이고 마지막 block 이후 버리는 learnable token이다. 여기에 noise level embedding이나 class embedding을 더해 conditioning 경로로 쓸 수도 있다(e_r).
  • Register Guidance (RG): sampling 시 register가 있을 때의 velocity prediction(v_r)과 없을 때의 prediction(v_nr) 차이를 증폭하는 guidance이다. CFG와 결합할 수 있다. 원래 RG와 달리 학습 중 register dropout을 쓰지 않는다.
  • Pixel-aligned Joint Generation: RGB video와 depth, normal, flow 같은 pixel-aligned modality를 channel 방향으로 concatenate한 뒤 같은 noise level로 함께 denoising하는 방식이다. 본 논문에서는 RGB + square-root disparity의 4-channel 구성으로 구현했다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문의 핵심 질문은 특수한 architecture 없이 단순한 DiT-style Transformer만으로 pixel-space video diffusion이 가능한가이다. Latent diffusion은 효율적이지만 autoencoder에 묶여 있다. 그래서 reconstruction error, 추가 training/inference cost, 그리고 RGB 외 modality를 joint modeling하기 어렵다는 한계가 생긴다. 이미지 분야에서는 JiT 등이 pixel-space에서도 latent diffusion에 견줄 만한 품질을 보였다. 반면 video generation은 여전히 latent DiT가 주류이고, 기존 pixel-space video 모델은 대부분 U-Net-style skip connection이나 cascaded generation에 의존한다. 이런 특수 구조는 architecture와 training을 복잡하게 만들어 efficiency와 scalability를 떨어뜨릴 수 있다. 또한 raw video는 차원이 매우 높아서, latent DiT에서 autoencoder가 맡던 spatiotemporal downsampling을 patch embedding이 대신해야 한다는 설계 과제가 있다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

JVT는 clean-data prediction과 velocity loss를 결합한 x-prediction + rectified flow 목적함수 위에, 표준 DiT block과 선택적 register token을 쌓은 구조이다 [Figure 2]. 설계 탐색은 세 축으로 이루어졌다.

Figure 2: JVT 구조와 Register

Figure 2 — JVT 구조와 Register

  • Video Patch Embedding: plain tubelet, bottleneck tubelet, patch-first, frame-first 변형을 비교했다 [Figure 3]. FVD와 efficiency를 함께 고려해 patch-first, C_b=32를 기본값으로 채택했다. 이 설정은 FVD 135.0으로, plain tubelet의 145.0보다 낮다. Embedding 모듈의 FLOPs는 7.248 → 0.503 GFLOPs, Latency는 1.095 → 0.383 ms로 줄었다.
  • Register Tokens & RG: register를 추가해도 RG 없이는 FVD가 개선되지 않았다. RG를 적용하면 모든 register 변형이 register-free baseline(136.5)보다 좋아졌고, 그중 e_r=0 설정이 가장 낮은 FVD 129.2를 기록했다. 이 결과는 NFE가 더 많은 100-step Euler(145.2)나 50-step Heun(167.4)보다도 우수하다. 따라서 in-context class conditioning 자체는 뚜렷한 이점을 보이지 않았다.
  • AdaLN: AdaLN을 register 기반 conditioning으로 대체하면 FVD가 156.3으로 악화되었다. 그래서 표준 AdaLN을 그대로 유지했다.

Figure 3: Patch Embedding 변형

Figure 3 — Patch Embedding 변형

기본 모델(JVT-XL)의 구성은 다음과 같다.

  • 28 blocks, width 1,152, 16 attention heads
  • spatial patch 16×16, temporal factor 4
  • 16-frame 256² video를 1,024 token으로 처리

주요 정량 결과 (FVD@2048, 256² 해상도)

설정 데이터셋 JVT JVT+RG Latte
Class-conditioned UCF-101 136.5 129.2 477.97
Unconditional FaceForensics 32.86 31.80 34.00
Unconditional SkyTimelapse 46.58 47.80 59.82
Unconditional Taichi-HD 119.1 124.3 159.60
Unconditional UCF-101 413.5 215.9 보고되지 않음
  • Latte는 대표적인 DiT 기반 latent diffusion baseline이다.
  • 저자들은 JVT가 비교 표의 모든 경쟁 방법보다 우수하다고 보고한다.
  • RG의 효과는 semantic 다양성이 큰 UCF-101에서 두드러지고, 나머지 세 데이터셋에서는 뚜렷한 이득이 없었다. 저자들은 그 원인을 데이터셋에 따른 patch-to-register attention 강도 차이로 해석하지만, 이는 가설로 제시된다.

Camera-conditioned RGB-disparity generation (RealEstate10K, 8-frame)

이 실험에서 생성된 disparity를 depth로 바꾸고 camera parameter로 unprojection하면, 별도 reconstruction model 없이 colored point cloud sequence를 얻는다 [Figure 5].

Figure 5: RGB-disparity 생성

Figure 5 — RGB-disparity 생성

방법 FVD (↓) RTA@5 (↑) AUC@30 (↑)
JVT RGB-only 27.0 72.4 84.1
JVT RGB-disparity 27.5 79.5 88.6
DFoT 35.3 77.7 87.2
Geometry Forcing 46.8 73.6 84.7
LIVE 42.5 49.8 73.3
  • 두 JVT 변형 모두 모든 baseline보다 FVD가 낮다.
  • RGB-disparity 변형은 FVD가 소폭 높아지는 대신 RTA와 AUC에서 비교 방법 중 최고를 기록했다.
  • 모든 방법에서 RRA는 거의 포화 상태이고 RTA는 상대적으로 낮다. 이 차이를 explicit depth cue가 좁혀 준다.

4. Conclusion & Impact (결론 및 시사점)

이 논문은 단순한 DiT-style Transformer만으로도 pixel-space video diffusion에서 latent diffusion baseline에 견줄 만한 품질을 낼 수 있음을 보였다. 실용적인 설계 지침은 세 가지로 정리된다.

  • spatiotemporal tokenization에는 patch-first embedding을 쓴다.
  • conditioning에는 표준 AdaLN을 유지한다.
  • register는 선택 사항으로 두고, 다양성이 큰 데이터에서는 RG를 함께 쓴다.

Pixel-space formulation에서는 RGB와 pixel-aligned modality를 같은 grid 위에서 함께 생성하기가 자연스럽다. 이를 통해 별도 reconstruction model 없이 camera following을 개선하고 explicit 4D scene representation을 얻을 수 있다는 점은 world model과 3D/4D generation 연구에 시사하는 바가 크다.

다만 실험 범위는 제한적이다.

  • 해상도는 256², 길이는 16 frame 이하이다.
  • UCF-101 등 비교적 소규모 benchmark에서만 평가했다.
  • 더 큰 모델, 더 긴 video, 더 높은 해상도로의 확장은 향후 과제로 남아 있다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글