[논문리뷰] JVT: Just Video Transformer makes pixel-space video diffusion simple
링크: 논문 PDF로 바로 열기
저자: Jianjun Zhou, Hua Geng, Haoyu Guo
1. Key Terms & Definitions (핵심 용어 및 정의)
- JVT (Just Video Transformer): 저자들이 제안한 pixel-space video diffusion 모델로, large-patch를 쓰는 단순한 DiT-style Transformer이다. Pretrained autoencoder, 보조 detailer, cascaded stage, U-Net-style skip connection을 쓰지 않는다. JiT를 따라 noisy pixel에서 clean video x̂₀를 직접 예측하고, rectified-flow velocity loss로 학습한다.
- Patch-first Embedding: tubelet embedding을 spatial 연산과 temporal 연산으로 factorize한 video patch embedding이다. 먼저 patch-wise 2D convolution으로 각 frame의 spatial feature를 뽑고, 그다음 frame-wise 1D convolution으로 temporal 정보를 aggregate한다. Channel bottleneck(C_b)과 함께 쓰인다. 순서를 반대로 한 변형은 Frame-first이다.
- Register Tokens: 앞쪽 L₁개 block을 거친 뒤 visual token 앞에 붙이고 마지막 block 이후 버리는 learnable token이다. 여기에 noise level embedding이나 class embedding을 더해 conditioning 경로로 쓸 수도 있다(e_r).
- Register Guidance (RG): sampling 시 register가 있을 때의 velocity prediction(v_r)과 없을 때의 prediction(v_nr) 차이를 증폭하는 guidance이다. CFG와 결합할 수 있다. 원래 RG와 달리 학습 중 register dropout을 쓰지 않는다.
- Pixel-aligned Joint Generation: RGB video와 depth, normal, flow 같은 pixel-aligned modality를 channel 방향으로 concatenate한 뒤 같은 noise level로 함께 denoising하는 방식이다. 본 논문에서는 RGB + square-root disparity의 4-channel 구성으로 구현했다.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문의 핵심 질문은 특수한 architecture 없이 단순한 DiT-style Transformer만으로 pixel-space video diffusion이 가능한가이다. Latent diffusion은 효율적이지만 autoencoder에 묶여 있다. 그래서 reconstruction error, 추가 training/inference cost, 그리고 RGB 외 modality를 joint modeling하기 어렵다는 한계가 생긴다. 이미지 분야에서는 JiT 등이 pixel-space에서도 latent diffusion에 견줄 만한 품질을 보였다. 반면 video generation은 여전히 latent DiT가 주류이고, 기존 pixel-space video 모델은 대부분 U-Net-style skip connection이나 cascaded generation에 의존한다. 이런 특수 구조는 architecture와 training을 복잡하게 만들어 efficiency와 scalability를 떨어뜨릴 수 있다. 또한 raw video는 차원이 매우 높아서, latent DiT에서 autoencoder가 맡던 spatiotemporal downsampling을 patch embedding이 대신해야 한다는 설계 과제가 있다.
3. Method & Key Results (제안 방법론 및 핵심 결과)
JVT는 clean-data prediction과 velocity loss를 결합한 x-prediction + rectified flow 목적함수 위에, 표준 DiT block과 선택적 register token을 쌓은 구조이다 [Figure 2]. 설계 탐색은 세 축으로 이루어졌다.

Figure 2 — JVT 구조와 Register
- Video Patch Embedding: plain tubelet, bottleneck tubelet, patch-first, frame-first 변형을 비교했다 [Figure 3]. FVD와 efficiency를 함께 고려해 patch-first, C_b=32를 기본값으로 채택했다. 이 설정은 FVD 135.0으로, plain tubelet의 145.0보다 낮다. Embedding 모듈의 FLOPs는 7.248 → 0.503 GFLOPs, Latency는 1.095 → 0.383 ms로 줄었다.
- Register Tokens & RG: register를 추가해도 RG 없이는 FVD가 개선되지 않았다. RG를 적용하면 모든 register 변형이 register-free baseline(136.5)보다 좋아졌고, 그중 e_r=0 설정이 가장 낮은 FVD 129.2를 기록했다. 이 결과는 NFE가 더 많은 100-step Euler(145.2)나 50-step Heun(167.4)보다도 우수하다. 따라서 in-context class conditioning 자체는 뚜렷한 이점을 보이지 않았다.
- AdaLN: AdaLN을 register 기반 conditioning으로 대체하면 FVD가 156.3으로 악화되었다. 그래서 표준 AdaLN을 그대로 유지했다.

Figure 3 — Patch Embedding 변형
기본 모델(JVT-XL)의 구성은 다음과 같다.
- 28 blocks, width 1,152, 16 attention heads
- spatial patch 16×16, temporal factor 4
- 16-frame 256² video를 1,024 token으로 처리
주요 정량 결과 (FVD@2048, 256² 해상도)
| 설정 | 데이터셋 | JVT | JVT+RG | Latte |
|---|---|---|---|---|
| Class-conditioned | UCF-101 | 136.5 | 129.2 | 477.97 |
| Unconditional | FaceForensics | 32.86 | 31.80 | 34.00 |
| Unconditional | SkyTimelapse | 46.58 | 47.80 | 59.82 |
| Unconditional | Taichi-HD | 119.1 | 124.3 | 159.60 |
| Unconditional | UCF-101 | 413.5 | 215.9 | 보고되지 않음 |
- Latte는 대표적인 DiT 기반 latent diffusion baseline이다.
- 저자들은 JVT가 비교 표의 모든 경쟁 방법보다 우수하다고 보고한다.
- RG의 효과는 semantic 다양성이 큰 UCF-101에서 두드러지고, 나머지 세 데이터셋에서는 뚜렷한 이득이 없었다. 저자들은 그 원인을 데이터셋에 따른 patch-to-register attention 강도 차이로 해석하지만, 이는 가설로 제시된다.
Camera-conditioned RGB-disparity generation (RealEstate10K, 8-frame)
이 실험에서 생성된 disparity를 depth로 바꾸고 camera parameter로 unprojection하면, 별도 reconstruction model 없이 colored point cloud sequence를 얻는다 [Figure 5].

Figure 5 — RGB-disparity 생성
| 방법 | FVD (↓) | RTA@5 (↑) | AUC@30 (↑) |
|---|---|---|---|
| JVT RGB-only | 27.0 | 72.4 | 84.1 |
| JVT RGB-disparity | 27.5 | 79.5 | 88.6 |
| DFoT | 35.3 | 77.7 | 87.2 |
| Geometry Forcing | 46.8 | 73.6 | 84.7 |
| LIVE | 42.5 | 49.8 | 73.3 |
- 두 JVT 변형 모두 모든 baseline보다 FVD가 낮다.
- RGB-disparity 변형은 FVD가 소폭 높아지는 대신 RTA와 AUC에서 비교 방법 중 최고를 기록했다.
- 모든 방법에서 RRA는 거의 포화 상태이고 RTA는 상대적으로 낮다. 이 차이를 explicit depth cue가 좁혀 준다.
4. Conclusion & Impact (결론 및 시사점)
이 논문은 단순한 DiT-style Transformer만으로도 pixel-space video diffusion에서 latent diffusion baseline에 견줄 만한 품질을 낼 수 있음을 보였다. 실용적인 설계 지침은 세 가지로 정리된다.
- spatiotemporal tokenization에는 patch-first embedding을 쓴다.
- conditioning에는 표준 AdaLN을 유지한다.
- register는 선택 사항으로 두고, 다양성이 큰 데이터에서는 RG를 함께 쓴다.
Pixel-space formulation에서는 RGB와 pixel-aligned modality를 같은 grid 위에서 함께 생성하기가 자연스럽다. 이를 통해 별도 reconstruction model 없이 camera following을 개선하고 explicit 4D scene representation을 얻을 수 있다는 점은 world model과 3D/4D generation 연구에 시사하는 바가 크다.
다만 실험 범위는 제한적이다.
- 해상도는 256², 길이는 16 frame 이하이다.
- UCF-101 등 비교적 소규모 benchmark에서만 평가했다.
- 더 큰 모델, 더 긴 video, 더 높은 해상도로의 확장은 향후 과제로 남아 있다.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] Representation Alignment for Just Image Transformers is not Easier than You Think
- [논문리뷰] Registers Matter for Pixel-Space Diffusion Transformers
- [논문리뷰] Beyond the Estimate: Wiener-Informed Decoding for Easier Training of Pixel-Space Flow Models
- [논문리뷰] Learning Representations to Guide Pixel Diffusion Transformers
Review 의 다른글
- 이전글 [논문리뷰] JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams
- 현재글 : [논문리뷰] JVT: Just Video Transformer makes pixel-space video diffusion simple
- 다음글 [논문리뷰] Loopback Transformer: Towards a Unified View of Residual Looped Transformers
댓글