[논문리뷰] PanDWM: Panoramic 4D Driving World Models
링크: 논문 PDF로 바로 열기
저자: Jiajun Sun, Zeyu Zhang, Zeyu Ren, Guangfeng Jiang, Yang Zhao, Hao Tang
1. Key Terms & Definitions (핵심 용어 및 정의)
- Panoramic Band: nuScenes의 카메라 6대 이미지를 OneBEV projection으로 하나의 azimuth–elevation grid에 stitching한 360°×33.3° 영상이에요. 각 pixel은 하나의 source camera와 그 camera의 calibrated ray를 기억해요. Network는 이 band를 2304×256 크기의 overlapping half 두 개로 나눠서 처리해요.
- Block-causal Student: frame-block causal mask를 적용해 각 frame이 자기 자신과 이전 frame만 attend하도록 만든 diffusion transformer예요. Window마다 history 3 frame을 받아 target 16 frame을 4 step만에 생성해요.
- Self-generated History Training: 학습할 때 student가 직접 rollout한 결과를 history로 사용하는 방식이에요. Self Forcing 계열 기법으로, 학습 때 보는 recorded history와 inference 때 보는 generated history의 차이를 줄여요.
- DMD (Distribution Matching Distillation): student의 출력 distribution을 teacher의 distribution에 맞추는 distillation 기법이에요. PanDWM은 여기에 adversarial loss를 더해 student가 실제 recording에도 맞춰지도록 해요.
- Feed-forward Gaussian Lifting: generated latent를 한 번의 pass로 pixel-aligned 3D Gaussians로 변환하는 decoder예요. Gaussian 중심은 μ_p = o_c(p) + d_p·r_p + Δ_p로 계산되며, 각 Gaussian은 해당 pixel의 source-camera ray 위에 놓여요. 인접 frame의 static Gaussian을 합치면 4D Gaussians가 돼요.
2. Motivation & Problem Statement (연구 배경 및 문제 정의)
이 논문은 기존 driving world model이 surround view를 카메라 6대의 perspective video로 따로 다루면서 생기는 cross-camera inconsistency와 높은 inference 비용을 해결하려고 해요. UniMLVG, DreamForge, DiST-4D 같은 기존 layout-conditioned generator는 카메라 경계마다 장면을 잘라서 생성해요. 카메라들은 optical centre가 서로 다르고 겹치는 영역도 작아요. 그래서 경계를 넘는 content의 consistency를 cross-view attention, view 간 conditioning, canvas concatenation 같은 별도 장치로 강제해야 해요. 이런 per-camera video를 3D/4D로 lifting하는 방법들은 경계의 seam까지 그대로 물려받아요. 긴 video를 clip 단위로 생성할 때는 clip마다 수십 번의 denoiser evaluation이 필요해요. 또 학습 때 쓴 recorded history와 inference 때 쓰는 generated history가 달라 rollout이 길어질수록 drift가 생겨요. 기존 panoramic video model은 projection centre가 하나뿐이고 camera rig나 driving layout을 다루지 않아요. 따라서 layout에서 panoramic driving video를 생성한 연구는 없었어요.
3. Method & Key Results (제안 방법론 및 핵심 결과)
PanDWM은 surround view를 하나의 360° panoramic band로 생성해요. 이렇게 하면 cross-camera consistency 문제가 이미지 안의 spatial continuity 문제로 바뀌어요 [Figure 2].

Figure 2 — PanDWM 전체 구조
- Backbone 및 conditioning: band의 두 half를 SD3.5 VAE로 encoding하고, UniMLVG에서 initialize한 SD3 diffusion transformer로 denoising해요. 두 half는 row-wise cross-half attention으로 360° 전체 정보를 주고받아요. Conditioning은 3D box wireframe·HD-map layout, CLIP/T5 text embedding, Fourier-encoded ray map이에요.
- 효율성: band를 두 half로 처리하면 frame당 token이 4608개예요. 같은 수준의 angular resolution을 6-view로 맞추면 6240개가 필요해요. 그 결과 같은 network가 1.17× 더 빠르게 denoising·decoding해요.
- Teacher와 student: causal teacher는 50 guided Euler steps, 즉 window당 100 NFE로 sampling해요. Student는 causal consistency distillation으로 initialize한 뒤, self-generated history 위에서 DMD, spatial/temporal discriminator의 hinge loss, motion·sharpness loss(L_mm, L_sharp)로 학습해요. Inference에서는 σ∈{1, 0.9, 0.75, 0.5}의 4 step으로 생성해요.
- 3D/4D lifting: decoder는 각 Gaussian을 해당 pixel의 source-camera ray 위에 배치해요 [Figure 3]. Range는 Depth Anything 3 추정값으로 relabel해요. 3D box로 dynamic과 static을 구분하고, ego motion으로 정렬한 이웃 frame의 static Gaussian으로 current frame이 관측하지 못한 영역을 채워요.

Figure 3 — Gaussian lifting 기하
주요 정량 결과는 다음과 같아요.
- Short-term prediction (Val-150, panoramic band):
- PanDWM은 FID 10.1, FVD-1 37.4, FVD-2 62.1로 모든 multi-camera baseline보다 좋아요. 예를 들어 DreamForge는 FID 17.3, FVD-1 46.0이고 UniMLVG는 FVD-2 64.5예요.
- 속도는 1.96 s/frame으로 baseline 대비 8–46× 빨라요.
- 6-camera 평가에서도 FID가 5.34로 가장 낮아요.
- Multi-camera 비교에서는 카메라 경계에서 recorded band의 appearance를 재현해요 [Figure 6].
- Teacher 대비 성능:
- NFE를 25× 줄이고도(100 → 4) teacher의 FID를 유지해요(+0.16).
- FVD-1은 −10.4, FVD-2는 −20.4 개선되고, object recall은 +3.7 올라가요.
- Static scene의 flicker는 1.85에서 1.49로 줄어요.
- 속도는 teacher(33.7 s/frame)보다 17× 빨라요.
- Long-horizon (Test-L, 19.5 s):
- 구간별 FVD는 student가 86.6 / 113.4 / 126.6, teacher가 116.7 / 136.9 / 157.9로, student가 17.2%–25.8% 낮아요.
- Teacher는 rollout이 길어질수록 over-sharpen돼요. Recording 대비 sharpness ratio가 teacher는 0.99에서 1.54로, student는 0.94에서 1.04로 바뀌어요.
- Ablation:
- Adversarial loss를 제거하면 FID가 +0.88, FVD-2가 +9.9 나빠져요.
- Recorded history로 학습하면 Test-L FVD가 +26.1 나빠져요(window 9–11 기준).
- 3D/4D Gaussian 평가:
- 4D Gaussians의 AbsRel은 0.298로, ReconDrive(0.663)의 절반 이하이고 camera-only 방법 중 가장 낮아요. 같은 280×518 해상도에서 PSNR은 +1.1 dB 높아요.
- 4D completion은 single-frame 3D 대비 1.0–1.1 dB 향상을 줘요.
- Generated scene에서 refinement를 적용하면 ±4 m shift FID가 34.9로 DiST-4D(48.4)보다 낮아요. AbsRel도 0.316으로 DiST-4D(0.467)보다 낮아요.

Figure 6 — 멀티카메라 정성 비교
4. Conclusion & Impact (결론 및 시사점)
PanDWM은 surround view를 하나의 panoramic band로 생성하고, 4-step block-causal student와 feed-forward Gaussian lifting을 결합했어요. 그 결과 multi-camera baseline보다 품질, 속도, 3D/4D 확장성이 모두 좋은 driving world model을 만들었어요. 핵심 아이디어는 camera boundary를 이미지 내부로 옮겨 consistency 문제를 표현 단계에서 없애는 것이에요. 동시에 pixel별 calibrated ray를 유지해서 geometry lifting의 기반으로 삼았어요. 저자들이 밝힌 한계는 두 가지예요.
- 각 window가 최근 생성 frame 3개만 보기 때문에 장기 rollout에서 FVD가 계속 증가해요(86.6 → 126.6).
- 4D completion은 static content만 다뤄서, 움직이는 객체에서 관측되지 않은 부분은 비어 있어요.
산업계 관점에서는 autonomous driving simulator에 real-time에 가까운 controllable 360° video 생성과 novel-trajectory rendering을 함께 제공할 수 있는 방향을 보여줘요. 학계 관점에서는 multi-view consistency를 attention 설계가 아닌 representation 설계로 해결할 수 있다는 시사점을 줘요.
⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.
관련 포스트
- [논문리뷰] MV-Forcing: Long Multi-View Video Generation via 4D-Grounded Spatio-Temporal Self-Forcing
- [논문리뷰] Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation
- [논문리뷰] Rollout-Marginal Distillation for Long-Horizon Autoregressive Video Generation
- [논문리뷰] AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
- [논문리뷰] MoVerse: Real-Time Video World Modeling with Panoramic Gaussian Scaffold
Review 의 다른글
- 이전글 [논문리뷰] Multi-Branch Transformer
- 현재글 : [논문리뷰] PanDWM: Panoramic 4D Driving World Models
- 다음글 [논문리뷰] Regularized Score Centering
댓글