[논문리뷰] Persistent Planar Memory for Video World Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yuze He, Bin Tan, Zelin Gao, Yujun Shen, Yong-Jin Liu, Nan Xue, Yinghao Xu

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Plane Primitives: 3D 공간 내의 oriented rectangle을 7개의 파라미터(중심 깊이, 2개의 직사각형 범위, 회전 쿼터니언)로 정의한 구조적 3D 표현 단위입니다.
• Persistent Plane Memory: 생성된 비디오 청크에서 예측된 plane primitives를 병합하여 전체 씬의 기하학적 정보를 유지하는 전역적인 저장소입니다.
• Depth Token Fusion (DTF): plane pool에서 렌더링된 깊이 정보를 토큰화하여 DiT 피처에 주입함으로써, 모델이 일관된 3D 구조를 참조할 수 있게 하는 모듈입니다.
• Differentiable Rectangular Gaussian Rasterization: plane primitives를 깊이 및 노멀 맵으로 미분 가능하게 변환하여 렌더링하는 기법입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 긴 문맥의 비디오 생성 과정에서 3D 일관성과 공간적 메모리를 유지하는 문제를 해결하기 위해 제안되었습니다. 기존의 Pure-video world models는 시각적 충실도는 높으나 명시적인 3D 상태를 제공하지 않으며, 기존의 3D-grounded 모델들은 dense point cloud나 surfel을 사용하여 메모리 사용량이 방대하고 구조적 추상화가 부족하다는 한계가 있습니다. 저자들은 이러한 한계를 극복하기 위해 compact하고 기하학적으로 명시적인 plane-based 3D 표현을 비디오 세계 모델의 핵심 메모리로 활용하고자 합니다 [Figure 1].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 Wan 2.2 DiT를 기반으로 하여 비디오 생성과 plane primitives 예측을 공동으로 수행하는 PPMem 프레임워크를 제안합니다 [Figure 2]. PPMem은 각 생성 청크마다 plane prediction head를 통해 기하학적 정보를 회귀하고, 이를 병합(merging) 과정을 통해 Persistent Plane Memory로 통합합니다. 또한, Depth Token Fusion 모듈을 통해 렌더링된 깊이 정보가 DiT 피처와 융합되어 다음 청크 생성의 조건으로 사용되는 순환 구조를 형성합니다. 실험 결과, PPMem은 DL3DV 및 RealEstate10K 데이터셋에서 기존 모델들 대비 비디오 품질과 3D 기하학적 일관성 측면에서 뛰어난 성능을 보였습니다. 특히, 수백 프레임에 걸친 대규모 시점 변화에서도 높은 CLIP 및 DINOv2 유사도를 유지하며, 약 100K개의 primitive만으로도 전체 씬을 효율적으로 표현합니다 [Table 1, Figure 3].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 plane primitives를 비디오 세계 모델의 지속 가능한 3D 메모리로 성공적으로 도입하여, 긴 문맥 생성에서의 일관성을 획기적으로 개선했습니다. 제안된 메모리는 기존 방식 대비 3차원적 compactness가 매우 뛰어나며, metric-scale 깊이와 표면 노멀 등 해석 가능한 3D 기하 정보를 동시에 출력할 수 있다는 강점이 있습니다. 이 연구는 생성 모델이 단순히 픽셀을 생성하는 것을 넘어, 기하학적으로 정교한 3D 환경을 지속적으로 구축하고 활용하는 방향으로 나아가는 중요한 이정표를 제시합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.