[논문리뷰] InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any Views

링크: 논문 PDF로 바로 열기

저자: Yongzhen Hu, Hao Yu, Jiawei Wang, Xianming Zeng, Jianyun Xu, Xingliang Liu, Ruizhen Hu, Xiaowei Zhou, Hujun Bao, Sida Peng et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• 3D Gaussian Splatting (3DGS): Real-time radiance field rendering을 가능하게 하는 explicit 3D scene representation입니다.
• Feed-Forward Gaussian Reconstruction: Input images로부터 직접 3D Gaussian scenes을 예측하여, inference 시 per-scene optimization 과정이 필요 없는 방법론을 의미합니다.
• DA3 (Depth Anything 3): 다양한 수의 이미지로부터 깊이 맵과 카메라 정보를 재구성하는 geometry foundation model입니다.
• LPIPS (Learned Perceptual Image Patch Similarity): Perceptual quality를 평가하기 위한 metric으로, deep features의 유사성을 기반으로 이미지 품질을 측정합니다.
• DISTS (Deep Image Structure and Texture Similarity): 이미지의 구조적 및 텍스처 유사성을 통합하여 이미지 품질을 평가하는 metric입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Feed-forward Gaussian reconstruction은 input images로부터 3D scene을 직접 구축하여 novel view rendering을 지원하지만, large viewpoint changes 하에서 예측된 geometry로부터 고품질의 Gaussian attributes를 학습하는 데 어려움을 겪고 있습니다. 기존 feed-forward 방법론들은 Gaussian attributes 학습 시 blur, ghosting, 그리고 detail 부족과 같은 렌더링 품질 저하 문제를 해결하지 못하고 있습니다. 예를 들어, DA3-GS와 같은 baseline 방법들은 geometry prediction과 Gaussian attribute prediction을 결합하지만, 여전히 렌더링 결과에서 이러한 artifact들이 관찰됩니다 [cite: 1, Figure 3, Figure 4]. 저자들은 geometry와 Gaussian attributes의 공동 최적화가 geometry degradation을 유발하며, 훈련 시 예측된 카메라 pose를 사용하는 것이 pose errors를 발생시켜 네트워크 학습을 방해한다는 점을 기존 연구의 핵심 한계점으로 지적합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Feed-Forward 3DGS의 렌더링 품질을 개선하기 위해 InfiniSplat v2를 제안하며, architecture 및 training 방식에 대한 세 가지 주요 개선 사항을 도입합니다. 첫째, geometry prediction과 Gaussian attribute prediction을 decouple하기 위해 frozen geometry branch를 사용합니다 [cite: 1, Figure 2]. 이는 Gaussian center를 back-projected point positions에 고정하여 attribute errors를 보상하기 위한 positional update를 방지하며 geometry degradation을 막습니다. 둘째, training 시 GT camera poses를 사용하여 예측된 Gaussians를 정렬하고, 예측된 깊이와 translation scale을 일치시켜 카메라로 인한 잔여 오차(camera-induced residuals)를 제거합니다 [cite: 1, Figure 2]. 셋째, Gaussian scale과 orientation을 더 잘 constrain하기 위해 input views와 큰 angular separation을 갖는 large-angle target view supervision을 도입합니다 [cite: 1, Figure 2]. 이러한 방법론 외에도, learned rendering-feedback refinement 모듈은 Gaussian center를 고정한 채 input-view rendering feedback을 활용하여 Gaussian attributes를 반복적으로 업데이트합니다.

실험 결과, InfiniSplat v2는 6개 dataset에서 pose-conditioned 및 pose-free 설정 모두에서 evaluated baseline들 중 가장 낮은 mean LPIPS 및 DISTS를 달성했습니다 [cite: 1, Table 1]. 특히, pose-conditioned 설정에서 mean LPIPS는 ReSplat 대비 25.8%, DISTS는 WorldMirror 2.0 대비 32.9% 개선되었습니다 [cite: 1, Table 1]. Pose-free 설정에서는 WorldMirror 2.0 대비 LPIPS 19.5%, DISTS 30.7%의 성능 향상을 보였습니다 [cite: 1, Table 1]. 또한, image reconstruction supervision만으로 학습된 opacity가 geometrically inconsistent points의 렌더링 기여도를 선택적으로 억제하여 novel views에서의 artifact를 줄이는 효과를 확인했습니다 [cite: 1, Figure 7].

4. Conclusion & Impact (결론 및 시사점)

InfiniSplat v2는 feed-forward 3D Gaussian Splatting에서 나타나는 attribute 학습 및 viewpoint 변화 시의 렌더링 품질 문제를 해결하여 novel view rendering 성능을 크게 향상시킵니다. 이 연구는 frozen geometry branch, scale-aligned training, 그리고 large-angle target view supervision을 통해 고품질의 3D scene을 재구성하는 강력하고 일반화 가능한 방법론을 제공합니다. 본 연구에서 발견된 opacity를 통한 geometrically inconsistent points의 효과적인 억제 메커니즘은 3D reconstruction 분야에서 implicit artifact reduction에 대한 새로운 통찰력을 제공하며, 시뮬레이션 및 콘텐츠 제작과 같은 응용 분야에서 더욱 정확하고 효율적인 real-time 3D scene synthesis의 가능성을 열어줍니다.

Figure 1 — 포인트 클라우드 및 가우시안 장면

Figure 2 — InfiniSplat v2 훈련 파이프라인

Figure 3 — 객체 수준 정성적 비교

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.