[논문리뷰] InfiniDepth: Arbitrary-Resolution and Fine-Grained Depth Estimation with Neural Implicit Fields

링크: 논문 PDF로 바로 열기

저자: Hao Yu, Haotong Lin, Jiawei Wang, Jiaxin Li, Yida Wang, Xueyang Zhang, Yue Wang, Xiaowei Zhou, Ruizhen Hu, Sida Peng

핵심 연구 목표

기존의 이산적인 이미지 그리드 기반 깊이 추정 방식이 가지는 해상도 확장성 및 기하학적 세부 정보 복구의 한계를 극복하는 것을 목표로 합니다. 신경망 암시적 필드를 통해 임의 해상도(arbitrary-resolution) 및 정교한(fine-grained) 깊이 추정 을 가능하게 하고, 이를 통해 대규모 시점 변화 에서도 홀과 아티팩트가 적은 고품질의 새로운 뷰 합성(NVS) 을 달성하고자 합니다.

핵심 방법론

깊이 정보를 신경망 암시적 필드 로 표현하는 InfiniDepth 를 제안합니다. 입력 이미지는 Vision Transformer 인코더를 통해 다단계 특징 토큰으로 인코딩된 후, 재구성(reassemble) 블록 을 거쳐 특징 피라미드를 생성합니다. 임의의 연속적인 2D 좌표에 대해 다단계 로컬 암시적 디코더(Multi-Scale Local Implicit Decoder) 가 피라미드에서 특징을 쿼리하고 경량 MLP 를 통해 깊이 값을 예측합니다. 또한, 적응형 깊이 쿼리 전략 을 설계하여 객체 표면에 균일하게 분포된 3D 점을 생성하여 NVS 품질을 향상시킵니다.

주요 결과

새롭게 큐레이션된 고품질 Synth4K 4K 벤치마크 에서 정량적으로 현존하는 최첨단 방법들을 크게 능가하는 성능을 보였습니다. 특히, 상대적 깊이 추정에서 δ2 98.8% (Synth4K-5), 그리고 미터법 깊이 추정 에서 δ0.04 93.5% (Synth4K-5)를 달성하여 고해상도 및 미세 영역에서의 뛰어난 성능을 입증했습니다. 또한, 제안된 깊이 쿼리 전략과 결합 시 NVS에서도 현저히 적은 홀과 아티팩트로 고품질 결과를 생성했습니다.

AI 실무자를 위한 시사점

이 논문은 깊이 추정 분야에서 신경망 암시적 필드의 강력한 잠재력 을 보여주며, 기존의 이산적 표현 방식의 한계를 넘어선 새로운 패러다임을 제시합니다. 고해상도 3D 재구성 , 로봇 공학 , 자율 주행 등 정교한 기하학적 세부 정보가 요구되는 분야에서 혁신적인 응용 가능성을 열어줍니다. 새로 공개된 Synth4K 벤치마크 는 고해상도 및 미세 깊이 추정 모델 개발에 중요한 기여를 할 것으로 예상됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.