[논문리뷰] SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling

링크: 논문 PDF로 바로 열기

저자: Xiaokun Sun, Jian Yang, Zhenyu Zhang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Selective Modeling: 3D 자산 전체를 재생성하지 않고, 명시된 영역(Selected region)만을 합성하며 나머지 컨텍스트(Context region)는 그대로 유지하는 모델링 패러다임입니다.
• Region-selective Denoising: 3D 자산을 임의로 분할하여 선택된 영역에만 노이즈와 손실을 적용함으로써, 단일 학습 절차를 통해 Generation, Editing, Completion을 모두 학습하는 기법입니다.
• Omni3DiT: Image, Text, Point 조건을 결합하여 3D 자산의 특정 영역을 제어 가능하게 합성하는 멀티 조건부 3D Diffusion Transformer 아키텍처입니다.
• Structured Latents (SLat): 3D 자산을 점유된 위치의 희소 토큰(Sparse tokens)으로 표현하여, 공간적 선택 연산이 가능하도록 설계된 고해상도 3D 표현 방식입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 3D 생성 모델들이 Holistic modeling 방식을 채택하여 전체 자산을 재생성함에 따라 발생하는 작업 분리, 영역 불일치, 그리고 데이터 의존성 문제를 해결하고자 합니다. 기존 방식은 편집이나 완성 작업 시에도 전체를 새로 생성하기 때문에 의도치 않게 고정되어야 할 영역까지 변형되는 한계가 있습니다 [Figure 2]. 또한 각 작업별로 별도의 모델과 많은 양의 쌍(paired) 데이터를 요구하여 효율성이 낮고 확장성이 부족합니다. 저자들은 3D 생성, 편집, 완성이 결국 특정 영역을 합성하고 나머지를 유지한다는 본질적으로 동일한 구조를 공유한다는 점에 주목하여 이를 통합하는 접근 방식을 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Selective Modeling을 기반으로 3D 생성, 편집, 완성을 통합한 SeMo3D 프레임워크를 제안합니다. Region-selective Denoising을 통해 일반적인 3D 자산을 임의의 컨텍스트와 타겟 영역으로 분할하고, 선택된 영역에만 노이즈를 주입하여 학습함으로써 특정 작업에 특화된 데이터 없이도 모든 작업을 학습할 수 있습니다 [Figure 3]. 모델 아키텍처인 Omni3DiT는 Role embedding을 통해 노이즈가 있는 선택 영역과 깨끗한 컨텍스트 영역을 구분하며, 이미지, 텍스트, 포인트 조건부 입력을 통해 미세한 제어를 가능하게 합니다 [Figure 3].

실험 결과, SeMo3D는 Toys4K 및 Edit3D-Bench 등에서 기존 SOTA 모델 대비 성능 우위를 입증하였습니다. 생성 작업에서 DINO 점수 0.926을 기록하여 최고 성능을 보였으며, 편집 작업에서도 CD(Chamfer Distance) 0.0088, FID 22.46으로 일관성과 품질 면에서 우수한 성과를 거두었습니다 [Table 1], [Table 2]. 특히 Point 조건을 추가했을 때 CD와 EMD 지표가 개선됨을 확인하여, 멀티모달 입력이 정밀한 3D 제어에 기여함을 정량적으로 입증하였습니다 [Table 3], [Table 4].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 3D 생성, 편집, 완성을 하나의 패러다임으로 통합한 SeMo3D를 통해 3D 에셋 제작의 효율성과 일관성을 획기적으로 향상시켰습니다. 제안된 Selective Modeling은 데이터 의존성을 낮추고 작업 간의 경계를 허물어, 학계와 산업계 모두에서 더 실용적인 3D 에이전트 구축을 가능하게 합니다. 향후 고해상도 표현 방식과 더 강력한 Vision-Language 인코더를 결합함으로써 더욱 복잡한 3D 창작 요구를 충족할 수 있을 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.