[논문리뷰] Recursive Code World Models: Building Complex Worlds through Recursive Scene Programs

링크: 논문 PDF로 바로 열기

저자: Zhiqi Li, Yuxuan Liao, Bo Zhu

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Recursive Scene Programs (RSP): 3D 월드를 실행 가능한 compositional 코드로 표현한 결과물로, nested subworlds와 명시적인 하위 계층 참조를 포함합니다.
• Recursive Code World Models (RCWM): 단일 참조 이미지로부터 복잡한 3D 월드를 계층적으로 재구성하는 프레임워크로, 재귀적 Solver를 통해 정교한 detail을 구현합니다.
• Solver ($\mathcal{F}$): 각 계층에서 '전체 구상(Establish the whole)', '하위 구성요소 재구성(Recursive reconstruction)', '전체 재검토 및 개선(Refine the composition)'이라는 동일한 사이클을 반복하는 핵심 알고리즘입니다.
• Parent Revisitation: 하위 계층의 로컬 재구성 이후 상위 계층으로 복귀하여 경계, 공간적 관계, 그리고 정합성을 전역적으로 재검토하고 보정하는 단계입니다.
• Vision-Language Coding Agent: 렌더링된 scene과 참조 이미지를 비교하여 코드 수정 및 재귀적 분기를 결정하는 인공지능 에이전트입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 단일 2D 이미지로부터 3D 월드를 실행 가능한 코드로 재구성할 때 발생하는 복잡성 관리 문제를 해결하고자 합니다. 기존의 코드 기반 재구성 방식은 단일 trajectory 내에서 전체 구조를 해결하려 시도하므로, 대규모 환경의 세부 사항을 놓치거나 구성요소 간의 공간적 충돌을 빈번하게 유발합니다 [Figure 2]. 저자들은 복잡한 월드를 효과적으로 구축하기 위해서는 단순히 asset을 배치하는 것을 넘어, 하위 구조를 독립적인 subworld로 간주하고 자체적인 'perception-and-editing' 루프를 실행해야 한다고 주장합니다. 따라서 기존 방식의 한계를 극복하기 위해, 하위 계층의 세부 구조를 보존하면서 전역적 일관성을 유지할 수 있는 재귀적 Construction 프레임워크가 요구됩니다.

Figure 2 — 재귀적 건설 과정 및 호출 트리

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 RCWM 프레임워크를 통해 전체-지역-전체의 재귀적 구조를 기반으로 RSP를 생성하는 방법론을 제안합니다 [Figure 2]. 각 Solver 호출은 부모 계층으로부터 inherited context를 받아 하위 subworld를 식별하고, 해당 영역에 집중된 reference crop과 matched camera projection을 사용하여 재귀적으로 코드를 생성 및 최적화합니다 [Figure 3]. 주요 실험 결과, RCWM은 복잡도가 높은 다수의 reference 이미지(city-full, island-harbor 등)에 대해 이전의 대표적인 이미지-투-씬 재구성 모델들인 SEIG, VIGA, img2threejs 대비 월등한 Reference-view fidelity를 달성하였습니다. 특히, Ablation study를 통해 재귀적 Construction 깊이가 깊어질수록 finer-scale 구조의 재구성 정밀도가 점진적으로 향상됨을 입증하였으며, Parent revisitation 단계가 하위 요소 간의 접합부(contact boundaries)나 공간적 관계 오류를 유의미하게 감소시킴을 확인하였습니다.

Figure 3 — 재귀적 건설을 위한 시각적 검사 인터페이스

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 복잡한 3D 월드를 재귀적 프로그램 구조로 정의하고 생성하는 새로운 Construction 원칙을 정립하였습니다. 이 연구는 기존의 단순 병렬적/계층적 생성 방식이 해결하지 못한 '전역적 일관성과 로컬 세부 사항의 조화'라는 난제를 재귀적 루프를 통해 효과적으로 해결했습니다. 본 프레임워크는 가상 환경 생성, 게임 디자인, 복합 시뮬레이션 환경 구축 등 정밀한 3D 월드 데이터가 필요한 산업계 전반에 큰 파급력을 미칠 것으로 기대됩니다. 나아가, 코드 기반 재구성이 단순한 기술적 과제를 넘어 더 고도화된 지능형 에이전트의 핵심 역량으로 자리 잡을 수 있는 이론적 토대를 제공합니다.

Figure 1 — RCWM의 전역-지역-전역 건설 프로세스

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.