[논문리뷰] WorldStream: Streaming Interactive 3D Worlds with Hierarchical Planning and Persistent State

링크: 논문 PDF로 바로 열기

저자: Xiaoxiao Ma, Weiyang Jin, Yanwen Ma, Haoran Li, Zhixiang Wei, Songchun Zhang, Yaowei Li, Junhao Zhuang, Zeyue Xue, Yuming Li, Zheming Fu, Haoyang Huang, Nan Duan, Feng Zhao

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• WorldStream: 무한한 3D 월드를 효율적으로 생성하고 스트리밍하며, 사용자의 편집 및 상호작용을 영구적으로 보존하는 오픈 엔드 3D 월드 모델.
• Hierarchical Planning: Macro(지역 단위 구조)와 Micro(타일 단위 실행 의미론)의 두 계층으로 나누어 월드의 구조와 세부 요소를 결정하는 계획 기법.
• Persistent Tile Record: 월드의 상태(계획, 경계 약정, 객체 상태, 편집 내용)를 영구적으로 저장하여 추후 방문 시에도 동일한 환경을 재구성할 수 있게 하는 데이터 단위.
• Streaming Residency: 사용자 주변의 필요한 영역만을 메모리에 로드하고, 사용자가 멀어지면 geometry를 eviction하여 제한된 리소스 내에서 월드를 무한히 확장하는 기법.
• Joint Resolution: 독립적인 확률 기반 선택 대신, 제약 조건(지형, 수로, 생태계 등)을 동시에 만족시키는 최적의 월드 구성을 탐색하는 과정.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 기존의 예측 중심 World Model이 가진 영속성 부족과, procedural generation 시스템이 가진 생성 전 고정된 월드 환경의 한계를 해결하기 위해 제안되었다. 기존의 learned generative 모델은 Memory Eviction 시 지형을 재현할 수 없으며, procedural 시스템은 사용자의 실시간 상호작용에 따른 수정이 어렵다는 문제가 있다. 저자들은 1) 사전 지정된 맵을 넘어선 무한한 확장, 2) 실시간 언어 기반 상호작용 지원, 3) 편집된 지형의 영구적 보존 및 재현이라는 세 가지 요구사항을 동시에 만족시키는 시스템을 구축하고자 했다. [Figure 2]는 이러한 목표를 달성하기 위한 워크플로우를 보여준다.

Figure 2 — 시스템의 Hierarchical Planning 및 local compilation을 포함한 전체 워크플로우를 설명하는 핵심 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 Hierarchical Planning과 결정론적 local compilation을 통해 일관된 3D 월드를 생성하는 시스템을 제안한다. Macro Planner는 지역적 구조를 확립하고, Micro Planner는 이를 개별 타일의 세부 의미론으로 변환하며, Joint Resolution 과정을 통해 일관성 있는 계획을 도출한다. [Table 3]에 따르면, 독립적인 선택(Independent) 방식은 37%의 성공률을 보인 반면, 제안하는 Joint solver는 100%의 실행 가능한 계획을 도출하여 2.70배의 성능 향상을 입증하였다. 또한, [Table 2]에서 볼 수 있듯이 Full hierarchy 방식은 boundary jump를 0.089 수준으로 최소화하며 자연스러운 urban-to-rural 그라디언트를 형성한다. 마지막으로, 최적화된 local compilation은 dense-forest 타일 생성에서 기존 대비 3.24배의 속도 향상을 기록하였다.

Table 2 — Hierarchical Planning의 효용성을 입증하는 기하학적 수치 비교 데이터

Table 3 — Joint solver의 정량적 성능 우위를 보여주는 핵심 비교 지표

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 Hierarchical Planning과 영구적 상태(Persistent State) 관리를 결합하여 동적으로 확장 가능한 인터랙티브 3D 월드 모델을 성공적으로 구현하였다. 제안된 시스템은 실시간 스트리밍 환경에서도 일관된 지형 유지와 사용자 편집 내용의 지속성을 보장함으로써, Embodied AI와 대규모 월드 시뮬레이션의 실용성을 크게 향상시켰다. 이 연구는 향후 고도화된 Agentic open-world 시스템 개발에 있어 중요한 기술적 기반을 제공할 것으로 기대된다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.