[논문리뷰] ReWorld: An Interactive World Model with Long-Horizon Memory

링크: 논문 PDF로 바로 열기

메타데이터

저자: Zhifei Chen, Luozhou Wang, Guibao Shen, Dongyu Yan, Shuai Yang, Tianshuo Xu, Yihua Du, Wei Wang, Tianyi Gui, Lianghua Huang, Yingcong Chen

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• MRoPE (Memory-RoPE): 카메라 포즈 정보를 Attention 인덱스에 직접 통합하여, 동일한 포즈(공간적 위치)에서 촬영된 프레임들이 시간적 거리와 관계없이 상호 참조될 수 있도록 하는 메커니즘입니다.
• Mixed Per-head Attention Windows: 모든 Attention head를 균일하게 설정하는 대신, 대부분의 Local head는 짧은 최근 과거만을 참조하고 일부 Global head는 전체 과거 히스토리를 참조하도록 분리하여, Control과 Memory 능력을 동시에 학습시키는 방식입니다.
• Random Head Routing: Global head와 Local head의 구성을 고정하지 않고 학습 과정에서 주기적으로 변경함으로써, 추론 시 어떤 head든 학습된 기능을 유연하게 수행할 수 있도록 설계된 기법입니다.
• Chunk-drop Training: 학습 시 과거의 특정 KV chunk를 랜덤하게 마스킹하여 모델이 불완전하거나 비연속적인 메모리 상태에서도 안정적으로 장면을 복원할 수 있도록 훈련하는 데이터 증강 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 인터랙티브 월드 모델이 직면한 제어(Control)와 기억(Memory) 간의 구조적 긴장 문제를 해결하고자 합니다. 사용자의 입력에 즉각 반응해야 하는 제어 작업은 짧은 히스토리를 선호하는 반면, 공간적 일관성을 유지해야 하는 기억 작업은 무제한적인 과거 정보를 필요로 합니다. 기존 연구들은 두 능력을 동시에 학습할 때 상충 현상을 겪거나, 추론 시 제한된 KV cache 자원으로 인해 장기 기억이 유실되는 한계를 보입니다. 저자들은 이러한 제어와 기억의 학습 요건을 분리하고, 추론 시 효율적인 메모리 관리 전략을 결합한 새로운 모델을 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Camera-controllable한 스트리밍 월드 모델인 ReWorld를 제안합니다. 제안 방법론은 크게 세 가지 축으로 구성되는데, 우선 MRoPE를 통해 포즈 기반의 공간 기억을 확보하고, Mixed per-head attention windows와 Random head routing을 통해 짧은 윈도우에서의 제어 능력과 긴 윈도우에서의 기억 능력을 동시에 최적화합니다 [Figure 2]. 추론 시에는 KV cache를 고정된 예산으로 유지하기 위해, 과거 프레임을 중요도와 카메라 포즈 유사도에 따라 landmark bank에 저장하고 필요시 재호출하는 통합 전략을 사용합니다 [Figure 4]. 실험 결과, ReWorld는 6개의 최신 모델 대비 가장 우수한 제어 정확도인 **11.95°**의 회전 오차를 기록하며 카메라 모션 일관성을 입증했습니다. 또한 1분 이상의 장기 롤아웃 테스트에서 고정된 12개의 chunk만으로도 초기 뷰를 완벽하게 재구성하여, 기존의 슬라이딩 윈도우 방식이 정보를 유실하는 상황에서도 장기 기억 성능을 유지함을 증명했습니다 [Figure 3].

Figure 2 — ReWorld 전체 프레임워크

Figure 4 — 고정 KV 예산 기반 메모리 통합

4. Conclusion & Impact (결론 및 시사점)

본 논문은 제어와 기억의 학습 윈도우를 분리하고 이를 추론 단계의 메모리 제약과 통합하는 효과적인 프레임워크를 제시하였습니다. ReWorld는 실시간 스트리밍이 가능하면서도 장기적인 공간 일관성을 보존하는 월드 모델 구축의 새로운 방향을 제시합니다. 이러한 접근 방식은 게임 엔진, 로봇 시뮬레이션, 몰입형 콘텐츠 생성 등 물리적 공간의 일관성이 중요한 산업 전반에 큰 파급력을 미칠 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.