[논문리뷰] ActWorld: From Explorable to Interactive World Model via Action-Aware Memory

링크: 논문 PDF로 바로 열기

저자: Zhexiao Xiong, Yizhi Song, Hao Kang, Qing Yan, Liming Jiang, Jenson Yang, Zhoujie Fu, Stathi Fotiadis, Angtian Wang, Zichuan Liu, Bo Liu, Yiding Yang, Xin Lu, Nathan Jacobs

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Chunk-Autoregressive Framework: 전체 영상을 33 프레임 단위의 Chunk로 분할하여, 이전 Chunk의 정보와 사용자 입력을 바탕으로 다음 Chunk를 순차적으로 생성하는 프레임워크입니다.
• Action-Aware Memory: 단순히 시간적 최근성(recency)에 의존하지 않고, 물리적 상호작용의 중요도에 따라 과거 정보를 선별적으로 저장하고 활용하는 메모리 메커니즘입니다.
• Plücker-ray Conditioning: 카메라의 움직임(이동 및 회전)을 기하학적 정보로 변환하여 모델에 입력함으로써 정밀한 뷰포인트 제어를 가능하게 하는 기술입니다.
• EAFR (Event-aware Frame Re-assignment): 기존의 시간 기반 메모리 할당 방식을 대체하여, 상호작용 관련 이벤트(contact, manipulating 등)가 발생한 프레임을 중요도에 따라 우선적으로 유지하는 기법입니다.
• I-Bench: 긴 호흡의 탐색(navigation)과 객체 상호작용(interaction)을 결합하여 평가할 수 있도록 설계된 새로운 벤치마크 데이터셋입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 기존의 인터랙티브 월드 모델은 주로 이동(locomotion)과 뷰포인트 제어에 집중되어 있어, 실질적인 객체 상호작용을 지원하지 못하는 한계가 있습니다 [Figure 1]. 이러한 '네비게이션-상호작용 격차'는 크게 두 가지 병목 현상에서 기인합니다. 첫째, 객체 수준의 상호작용을 학습하기 위한 고품질의 밀도 높은 레이블 데이터가 부족하다는 점입니다. 둘째, 기존 모델은 시간적 최근성에 의존하는 메모리 압축 방식을 사용하여, 상호작용의 핵심이 되는 과거의 이벤트 정보를 조기에 제거하는 '액션 망각(action-forgetting)' 현상을 보입니다 [Figure 2].

Figure 1 — ActWorld 인터랙션 예시

Figure 2 — ActWorld 전체 파이프라인

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 이러한 한계를 극복하기 위해 ActWorld를 제안합니다. ActWorld는 상호작용의 단계(approaching, reaching, contact, manipulating 등)를 체인 오브 쏘트(CoT) 방식으로 정밀하게 주석(annotation)한 100K 규모의 인터랙션 비디오 데이터를 활용합니다 [Figure 2]. 핵심 아키텍처는 Hierarchical Action-Aware Memory로, 이벤트 중요도에 따라 프레임을 재할당하는 EAFR, 상호작용 관련 과거 정보를 증폭하는 ACHA(Action-conditioned History Amplification), 그리고 객체 상태와 이벤트를 유지하는 Persistent Action-Aware Memory Bank로 구성됩니다 [Figure 2]. 실험 결과, ActWorld는 기존의 네비게이션 중심 베이스라인 대비 객체 상호작용의 정밀도(Interaction Fidelity)에서 압도적인 우위를 점했습니다. 특히 I-Bench 벤치마크에서 Instruction Following 지표(IF↑) 2.557점을 기록하여 비교 대상 모델(예: Yume 1.5, 1.638점) 대비 월등한 성능을 보였으며, 복잡한 다단계 상호작용 상황에서도 시각적 일관성을 성공적으로 유지하였습니다 [Table 2], [Figure 4].

Figure 4 — 상호작용 품질 비교

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 고수준의 객체 상호작용과 유연한 탐색을 하나의 프레임워크에서 통합한 실시간 인터랙티브 월드 모델을 성공적으로 구축하였습니다. 특히 메모리 설계를 액션 중심적으로 전환함으로써 장기적인 시퀀스에서의 망각 문제를 해결했다는 점은 큰 학술적 가치를 지닙니다. 이 연구는 향후 Embodied AI, 몰입형 게이밍, 그리고 고도의 인터랙티브 콘텐츠 생성 분야에 중대한 실무적 토대를 제공할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.