[논문리뷰] InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants

링크: 논문 PDF로 바로 열기

저자: Qinsi Wang, Wei Wen, Chong Zhou, Saksham Suri, Zechun Liu, Lemeng Wu, Hai Helen Li, Yiran Chen, Raghuraman Krishnamoorthi, Qi Qian

1. Key Terms & Definitions (핵심 용어 및 정의)

• InteractiveWorld: Egocentric AI assistant와 인간 에이전트 간의 폐쇄 루프(Closed-loop) 상호작용을 검증할 수 있는 최초의 인간 중심 3D 시뮬레이션 환경입니다.
• InteractiveBench: 실생활 시나리오를 바탕으로 한 120개의 다중 턴(Multi-turn) 작업을 포함하며, AI의 도움을 받아 인간 에이전트가 환경 내 작업을 수행하는 능력을 평가하는 동적 벤치마크입니다.
• Egocentric AI Assistant: 착용형 기기에서 사용자의 1인칭 시점(Egocentric view)을 공유하며 자연어 지시를 통해 물리적 세계의 작업을 보조하는 AI 시스템입니다.
• State-based Rewards: 시뮬레이터 내에서 물체의 위치, 상태, 관계 등을 추적하여 작업의 성공 여부를 자동적으로 검증하는 정량적 평가 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 정적인 벤치마크로는 실제 물리적 세계에서 인간을 보조하는 AI assistant의 능력을 정확히 평가하기 어렵다는 문제점을 해결하고자 합니다. 기존 연구들은 주로 사전에 녹화된 비디오를 관찰하는 방식에 의존하여, AI의 지시가 인간의 실제 행동과 환경의 상태 변화에 직접적인 영향을 미치는 폐쇄 루프 상호작용을 반영하지 못합니다 [Figure 1]. 또한, 실제 인간을 대상으로 한 실험은 확장성과 비용 측면에서 한계가 존재합니다. 따라서 본 연구진은 물리적 환경에서의 실질적인 상호작용과 다중 턴 추론 능력을 검증할 수 있는 새로운 시뮬레이션 환경과 평가 플랫폼의 필요성을 제기합니다.

Figure 1 — InteractiveWorld 상호작용 루프

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Isaac Sim을 기반으로 Physical, Human Action, Semantic의 3개 레이어로 구성된 InteractiveWorld 환경을 제안합니다 [Figure 2]. 이 환경에서 AI Assistant는 사용자의 1인칭 시점을 공유하며 자연어로 지시를 내리고, Human 에이전트는 이를 이해하여 36개의 Action Primitives를 실행함으로써 환경을 변화시킵니다. 주요 실험 결과, Claude Fable 5.1이 평균 41.7%의 Pass rate로 가장 우수한 성능을 보였으나, 여전히 Guidance 및 Planning 과업에서 각각 20.0%, 25.0%의 낮은 성공률을 기록하여 복잡한 다중 턴 과업 해결에 한계가 있음을 확인하였습니다 [Table 2]. 대부분의 최신 MLLM 모델들은 33.3% 이하의 성능을 보였으며, 이는 현재의 모델들이 인간과 협업하여 물리적 과업을 완수하는 데 있어 인지, 기억, 통신 능력 등의 Bottleneck이 존재함을 시사합니다.

Figure 2 — InteractiveWorld 3계층 아키텍처

4. Conclusion & Impact (결론 및 시사점)

본 논문은 실세계 보조를 위한 AI 모델의 동적 상호작용 능력을 검증할 수 있는 최초의 플랫폼인 InteractiveWorld와 InteractiveBench를 성공적으로 구축하였습니다. 연구 결과, 현재의 프론티어 MLLM들은 여전히 긴 호흡의 상호작용 과업에서 신뢰할 수 있는 수준에 도달하지 못했음을 입증했습니다. 이 연구는 향후 Embodied AI 및 대화형 Assistant 모델의 연구 방향을 정립하고, 실질적으로 인간에게 도움이 되는 차세대 AI 기술 발전에 중요한 학술적·기술적 기반을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.