[논문리뷰] HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

링크: 논문 PDF로 바로 열기

The paper "HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games" introduces a hierarchical VLA agent for open-ended games like Minecraft.

Authors: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai

Keywords: Hierarchical Agents, Vision-Language-Action Models, Open-World Games, Minecraft, Long-Horizon Autonomy, Native-Interface Control, Agent Harness, Reinforcement Learning

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action) Model: 시각적 관측(visual observations)과 언어 지시(language instructions)를 입력으로 받아 환경에서의 행동(embodied actions)을 출력하는 모델을 의미합니다.
• Agent Harness: Foundation Model 에이전트에서 모델 호출 전반의 상호작용을 지원하는 외부 오케스트레이션(orchestration) 레이어를 지칭합니다. 이는 장기적인 자율성(long-horizon autonomy)을 위해 고수준 계획(high-level planning)과 저수준 실행(low-level execution)을 조율합니다.
• Regime-Specific RMSNorm (RS-Norm): 이질적인 상호작용 체제(heterogeneous interaction regimes), 특히 비 GUI(non-GUI) 및 GUI 상호작용 간의 negative transfer를 완화하기 위해 도입된 경량 정규화(normalization) 메커니즘입니다. 각 디코더 레이어(decoder layer)의 RMSNorm에서 상호작용 유형에 따라 두 개의 학습 가능한 스케일 벡터(learnable scale vectors) 중 하나를 선택합니다.
• Dual-Mouse: 마우스 이동(mouse displacement)이 non-GUI 환경에서는 카메라 회전(camera rotation)을, GUI 환경에서는 커서 이동(cursor movement)을 제어하는 차이로 인해 발생하는 모호성을 해결하기 위해 고안된 regime-separated 마우스 이동 토큰 표현(mouse-movement token representation)입니다.
• Task Completion State Detector: VLA 호출(invocation)을 언제 중단할지 결정하는 데 harness를 지원하기 위해 도입된 policy-coupled detection 모듈입니다. VLA 이미지 인코더(image encoder)를 공유하며 VLA policy context에 따라 완료를 예측합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

가상 세계에서 인간 플레이어와 동일한 상호작용 제약 조건(interaction constraints) 하에 동작하는 가상 embodied agents를 구축하는 것은 embodied intelligence 분야의 오랜 목표입니다. 이를 위해서는 장기적인 목표를 유지하고 계획을 조정하는 long-horizon autonomy와, 1인칭 시각적 관측을 키보드 및 마우스 액션으로 변환하는 reliable native-interface control이라는 두 가지 상호 보완적인 역량이 필요합니다. 기존 에이전트들은 주로 이 두 역량 중 하나에 중점을 두어 왔습니다. 예를 들어, Vision-Language-Action (VLA) 모델은 네이티브 인터페이스 제어에 강하지만, task state를 지속적으로 추적하고 task dependencies를 명시적으로 추론하는 메커니즘이 부족하여 long-horizon autonomy에 한계가 있습니다. 반면, LLM이나 VLM 기반 에이전트는 task decomposition planning을 통해 long-horizon reasoning을 지원하지만, 대부분 환경 API(environment APIs)나 사전 정의된 스킬(predefined skills)에 의존하여 저수준 실행을 수행하므로, 이러한 기능이 없는 대부분의 게임에서는 사용할 수 없습니다. 특히, non-GUI 제어와 GUI 상호작용은 시각적 분포(visual distributions)와 마우스 액션 의미론(mouse-action semantics)이 달라 naive한 공동 학습 시 negative transfer에 취약하여 신뢰성 있는 long-horizon execution을 저해합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 long-horizon autonomy를 위한 capability-aware agent harness와 reliable native-interface control을 결합한 계층적 VLA 에이전트인 HiSTEVE를 제안합니다. 시스템은 VLM 플래너와 VLA Policy, 그리고 Task Completion State Detector로 구성됩니다 [Figure 1, Figure 2].

상위 수준의 계획(planning) 계층에서 HiSTEVE의 agent harness는 structured memory를 통해 task progress를 추적하고, VLM planner가 VLA의 실행 능력(capabilities) 내에서 다음 atomic subtask를 선택하도록 합니다. 계획-실행 루프를 닫기 위해, VLA policy context에 따라 subtask 완료 여부를 신호(signal)하는 policy-coupled task completion state detector를 도입했습니다. 이 detector는 VLA 호출을 언제 중단할지 결정하는 데 활용되며, VLA 이미지 인코더를 공유하고 cross-attention을 통해 VLA policy context를 주입합니다. 하위 수준의 제어(control) 계층에서 단일 VLA는 vision-only perception과 native keyboard-and-mouse actions을 통해 모든 subtask를 실행합니다. 이질적인 GUI 및 non-GUI 상호작용 간의 negative transfer를 완화하기 위해, Regime-Specific RMSNorm (RS-Norm) 브랜치와 개별적인 Dual-Mouse token embeddings를 도입했습니다. 또한, VLA는 world knowledge injection, imitation learning, 그리고 환경 피드백을 활용한 reinforcement learning (RL)의 3단계 훈련 전략을 통해 신뢰성과 복구 능력(recovery)을 향상시켰습니다.

실험 결과, HiSTEVE는 MineStudio Bench에서 85.0%의 state-of-the-art atomic-task 성능을 달성했으며, OpenHA에서는 37.4%의 평균 성공률을 기록했습니다. 특히 MineStudio Bench에서 OpenHA Text/CoA 대비 20.0 percentage points 높은 성능을 보였고, LongBench에서는 family-level에서 최대 28.6 percentage points의 향상을 보였습니다. LongBench의 Resource & Crafting, Exploration & Memory와 같은 long-horizon tasks에서 각각 42.9%, 28.6%의 최종 목표 성공률을 기록하며 뛰어난 성능을 입증했습니다 [Figure 3]. 또한, 제안하는 policy-coupled task completion state detector는 0.863의 F1 점수를 달성하며, GPT-5.5 (0.776)와 같은 prompted general-purpose VLM baseline보다 훨씬 높은 정확하고 균형 잡힌 완료 예측 신호를 제공했습니다. Ablation Study는 RS-Norm과 Dual-Mouse가 MineStudio All에서 각각 57.3% 및 61.9%로 개별적인 성능 향상을 보였으며, 함께 80.7%에 도달했음을 보여주며, regime-specific representation의 중요성을 강조합니다. Harness orchestration의 효과를 분석한 결과, 하위 VLA를 고정한 상태에서 완전한 harness가 LongBench Goal SR을 10.7%에서 25.0%로 두 배 이상 향상시켜, 지속적인 task state를 중심으로 local execution을 조직하는 것이 중요함을 시사합니다.

Figure 3 — HiSTEVE 실행 정성적 예시

4. Conclusion & Impact (결론 및 시사점)

본 논문은 long-horizon autonomy를 위한 capability-aware agent harness와 reliable native-interface control을 결합한 계층적 VLA 에이전트인 HiSTEVE를 성공적으로 제안합니다. 이 harness는 capability-constrained planning, evidence-driven handoff and recovery, 그리고 structured memory를 통해 장기적인 목표 유지를 가능하게 합니다. 또한, regime-specific representation (RS-Norm 및 Dual-Mouse)과 3단계 훈련 전략(world knowledge injection, imitation learning, reinforcement learning)은 단일 VLA가 non-GUI 및 GUI 상호작용을 모두 안정적으로 처리하도록 돕습니다. HiSTEVE는 Minecraft와 같은 open-world games에서 인간 플레이어와 유사하게 복잡한 장기 목표(예: 철 곡괭이 제작)를 처음부터 완료할 수 있는 state-of-the-art 성능을 달성하여, 가상 embodied agents 분야에서 중요한 진전을 이루었습니다. 이 연구는 이질적인 task들 간의 신뢰할 수 있는 제어를 위해 regime-specific representation이 필수적이며, long-horizon execution에는 local control과 state-aware orchestration을 결합하는 harness가 필요하다는 시사점을 제공합니다.

Figure 1 — HiSTEVE 시스템 개요

Figure 2 — VLA policy 및 detector 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.