[논문리뷰] InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization

링크: 논문 PDF로 바로 열기

메타데이터

저자: Haoxiang Ma, Junhao Cai, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action) Model: 시각-언어 모델(VLM)의 의미론적(Semantic) 지식과 로봇 제어를 통합하여 복잡한 환경에서의 로봇 조작을 수행하는 모델입니다.
• Latent Foresight: 픽셀 기반의 직접적인 미래 예측 대신, 학습 가능한 토큰을 통해 미래 상태를 압축된 잠재 공간(Latent Code)으로 추출하여 Frozen Pretrained Video Generation Model의 물리적 역학 지식을 활용하는 방식입니다.
• MoT (Mixture-of-Transformers): VLM 백본과 가벼운 통합 전문가(Unified Expert) 구조를 결합하여, 인식과 행동 생성 기능을 효율적으로 분리 및 공유하는 아키텍처입니다.
• Flow Matching: 연속적인 행동 생성(Action Generation)을 위해 사용되는 생성적 학습 기법으로, 노이즈를 실제 행동 분포로 변환하는 속도장(Velocity Field)을 학습합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 VLA 모델들이 직면한 Semantics Erosion(사전 학습된 백본의 의미론적 지식 저하), Heterogeneous Objective Interference(서로 다른 학습 목적 간의 간섭), 그리고 픽셀 단위의 미래 예측에 따른 높은 비용 문제를 해결하고자 합니다. 기존 모델들은 생성과 행동 예측을 결합하는 과정에서 VLM 본연의 추론 능력을 잃거나, 복잡한 물리 역학 학습을 처음부터 다시 수행해야 하는 한계가 있습니다 [Figure 1]. 이러한 문제들은 로봇의 복잡한 조작 및 장기적인 계획 수립 능력을 저해하는 요인이 됩니다. 따라서 저자들은 사전 학습된 영상 생성 모델의 역학 지식을 효과적으로 계승하면서도 모델의 범용성을 보존할 수 있는 새로운 통합 프레임워크를 제안합니다 [Figure 2].

Figure 1 — 모델 전체 아키텍처 개요

Figure 2 — InternVLA-A1.5 프레임워크

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 InternVLA-A1.5를 제안하며, 이는 Qwen-3.5 기반의 VLM 백본과 경량화된 통합 전문가 모듈을 통해 시각-언어 이해, 잠재 미래 예측, 행동 생성을 통합합니다 [Figure 2]. 제안된 방법론의 핵심은 Latent Foresight 메커니즘으로, 학습 가능한 토큰이 미래 상황을 조회하여 frozen 된 WAN2.2 비디오 생성 모델을 가이드하고, 이를 통해 모델이 픽셀 생성 없이도 물리적 역학의 사전 지식을 학습하도록 설계되었습니다 [Figure 4]. 1.2M 개의 로봇 에피소드와 3M 개의 다중 모달 데이터를 공동 학습(Co-training)한 결과, InternVLA-A1.5는 6개의 시뮬레이션 벤치마크에서 SOTA 성능을 달성하였습니다. 실제 로봇 실험에서는 Insert Tubes 및 Move Tubes 작업에서 기존 모델 대비 각각 20.8점, 7.8점 향상된 성공률을 보였으며, 장기적인(Long-horizon) MOF 작업에서는 76.4%의 성공률을 기록하여 강력한 일반화 성능을 입증하였습니다 [Figure 8].

Figure 4 — 잠재 미래 예측 메커니즘

4. Conclusion & Impact (결론 및 시사점)

본 연구는 고성능 비디오 생성 모델의 물리적 역학 지식을 픽셀 생성 과정 없이 VLA 정책으로 성공적으로 이전하는 효율적인 경로를 제시하였습니다. InternVLA-A1.5는 특히 복잡한 로봇 제어에서 고유의 의미론적 이해력을 유지하면서도 정밀한 행동 생성을 가능하게 함으로써 로봇 공학의 실용적 활용 범위를 넓혔습니다. 이 접근 방식은 향후 Embodied AI가 대규모 멀티모달 모델의 능력을 어떻게 효율적으로 활용할 수 있는지에 대한 중요한 가이드라인을 제공합니다. 또한, 추론 시 비디오 모델을 제거함으로써 실시간 제어가 가능하다는 점은 향후 로봇 시스템의 산업적 배포에 큰 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.