[논문리뷰] LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Shaoan Wang, Aocheng Luo, Fei Huang, Jingyi Xu, Xiaoyang Wang, Yueyu Wang, Qianli Ma, Fan Yang, Ran Mei, Jia Wei, Jiangpeng Hu, Xuhao Liu, Hongming Chen, Yuanbin Shao, Yiyang Lin, Ziliang Li, Liang Pan, Xinhang Liu, Yuntao Ma, Tingxiang Fan

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Dual-Channel Pointing: Affordance point(가용성 지점)와 Object point(목적 지점)를 통해 공간적 의도(spatial intent)를 명시적으로 나타내는 인터페이스로, VLM의 공간 추론 능력을 네비게이션 제어와 연결하는 핵심 기법입니다.
• RVQ (Residual Vector-Quantized) Action Tokenizer: 10단계의 SE(2) trajectory를 3개의 토큰으로 압축하여 표현하는 방식입니다. coarse한 trajectory를 먼저 생성하고, residual을 통해 정밀도를 높이는 계층적 구조를 가집니다.
• Temporally Aware Visual History Compression: 최근의 시각 정보는 상세하게, 과거의 정보는 점진적으로 압축하여 시각 토큰(visual token) budget을 효율적으로 관리하면서도 장기 문맥을 유지하는 기법입니다.
• Generalist Embodied Navigation: 특정 태스크나 로봇 Embodiment에 국한되지 않고, instruction following, object-goal navigation, visual tracking 등을 하나의 모델에서 통합적으로 수행하는 것을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 VLM이 이미 우수한 공간 추론 능력을 갖추고 있음에도 불구하고, 기존의 로봇 네비게이션 시스템은 여전히 태스크나 Embodiment별로 파편화된 구조를 가지고 있다는 문제에서 출발합니다 [Figure 2]. 대부분의 기존 연구는 Waypoint predictor, 별도의 Action head, 혹은 도메인 특화 인터페이스를 사용하여 일반화 성능을 저해하고 있습니다. 저자들은 이러한 파편화를 극복하기 위해, 별도의 task-specific prediction head 없이 compact한 VLM의 공간적 지능을 그대로 활용하는 통합된 일반주의 모델 LightNav-0를 제안합니다. 이를 통해 Perception, Reasoning, Action을 하나의 모델 내에서 통일된 토큰 인터페이스로 처리하고자 합니다.

Figure 2 — LightNav-0 전체 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

LightNav-0는 Qwen3-VL-4B-Instruct를 기반으로 하며, 네비게이션 태스크를 조건부 토큰 생성(conditional token generation) 문제로 정의합니다 [Figure 2]. 모델은 먼저 Dual-Channel Pointing을 통해 공간적 의도를 출력하고, 이어지는 RVQ Action Tokenizer를 통해 정밀한 궤적을 생성합니다 [Figure 3, Figure 4]. 특히, 시각 정보는 시간 경과에 따라 적응적으로 압축(adaptive pooling)되어 고정된 토큰 budget 내에서 장기 기억을 보존합니다. 실험 결과, LightNav-0는 10개의 공공 네비게이션 시뮬레이션 벤치마크에서 SOTA 수준의 Monocular success rate를 달성하였습니다. 또한, LightNav-ER 체크포인트는 8개의 Embodied-reasoning 벤치마크에서 최고 평균 성능을 기록하며 모델의 강력한 공간 추론 능력을 입증했습니다. 제안된 RVQ 방식은 기존 VADv2 기반 계획 모델(ADE 2.48cm) 대비 0.72cm의 정밀한 궤적 생성 성능을 보여주었습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 범용 VLM의 내부적인 공간적 지능을 적절한 인터페이스를 통해 추출함으로써, 파편화된 네비게이션 시스템을 통합할 수 있음을 입증합니다. LightNav-0는 Task-agnostic하고 Embodiment-agnostic한 설계를 통해 다양한 로봇 플랫폼에서의 Zero-shot 일반화 가능성을 보여주었습니다. 이 연구는 compact한 VLM이 향후 일반주의 로봇 제어의 핵심 백본(backbone)이 될 수 있다는 중요한 시사점을 제공합니다. 향후 학계와 산업계에서 보다 효율적이고 확장 가능한 Embodied AI 시스템을 구축하는 데 기여할 것으로 기대됩니다.

Figure 3 — 듀얼 채널 포인트 방식

Figure 4 — RVQ 액션 토크나이저

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.