[논문리뷰] Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xin Zhou, Zongchuang Zhao, Zhibo Yang, Mingsheng Li, Humen Zhong, Shuai Bai, Du Chu, Ruizhe Chen, Zhaohai Li, Jun Tang, Qiuyue Wang, Mingkun Yang, Jiazhao Zhang, Dayiheng Liu, Dingkang Liang, Xiang Bai

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action): 시각적 장면 이해, 추론, 행동 생성을 연결하기 위해 사전 학습된 VLM을 활용하는 통합 모델 구조를 지칭함.
• BEV (Bird’s-Eye-View): 차량 주변 환경을 상공에서 내려다본 평면도로 변환하여 3D 객체 검출 및 의미론적 공간 예측 등을 수행하는 핵심 공간 표현 방식.
• Planning Expert: VLM으로부터 얻은 공유 표현(shared representation)을 조건으로 입력받아 차량의 미래 궤적을 생성하는 모듈.
• Flow Matching: 궤적 생성 과정에서 노이즈가 섞인 궤적 토큰을 점진적으로 정제하여 깨끗한 미래 궤적을 추정하는 생성 기법.
• Catastrophic Forgetting: 특정 도메인(여기서는 자율주행)으로의 과도한 적응 과정에서 기존에 습득한 범용적인 시각-언어 지식을 상실하는 현상.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 자율주행을 위한 통합 비전-언어 파운데이션 모델인 Qwen-Drive-1.0을 제안하여, 기존 모듈형 파이프라인의 한계를 극복하고자 한다. 기존의 VLM 기반 자율주행 연구들은 주로 텍스트 기반 VQA(Visual Question Answering)에 의존하여 3D 공간 정보가 부족하거나, 도메인 적응 과정에서 범용 지식을 잃어버리는 Catastrophic Forgetting 문제를 겪는다. 또한, 실제 차량 환경에서는 지능형 콕핏과 자율주행 시스템의 통합 요구로 인해 단일 모델이 범용 기능과 주행 성능을 동시에 수행해야 하는 제약이 존재한다. 이러한 배경에서 저자들은 3D 인식, 주행 장면 이해, 모션 계획을 통합하면서도 VLM의 아키텍처를 변경하지 않고 범용 성능을 유지하는 프레임워크를 개발하였다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 사전 학습된 Qwen3.5-4B를 공유 백본으로 유지하며 외부 모듈인 BEV perception head와 Planning Expert를 추가하는 구조를 제안한다 [Figure 2]. BEV perception head는 비전 인코더의 특징과 VLM 출력을 결합하여 3D 객체 검출, 의미론적 점유(occupancy) 예측, 맵 세분화를 수행하며, Planning Expert는 캐시된 VLM의 키/값(K/V)을 활용하여 Flow Matching을 통해 미래 궤적을 생성한다 [Figure 3]. 훈련은 4단계(Perception Head Pretraining, Joint Training, Planning Expert Pretraining, RL)를 거치며, 이를 통해 주행 도메인 적응과 범용 능력 유지를 동시에 달성한다 [Figure 4]. 실험 결과, Qwen-Drive-1.0은 nuScenes 데이터셋에서 43.95 mAP 및 60.99 map mIoU를 달성하며 강력한 3D 인식 성능을 입증하였다. 또한 NAVSIM 벤치마크에서 90.7점의 Predictive Driver Model Score를 기록하고, WOD-E2E에서 7.91의 Rater Feedback Score를 달성하여 우수한 모션 계획 성능을 보였다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 3D 인식, 주행 VQA, 모션 계획을 하나의 VLM 내에 통합한 최초의 자율주행 파운데이션 모델을 성공적으로 구현하였다. 본 연구는 외부 모듈 결합을 통해 VLM 아키텍처를 고정함으로써 효율적인 훈련과 범용성 유지를 동시에 확보하였다는 점에서 학계 및 산업계에 중요한 시사점을 제공한다. 향후 통합된 콕핏-주행 컴퓨팅 플랫폼 환경에서 본 모델은 높은 확장성과 활용도를 보일 것으로 기대된다. 이 연구는 자율주행 시스템이 보다 범용적이고 추론 기반의 의사결정을 수행할 수 있도록 하는 강력한 토대를 마련하였다.

---

Part 2: 중요 Figure 정보

Figure 1 — 모델 성능 개요

Figure 2 — 통합 아키텍처

Figure 3 — 외부 모듈 아키텍처

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.