[논문리뷰] SwiftVLA: Unlocking Spatiotemporal Dynamics for Lightweight VLA Models at Minimal Overhead

링크: 논문 PDF로 바로 열기

저자: Chaojun Ni, Cheng Chen, Xiaofeng Wang, Zheng Zhu, Wenzhao Zheng, Boyuan Wang, Tianrun Chen, Guosheng Zhao, Haoyun Li, Zhehao Dong, Qiang Zhang, Yun Ye, Yang Wang, Guan Huang, Wenjun Mei

핵심 연구 목표

본 논문은 대규모 VLA 모델의 높은 추론 지연 시간과 메모리 사용량 문제를 해결하고, 경량 VLA 모델의 제한된 시공간 추론 능력을 극복하는 것을 목표로 합니다. 특히, 컴팩트한 VLA 모델에 4D 시공간 정보 를 통합하여 효율성을 유지하면서도 강력한 장면 이해 및 액션 계획 능력을 부여하고자 합니다.

핵심 방법론

SwiftVLA는 SmolVLM [44] 을 백본으로 사용하여 4D 시각 기하학 트랜스포머 와 시간 캐시 를 통해 2D 이미지로부터 4D 특징을 추출합니다. Fusion Tokens 를 도입하여 2D 및 4D 특징을 통합하고, 로봇 엔드 이펙터의 미래 궤적 예측 을 통해 액션 인지 표현을 학습시킵니다. 훈련 시 마스크 및 재구성 전략 을 사용하여 2D 또는 4D 입력을 마스킹하고, 액션 전문가(action expert) 가 마스킹된 특징을 재구성하도록 훈련시켜 4D 지식을 모델에 주입합니다. 추론 시에는 효율성을 위해 4D 입력 및 보조 헤드를 제거합니다.

주요 결과

SwiftVLA는 경량화된 VLA 모델을 능가하며, 최대 7배 더 큰 VLA 모델과 견줄만한 성능을 달성합니다. 특히 NVIDIA Jetson Orin [48] 에지 장치에서 최신 기준 모델인 πo [6] 보다 18배 더 빠른 추론 속도 와 12배 감소된 메모리 사용량 을 보입니다. 또한, 추론 시 4D 입력을 사용하지 않음에도 불구하고 완전한 4D 입력을 사용했을 때와 유사한 성능을 유지합니다.

AI 실무자를 위한 시사점

SwiftVLA는 로봇 공학 분야에서 리소스 제약이 있는 에지 장치에 강력한 VLA 모델을 배포할 수 있는 실용적인 솔루션을 제공합니다. 마스크 및 재구성 전략 은 4D 지식을 경량 모델에 효과적으로 주입하여 2D 입력만으로도 복잡한 시공간 추론을 가능하게 하는 혁신적인 방법입니다. 이러한 접근 방식은 실시간 로봇 제어 시스템의 효율성과 견고성을 크게 향상시킬 수 있는 잠재력을 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.