[논문리뷰] TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers

링크: 논문 PDF로 바로 열기

저자: Bin Yu, Shijie Lian, Xiaopeng Lin, Yuliang Wei, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Xinming Wang, Bailing Wang, Cong Huang, Kai Chen

핵심 연구 목표

표준 Vision-Language-Action (VLA) 모델이 로봇 제어를 위해 VLM 백본을 미세 조정할 때 발생하는 "파멸적 망각(catastrophic forgetting)" 문제를 해결하는 것이 목표입니다. 이는 고수준의 일반적인 의미 이해와 저수준의 정밀한 센서모터 기술 학습 간의 근본적인 충돌을 해결하고자 합니다.

핵심 방법론

본 논문은 생물학적 뇌의 반구 편측화(hemispheric lateralization)에서 영감을 받아, 일반적인 의미 이해와 로봇 행동 추정을 명시적으로 분리하는 TwinBrainVLA 라는 새로운 VLA 프레임워크를 제안합니다. 이 프레임워크는 고정된 "Left Brain" (일반주의 VLM)과 훈련 가능한 "Right Brain" (특화된 VLM)으로 구성되며, Asymmetric Mixture-of-Transformers (AsyMoT) 메커니즘을 통해 상호작용합니다. Flow-Matching Action Expert 가 Right Brain의 컨디셔닝을 받아 정밀한 연속 제어를 생성합니다.

주요 결과

SimplerEnv 벤치마크 에서 TwinBrainVLA + Qwen3-VL-4B-Instruct 가 평균 성공률 62.0% 를 달성하여 기존 최고 성능인 Isaac-GR00T-N1.6 (57.1%) 를 능가했습니다. RoboCasa GR1 Tabletop 벤치마크 에서도 TwinBrainVLA + Qwen3-VL-4B-Instruct 가 평균 성공률 54.6% 로 Isaac-GR00T-N1.6 (47.6%) 보다 7.0% 높은 성능을 보이며, 뛰어난 조작 성능과 함께 사전 훈련된 VLM의 포괄적인 시각 이해 능력을 명시적으로 유지함을 입증했습니다.

AI 실무자를 위한 시사점

이 연구는 VLA 모델의 "파멸적 망각" 문제를 해결하여, 로봇 시스템이 일반적인 의미론적 이해와 정밀한 물리적 제어 능력을 동시에 갖출 수 있는 유망한 방향을 제시합니다. AsyMoT 메커니즘 과 비대칭 이중 스트림 아키텍처 는 고수준의 추론과 저수준의 센서모터 기술을 통합하는 일반 목적 로봇 개발에 중요한 기반을 제공합니다. 이는 이질적인 모델 아키텍처와 로봇 전용 사전 훈련된 VLM을 결합하는 미래 연구의 가능성을 열어줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.