[논문리뷰] Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach

링크: 논문 PDF로 바로 열기

저자: Siyuan Yang, Yang Zhang, Haoran He, Ling Pan, Xiu Li, Chenjia Bai, Xuelong Li

핵심 연구 목표

사전 학습된 Vision-Language-Action (VLA) 모델 을 지도 미세 조정(SFT)한 후 추론 시 발생하는 불안정성 문제를 해결하는 것이 목표입니다. 이러한 불안정성은 VLA 정책과 다운스트림 태스크의 성공 모드 간의 분포 불일치에서 비롯되며, 불필요하거나 비최적적인 액션 모드를 샘플링하는 경향을 완화하고자 합니다.

핵심 방법론

본 논문은 TACO 라는 Test-Time Scaling (TTS) 프레임워크를 제안합니다. 이는 경량 pseudo-count 추정기 를 고신뢰도 액션 청크 검증기로 활용하며, 생성된 여러 후보 액션 중 최대 pseudo-count 를 가진 액션을 선택하는 방식으로 작동합니다. 특히, Coin Flipping Network (CFN) 를 내부 표현 학습에 활용하고, High-Fidelity Feature Search 로 노이즈 기반 VLA의 표현을 정제하며, KV Cache Optimization 을 통해 추론 효율성을 극대화했습니다.

주요 결과

RoboTwin2.0, Robotwin, LIBERO, SimplerEnv 등 4가지 시뮬레이션 벤치마크와 듀얼-암 플랫폼에서 방법론의 효과를 입증했습니다. 특히, 실제 로봇 태스크에서 베이스라인 대비 평균 16%의 성공률 향상 을 달성했으며, KV Cache Optimization 을 통해 32개 액션 샘플링 시 추론 시간을 73.2% 단축하여 효율성을 크게 개선했습니다.

AI 실무자를 위한 시사점

VLA 모델 의 추론 안정성과 성공률을 향상시키는 실용적인 방법을 제시하여 로봇 공학 분야의 실제 배포 가능성을 높였습니다. 특히, gradient-free 방식의 anti-exploration 원리를 통해 확산 또는 플로우 기반 VLA 모델에 효율적으로 적용될 수 있어, 복잡한 RL 업데이트 없이도 성능 개선을 기대할 수 있습니다. 기존 VLA 모델에 TACO 를 통합하여 불필요한 액션 모드를 필터링함으로써 강건하고 신뢰할 수 있는 로봇 시스템을 구축하는 데 기여할 수 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.