[논문리뷰] Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

링크: 논문 PDF로 바로 열기

메타데이터

저자: Hongyu Qu, Jianzhe Gao, Xiaobin Hu, Shaohuan Yang, Xinlei Yu, Rui Yan, Wenguan Wang, Xiangbo Shu, Shuicheng Yan

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action) Models: 시각적 관측치와 자연어 명령을 입력받아 로봇의 제어 명령(Action)을 생성하는 기초 모델(Foundation Model)입니다.
• LaMem-VLA: 시각적 정보와 행동 이력을 Latent Space 내의 Memory Token으로 재구성하여 모델의 추론 과정에 직접 통합하는 로봇 제어 프레임워크입니다.
• Dual-scale Vault: 시각적 증거를 담은 Short-term Memory Vault와 작업 진행 상황 및 행동 연속성을 기록하는 Long-term Memory Vault로 구성된 이중 저장소입니다.
• Latent Memory Condenser: 검색된 방대한 과거 경험을 고정된 길이의 Latent Memory Tokens로 압축하여 모델이 처리 가능한 형태로 변환하는 모듈입니다.
• Memory Weaver: 압축된 Memory Token을 현재의 시각적/언어적 입력과 함께 하나의 연속적인 시퀀스로 통합하여 Action Reasoning에 활용하는 핵심 기술입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존 VLA 모델들이 지닌 Markovian assumption으로 인한 temporal short-horizon bias를 해결하고자 합니다 [Figure 1]. 기존 연구들은 외부 메모리 뱅크를 활용하거나 입력 창(Context window)을 확장하는 방식을 사용했으나, 이는 메모리를 모델의 내재된 latent embedding space가 아닌 보조적인 수단으로만 처리한다는 한계가 있습니다. 이러한 분리는 복잡한 다단계 작업이나 장기적인 의존성이 필요한 Long-horizon manipulation 환경에서 정교한 추론을 방해합니다. 따라서 저자들은 과거의 경험을 모델이 사고하는 것과 동일한 continuous latent space 내에서 생성, 저장, 검색 및 소비하는 새로운 패러다임을 제시합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 과거 경험을 Dual-scale Vault에 체계적으로 저장하고 이를 Latent Memory Condenser를 통해 압축하여 VLA의 추론 과정에 직접 주입하는 LaMem-VLA를 제안합니다 [Figure 2]. 우선 Latent Memory Curator가 시각적 단기 기억과 의미론적 장기 기억을 각각 분류하여 저장하며, Latent Memory Seeker가 현재의 multimodal cognition 상태를 바탕으로 문맥에 맞는 핵심 증거를 검색합니다. 검색된 정보는 Memory Weaver를 통해 현재의 관측치 및 명령어와 하나의 토큰 시퀀스로 합쳐진 후 Diffusion-based action expert에 전달되어 최종적인 Action Chunk를 생성합니다 [Figure 2]. 실험 결과, LIBERO 벤치마크에서 97.6%의 평균 성공률을 기록하며 CogACT 대비 4.4%p, MemoryVLA 대비 1.1%p 향상된 성능을 보였습니다. 또한 SimplerEnv-Bridge 환경에서도 73.9%의 성공률을 달성하여 CogACT 대비 16.6%p의 압도적인 성능 우위를 입증하였습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 로봇 학습 분야에서 과거의 경험을 모델의 Native Latent Space와 통합하는 근본적인 방식을 제시하여, 긴 호흡의 작업 수행 능력을 획기적으로 개선했습니다. LaMem-VLA는 외부 보조 장치가 아닌 모델 내부의 연산 과정에 기억을 결합함으로써, 보다 인간과 유사한 맥락 기반의 지능형 제어를 가능하게 합니다. 이 연구는 향후 범용적인 Embodied AI 에이전트 구축 및 복잡한 시나리오에서의 로봇 제어 신뢰성을 높이는 데 핵심적인 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.