[논문리뷰] Embodied.cpp: A Portable Inference Runtime of Embodied AI Models on Heterogeneous Robots

링크: 논문 PDF로 바로 열기

메타데이터

저자: Ling Xu, Chuyu Han, Borui Li, Hao Wu, Shiqi Jiang, Ting Cao, Chuanyou Li, Sheng Zhong, Shuai Wang

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• VLA (Vision-Language-Action) Models: 시각적 입력과 언어 지시를 바탕으로 로봇의 제어 동작을 생성하는 모델 구조입니다.
• WAM (World-Action Models): 환경의 미래 상태를 예측하고 이를 기반으로 동작을 생성하는 모델로, 미래 예측과 행동 생성이 밀접하게 결합된 형태를 의미합니다.
• Multi-rate Execution: 인식(Perception), 계획(Planning), 제어(Control) 모듈들이 서로 다른 주기로 실행되어야 하는 로봇 제어의 특수성을 반영한 실행 방식입니다.
• Deployment Adapter: 다양한 로봇 플랫폼이나 시뮬레이터 환경에서 모델이 원활하게 작동하도록 연결하는 인터페이스 층입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 Embodied AI 모델들이 요구하는 복잡한 실행 조건을 기존의 범용 LLM/VLM 추론 런타임이 충족하지 못하는 문제를 해결하고자 합니다. 기존 시스템들은 주로 서버 환경의 Request-Response 방식과 높은 Throughput 최적화에 집중되어 있어, 로봇 제어 환경에서 요구되는 Closed-loop 제어, Batch-1 추론, 그리고 Multi-rate 실행을 지원하는 데 한계가 있습니다. 특히 VLA 및 WAM 모델들이 다양해짐에 따라, 모델마다 파편화된 Python 스택과 고유한 배포 방식을 요구하는 것은 실시간 로봇 시스템 적용에 큰 걸림돌이 됩니다 [Figure 2]. 따라서, 저자들은 로봇-하드웨어-모델 간의 호환성을 보장하고 범용적으로 사용할 수 있는 Portable C++ Inference Runtime이 시급하다고 판단하였습니다.

Figure 2 — Embodied.cpp 전체 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Embodied AI 모델의 공통된 실행 경로를 추출하여 Input Adapters, Sequence Builders, Backbone Execution, Head Plugins, Deployment Adapters의 5단계 계층 구조를 갖는 Embodied.cpp를 설계하였습니다 [Figure 2]. 본 런타임은 Modular multi-rate execution을 통해 각 컴포넌트가 독립적인 빈도로 작동할 수 있게 하며, Latency-first fused execution 기술을 통해 엣지 디바이스(Jetson, RK 등) 환경에서의 최적화된 Batch-1 성능을 확보했습니다.

정량적 평가 결과, HY-VLA 모델은 100.0%의 Task Success Rate를 기록하였고, pi0.5 모델은 91.0%의 높은 성공률을 유지하며 안정적인 제어를 수행했습니다 [Table 3]. 또한 LingBot-VA 모델의 단일 Transformer 블록에 대한 실험에서는 기존 PyTorch 기반 BF16 대비 Embodied.cpp의 Q4_K 양자화를 적용하여 메모리 점유율을 312.2 MiB에서 88.1 MiB로 대폭 감소시키면서도, 출력의 MAE를 3.3 × 10⁻² 이하로 유지하는 정밀도를 입증했습니다 [Table 4].

Table 3 — VLA 모델 배포 결과

Table 4 — LingBot-VA 양자화 결과

4. Conclusion & Impact (결론 및 시사점)

본 논문은 Embodied AI 모델의 파편화된 배포 문제를 해결하기 위해 고성능 C++ 기반의 런타임 프레임워크인 Embodied.cpp를 제시합니다. 본 연구는 인프라 수준의 안정적인 코어와 플러그인 가능한 태스크별 컴포넌트를 분리함으로써, 미래에 등장할 다양한 Embodied 모델 아키텍처에 대응할 수 있는 확장성을 확보하였습니다. 이러한 성과는 향후 로봇 공학 및 엣지 AI 분야에서 복잡한 신경망 모델을 실제 하드웨어에 효율적으로 배포하고 제어하는 실무 표준으로 기여할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.