[논문리뷰] Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

링크: 논문 PDF로 바로 열기

저자: Shuailei Ma, Jiaqi Liao, Xinyang Wang, Jingjing Wang, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• LingBot-Video: 본 논문에서 제안하는 embodied intelligence를 위해 설계된 대규모 오픈소스 MoE 기반 비디오 foundation model입니다.
• DiT (Diffusion Transformer): 비디오 생성 및 모델링을 위한 기본 아키텍처로, 효율적인 latent 처리를 위해 사용됩니다.
• Sparse Mixture-of-Experts (MoE): 전체 파라미터 용량은 키우되 per-token active FLOPs를 제한하여 효율성과 성능의 trade-off를 최적화하는 아키텍처입니다.
• GRPO (Group Relative Policy Optimization): 비디오 생성 모델의 RL post-training을 위해 도입된 on-policy 최적화 프레임워크입니다.
• Data Profiling Engine: 비디오 데이터를 구조적, 의미론적, 물리적 속성으로 프로파일링하여 데이터 품질을 관리하는 시스템입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 기존의 비디오 생성 모델들은 주로 시각적 품질과 창의성에 집중하고 있어, embodied intelligence가 요구하는 물리적 현실성(physical realism)과 제어 가능성(controllability)이 부족한 도메인 불일치 문제를 겪고 있습니다. 대부분의 기존 모델은 dense computation에 의존하여 대규모 시공간 데이터를 처리할 때 prohibitive inference cost를 발생시키며, 학습 데이터 또한 로봇 공학 관련 물리적 상호작용 정보가 결여되어 있습니다. 결과적으로, 이들은 물리적 법칙에 따른 안정성이나 긴 시계열 상태 일관성을 보장하지 못하며, 이는 [Figure 1]에서 보여지는 다양한 시나리오에 대한 성능 저하로 이어집니다.

Figure 1 — 모델의 생성 성능을 보여주는 시각적 예시

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 MoE 아키텍처, 로봇 공학 데이터로 보강된 pretraining corpus, 그리고 물리적 합리성을 강화하는 multi-dimensional reward system을 결합하여 embodied intelligence를 위한 LingBot-Video를 제안합니다. MoE 설계를 통해 고해상도 비디오 시퀀스 생성 시 모델 capacity를 효과적으로 확장하며, Data Profiling Engine과 World-Knowledge Topological Graph를 활용하여 데이터 품질을 체계적으로 개선하였습니다. 실험 결과, LingBot-Video는 RBench 벤치마크에서 평균 0.620의 점수를 기록하며 open-source 모델 중 가장 우수한 성능을 입증하였습니다. 특히 TI2V 설정에서 기존 오픈소스 모델들을 능가하는 전반적인 시각적 품질과 물리적 시뮬레이션 지표를 달성하였으며, [Figure 15]에서 알 수 있듯이 embodied domain 전반에서 압도적인 강점을 보입니다. 또한, Physics-IQ Verified 점수에서도 40.4점을 기록하며 물리적 현상 예측 및 실제적인 상호작용 측면에서 높은 수준의 일관성을 확보하였음을 [Figure 16]을 통해 증명하였습니다.

Figure 15 — LingBot-Video와 경쟁 모델들 간의 정량적 성능 비교

Figure 16 — RBench 및 Physics-IQ 벤치마크를 통한 모델의 비교 우위 입증

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 대규모 MoE 기반의 비디오 foundation model인 LingBot-Video를 통해 디지털 비디오 생성과 물리적 액추에이션 사이의 간극을 효과적으로 좁혔습니다. 이 모델은 로봇 공학 공동체를 위한 데이터 엔진, 정책 평가자, 행동 계획기로서 핵심적인 역할을 수행할 수 있는 잠재력을 가집니다. 본 연구의 오픈소스 기여는 embodied AI 모델링의 새로운 이정표를 제시하며, 향후 로봇 브레인 개발을 위한 표준 시뮬레이터 및 기반 모델로 활용될 것으로 기대됩니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.