[논문리뷰] RynnUnify: Towards Unified Embodied Brain

링크: 논문 PDF로 바로 열기

저자: Minghao Zhu, Bohan Hou, et al.

1. Key Terms & Definitions

• RynnUnify: 16B 규모의 unified embodied model로, embodied understanding과 long-horizon visual planning을 interleaved video–language reasoning을 통해 결합한 모델입니다.
• Unified Multimodal Models (UMMs): 이해(understanding)와 생성(generation)을 공동으로 모델링하는 기존의 모델들을 지칭합니다.
• Mixture-of-Transformers (MoT): RynnUnify의 기반이 되는 아키텍처로, autoregressive reasoner와 diffusion generator로 구성됩니다.
• Rynn-VP: RynnUnify 평가를 위해 도입된 벤치마크로, long-horizon visual planning의 일관성을 평가합니다.
• Rynn-GEU (Generation-Enhanced Embodied Understanding): RynnUnify 평가를 위해 도입된 벤치마크로, unobserved future states 및 interaction outcomes에 대한 추론 능력을 평가합니다.
• World-Action Model (WAM): RynnUnify의 확장 모델로, latent planning과 joint video-action training을 통해 로봇 제어 기능을 제공합니다.

2. Motivation & Problem Statement

본 논문은 일반적인 로봇 두뇌 개발에 필수적인 물리 세계 이해, 상호작용 결과 예측, 그리고 태스크 의도를 행동으로 변환하는 능력의 통합 문제를 다룹니다. 기존 Unified Multimodal Models (UMMs)은 이해와 생성 모델링에서 진전을 보였으나, 장면 변화와 예측 오류 누적으로 인해 long horizons에서 상호작용을 지속하는 데 어려움을 겪습니다. 특히, 정적인 visual prediction은 중간 동적 변화를 간과할 수 있어, embodied understanding과 temporally coherent video prediction을 연결하는 interleaved reasoning의 필요성이 제기됩니다. 이러한 한계점을 극복하기 위해, 연구자들은 long-horizon visual planning을 지원하는 새로운 접근 방식을 제안합니다.

3. Method & Key Results

저자들은 RynnUnify라는 16B 규모의 unified embodied model을 제안하며, 이는 Mixture-of-Transformers (MoT) 아키텍처를 기반으로 하는 8B autoregressive reasoner와 8B diffusion generator로 구성됩니다. RynnUnify는 interleaved video-language reasoning을 통해 강력한 embodied understanding과 long-horizon visual planning을 통합합니다. Reasoner는 연속적인 비디오 예측을 안내하고, 예측 결과는 후속 subtask planning의 컨텍스트를 제공합니다. 또한, 저자들은 강화 학습(Reinforcement Learning)을 통해 RynnUnify의 reasoner에서 8B agent를 추가적으로 post-train하여 generation-enhanced embodied understanding을 탐색하고, unobserved future states 및 interaction outcomes에 대한 추론에 비디오 예측의 유용성을 입증했습니다. 나아가, latent planning과 joint video-action training을 통해 전체 RynnUnify 모델을 World-Action Model (WAM)으로 확장하여 로봇 제어에 적용했습니다.

실험 결과, RynnUnify는 평가된 unified multimodal models 중 가장 높은 평균 embodied understanding score를 달성했습니다. 특히, long-horizon visual planning 벤치마크인 Rynn-VP에서 Cosmos 3 Nano 대비 9.75점의 전체 점수 향상을 보였습니다. Rynn-GEU 벤치마크에서는 agentic extension이 direct reasoning보다 평균 6.0점 개선을 이루었습니다. 로봇 제어와 관련하여, WAM extension은 20개의 선택된 composite RoboCasa365 태스크에서 51.5%의 성공률을 기록했으며, 세 가지 real-robot 태스크에서는 평균 46.7%의 성공률을 달성했습니다.

4. Conclusion & Impact

RynnUnify는 embodied understanding, visual planning, 그리고 로봇 제어를 위한 공유된 기반(shared foundation)을 제공하는 unified embodied model입니다. 이 연구는 interleaved video-language reasoning을 통해 long-horizon visual planning의 효율성을 입증하고, 비디오 예측이 관찰되지 않은 미래 상태에 대한 추론 능력을 크게 향상시킬 수 있음을 보여줍니다. 학계와 산업계에 걸쳐, RynnUnify는 로봇이 복잡한 환경에서 보다 지능적이고 자율적으로 작동할 수 있도록 하는 데 중요한 진전을 이뤘으며, 특히 새로운 벤치마크인 Rynn-VP와 Rynn-GEU의 도입을 통해 미래 연구를 위한 평가 기준을 제시합니다. 이는 궁극적으로 unified embodied brain을 향한 중요한 발걸음을 내딛는 데 기여할 것입니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.