[논문리뷰] TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

링크: 논문 PDF로 바로 열기

The browsing was successful. I have the HTML content of the paper. Now I need to extract the information and format it as requested.

Authors: Anqi Li, Yuxin Chen, Zhaobo Li, Zhuo Cao, Junli Ren, Masayoshi Tomizuka, Dhruv Shah Keywords: Vision-Language Navigation, Vision-Language-Action Model, Whole-Body Control (from Abstract, I'll add more academic ones from the text)

Let's refine keywords and start structuring the summary.

Additional keywords: Humanoid Robots, Cluttered Environments, Sim-to-Real Transfer, Motion Generation, Joint-Space Actions, Diffusion Models. I need 5-8.

Selected Keywords: Vision-Language Navigation, Whole-Body Control, Humanoid Robots, Cluttered Environments, Sim-to-Real Transfer, Motion Generation, Diffusion Transformer. (7 keywords, seems good).

Now, let's go through each section for Part 1.

Part 1: Markdown Summary

## 1. Key Terms & Definitions

• Vision-Language Navigation (VLN): 자연어 지침과 시각적 관찰을 기반으로 에이전트가 환경을 탐색하는 태스크. 기존 VLN은 주로 2D 경로 계획 문제를 다루었지만, TANGO는 Whole-Body 동작을 포함한다.
• Whole-Body Control (WBC): 로봇의 모든 관절(Joint)과 신체 부분의 움직임을 조율하여 복잡한 물리적 작업을 수행하는 제어 방식. TANGO에서는 29-DoF Joint-Space Actions을 예측하여 전신 제어를 가능하게 한다.
• 29-DoF Joint-Space Actions: 휴머노이드 로봇의 29개 자유도(Degrees of Freedom) Joint에 대한 각도 및 베이스 6D Rotation 표현을 포함하는 액션 공간. TANGO는 이 고차원 액션을 직접 예측하여 Whole-Body Navigation을 수행한다.
• Plan, Edit, Track (PET) Pipeline: 충돌 없는(Collision-Free) Whole-Body Traversal 데이터셋을 자동으로 합성하기 위한 데이터 생성 파이프라인. Plan 단계에서 경로 계획, Edit 단계에서 Whole-Body 장애물 상호작용 편집, Track 단계에서 물리적 실행 가능성 검증을 수행한다.
• Real-time Chunking (RTC): 오프라인 훈련과 온라인 스트리밍 실행을 일치시키기 위해 모델이 무작위로 커밋된 Prefix of Actions에 Condition되어 나머지 Horizon을 채우도록 하는 훈련 기법. 실행 중 동작의 연속성을 유지하는 데 중요하다.

## 2. Motivation & Problem Statement 본 논문은 휴머노이드 로봇이 복잡한 실내 환경에서 자연어 지침에 따라 Whole-Body Navigation을 수행하는 문제를 해결하고자 한다. 기존의 Vision-Language Navigation (VLN) 방법론들은 주로 2D 경로 계획이나 저차원 액션 공간에 초점을 맞춰, 휴머노이드의 고차원 관절 몸체(High-Dimensional Articulated Bodies)가 겪는 Continuous Geometry-Aware Whole-Body Adaptation 문제를 충분히 다루지 못했다. 이러한 한계는 로봇의 팔, 몸통, 다리 등 전신이 주변 지오메트리와 충돌 없이 복잡한 3D 공간을 통과해야 하는 Cluttered Environments에서의 Traverse를 어렵게 만든다. 또한, 기존 Whole-Body VLA 시스템들은 주로 고수준의 Locomotion Commands를 예측하고 이를 하위 컨트롤러에 위임하여, Navigation Decision 과정에서 Whole-Body Traversability에 대한 명시적인 추론이 부족하다. 결과적으로, Navigation Intent와 Whole-Body Traversability를 통합적으로 고려하는 단일화된 프레임워크의 필요성이 제기되었다.

## 3. Method & Key Results 저자들은 Cluttered Environments에서의 휴머노이드 Navigation을 위한 통합 Whole-Body Vision-Language-Action (VLA) 프레임워크인 TANGO를 제안한다. TANGO는 Natural-Language Instruction과 Egocentric RGB Observations를 입력으로 받아, 29-DoF Joint-Space Actions를 직접 예측하여 다운스트림 Whole-Body Control을 수행한다. 핵심적으로, 저자들은 Whole-Body Whole-Body Collision-Free Traversal Behaviors를 합성하기 위한 확장 가능한 시뮬레이션 데이터 생성 파이프라인인 Plan, Edit, Track (PET)을 개발했다. PET 파이프라인은 Global Path Planning, Kinematic Whole-Body Motion Generation, Obstacle-Aware Motion Editing, 그리고 RL-based Tracking을 통해 동적으로 실현 가능한(Dynamically Feasible) Whole-Body Motion Supervision을 제공한다. TANGO는 Vision-Language (VL) Backbone (System-2, Qwen2.5VL-7B 기반), Multi-Modal Diffusion Transformer (MM-DiT) Action Expert (System-1), 그리고 Off-the-Shelf Motion Tracker (System-0, SONIC)로 구성된 Triple-System Architecture를 채택한다. 훈련 시 Training-Time Real-time Chunking (RTC)을 적용하여 오프라인 훈련과 온라인 스트리밍 실행을 일치시킨다.

실험 결과, TANGO는 VLNVerse 벤치마크에서 기존 SOTA(State-of-the-Art) Baseline들을 능가하는 성능을 보였다 [Table 1]. 특히 Success Rate (SR)에서 Val Seen 54.69%, Val Unseen 52.89%를 달성하여 가장 높았으며, Navigation Error (NE) 또한 Val Seen 3.90, Val Unseen 3.72로 가장 낮게 보고되었다. Cluttered Environment Traversal 성능 평가에서는 TANGO가 가장 낮은 Collision Rate (CR) 9.90%를 기록하며 가장 강력한 Baseline인 InternVLA-N1 + HumanoidPF (15.81%) 대비 안전성을 크게 향상시켰다. 또한, TANGO는 SR에서 43.75%, SPL에서 31.83%를 달성하며 InternVLA-N1 + HumanoidPF Baseline을 능가했다. Real-World Zero-Shot Transfer 실험에서도 TANGO는 Long-Horizon Navigation, Narrow Pathway Side-Stepping, Overhead Obstacle Crouching, Ground Obstacle Stepping Over 등 복잡한 시나리오에서 강건한 성능을 보였다 [Figure 4]. Ablation Study를 통해 Whole-Body Action Prediction, Obstacle-Aware Motion Editing, 그리고 RTC의 효과가 검증되었다 [Table 5].

Figure 4 — TANGO 실세계 정성적 결과

## 4. Conclusion & Impact 본 연구는 Natural-Language Instruction, Egocentric Image Observations, 그리고 Robot Proprioception을 기반으로 29-DoF Joint-Space Actions를 직접 예측하는 최초의 Whole-Body Vision-Language Navigation 프레임워크인 TANGO를 제시한다. TANGO는 Whole-Body Collision Avoidance Behavior를 포함하는 다양하고 대규모의 Simulation Dataset을 구축하고, Qwen2.5VL-7B 기반의 VL Backbone과 Flow Matching Action Expert를 활용하여 훈련된다. Training-Time RTC와 High-Frequency General Tracker의 도입은 실제 휴머노이드 로봇에서의 실시간 실행을 가능하게 한다. 이 연구는 VLN 태스크에서 SOTA 성능을 달성하고 Cluttered Environments에서 뛰어난 Traversal Performance를 보여주며, Whole-Body Action Prediction이 복잡한 환경에서 휴머노이드 로봇의 Navigation과 상호작용 능력을 크게 향상시킬 수 있음을 입증한다. TANGO는 실용적인 Whole-Body Large Planning Models로 나아가기 위한 중요한 단계이며, 향후 Whole-Body Loco-Manipulation Foundation Models 개발의 기반이 될 것으로 기대된다.

---

Part 2: Important Figure Information

I need to identify up to 3 important figures.

• Figure 1: Humanoid whole-body navigation in cluttered environments. (Teaser image, shows capabilities)
• Figure 2: TANGO Architecture and Data Pipeline. (Core methodology explanation)
• Figure 3: TANGO real-world deployment system. (System architecture for deployment)
• Figure 4: Real-world deployment of TANGO. (Qualitative real-world results)
• Figure 5: Examples of targeted environment augmentation. (Data generation details)

Figure 2 is definitely the most important as it shows the architecture and data pipeline. Figure 3 shows the real-world deployment system which is quite important for understanding how it works in practice. Figure 4 shows real-world qualitative results which highlight the impact.

Let's pick Figure 2 (architecture/method), Figure 3 (deployment), and Figure 4 (real-world results).

I need to get the image_url for these figures.

• Figure 1: 2609.09158v1/teaser_new.png -> https://arxiv.org/html/2609.09158v1/teaser_new.png
• Figure 2: 2609.09158v1/architecture.png -> https://arxiv.org/html/2609.09158v1/architecture.png
• Figure 3: 2609.09158v1/system.png -> https://arxiv.org/html/2609.09158v1/system.png
• Figure 4: 2609.09158v1/real_details.png -> https://arxiv.org/html/2609.09158v1/real_details.png
• Figure 5: 2609.09158v1/appendix/assets/selected/stride/stride_01_kujiale_0291_0000.png (This is one of many images in Figure 5, not the main figure itself, so it's not suitable) Ah, Figure 5 is a table of images. I should avoid it. It's better to pick Figure 1 or Figure 4 again if I need a third, but Figure 4 is already good. I should use Figure 1 or keep it to 2 if they are truly the most important. Given the criteria:

1. Overall architecture/framework diagram. (Figure 2)
2. Key results comparison table or graph. (Table 1, Table 2, Table 3, Table 4, Table 5 are tables, not images, so I cannot select them based on the rule "Figure/Table의 <img> 태그 src 속성에서 이미지 경로를 찾으세요. Table은 이미지가 아닌 HTML 테이블인 경우가 많습니다. 이미지 <img> 태그가 있는 Figure만 선별하세요."
3. Figure explaining the key methodology. (Figure 2, again)

Okay, so I can select Figure 2, Figure 3 and Figure 4. Figure 1 is also a good option if I wanted a visual summary of the problem. Let's go with Figure 2 (architecture), Figure 3 (deployment system), and Figure 4 (real-world qualitative results).

JSON for figures:

Figure 2 — TANGO 아키텍처 및 데이터 파이프라인

Figure 3 — TANGO 실세계 배포 시스템

Figure 4 — TANGO 실세계 정성적 결과

Double check all constraints:

• Technical Terminology in English: Yes, kept Vision-Language Navigation, Whole-Body Control, 29-DoF Joint-Space Actions, Plan, Edit, Track (PET) Pipeline, Real-time Chunking (RTC), Cluttered Environments, Sim-to-Real Transfer, Motion Generation, Diffusion Transformer, Success Rate (SR), Navigation Error (NE), Collision Rate (CR), Success weighted by Path Length (SPL), Oracle Success Rate (OSR), DoF, VLN, VLA, PET, RTC, MM-DiT, MPC, IK, CoM, SDF.
• Natural Korean Phrasing: Yes, sentence structure is Korean.
• Mandatory Metadata: Yes, authors and keywords.
• Output format: Part 1 (Markdown), Part 2 (JSON) separated by `

Figure 2 — TANGO 아키텍처 및 데이터 파이프라인

Figure 3 — TANGO 실세계 배포 시스템

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.