[논문리뷰] RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation

링크: 논문 PDF로 바로 열기

The paper is titled "RoboJudge: Multimodal Language Models as Judges for Embodied Video Generation". Authors are Siyuan Ma, Yu Qi, Cheng Ye, Ruotian Peng, Xinyi Xu, Zitiantao Lin, Zedong Cai, Yijian Huang, Weiyang Liu, Siyuan Wang, Yandong Wen. Affiliations: Westlake University, Northeastern University, Zhejiang University, Project lead, Independent, Corresponding author, The Chinese University of Hong Kong, University of California San Diego.

I need to extract keywords, key terms, motivation, methodology, results, conclusion, and important figures.

Part 1: Markdown Summary

Metadata:

• Authors: Siyuan Ma, Yu Qi, Cheng Ye, et al.
• Keywords: Embodied AI, Video Generation, MLLM, Judge Model, Physical Adherence, Instruction Alignment, Benchmark, Reinforcement Learning

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• MLLM (Multimodal Large Language Model): 텍스트와 비디오 등 다양한 모달리티 정보를 이해하고 처리할 수 있는 대규모 언어 모델.
• Embodied Video Generation: 로봇 행동이나 태스크 지시 하에 물리적 세계가 어떻게 변화하는지 예측하는 비디오 생성. 로봇의 물리적 상호작용 및 태스크 수행 정확도를 평가하는 것이 중요.
• Physical Adherence (PA): 생성된 비디오가 물리적으로 그럴듯하고 시각적으로 일관성이 있는지 평가하는 지표. 에이전트 일관성, 장면 일관성, 상호작용 사실성 등을 포함한다.
• Instruction Alignment (IA): 생성된 비디오가 주어진 조작 지시를 충실히 실행하고 완료하는지 평가하는 지표. 에이전트 일치, 객체 정확성, 목표 완료 등을 포함한다.
• RoboJudge-Bench: Embodied Video Generation의 MLLM Judge를 평가하기 위한 벤치마크. Human Annotation 기반으로 PA와 IA 두 가지 핵심 차원을 측정한다.
• RoboJudge-Train: RoboJudge-9B 모델 훈련을 위해 12K 비디오와 25K Human-Verified Score 및 Model-Assisted Rationale로 구성된 대규모 데이터셋.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 Embodied World Models의 핵심 요소인 Embodied Video Generation 모델의 신뢰할 수 있는 평가 필요성을 해결하고자 한다. 최근 비디오 생성 모델은 Embodied World Models의 유망한 기반이 되고 있지만, 생성된 Rollout이 물리적으로 유효하고 태스크 지시에 충실한지 여부를 평가하는 것은 여전히 어려운 문제이다. 기존의 MLLM Judge들은 Embodied Videos에 대한 Human Judgment와의 Alignment가 체계적으로 평가되지 않았으며, 일반적인 MLLM은 Physical Adherence에 대한 Agreement가 낮고, 일반 도메인 물리적 추론을 위해 설계된 Specialized Video Judges는 Embodied 시나리오에 잘 전이되지 않는 한계를 보인다. Pixel, Perceptual, Representation Metrics는 시각적 또는 의미론적 유사성을 포착하지만, 물리적 및 태스크 수준의 실패를 명확히 구분하지 못한다. 이에 따라, 저자들은 Embodied Video Generation의 평가를 위한 체계적인 벤치마크와 Human Judgment에 더 잘 Align되는 새로운 Judge 모델의 필요성을 강조한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 Embodied Video Generation의 MLLM Judge를 평가하기 위한 벤치마크인 RoboJudge-Bench를 제안하며, 이는 Physical Adherence (PA) 및 Instruction Alignment (IA)라는 두 가지 핵심 축을 따라 800개의 Human-Annotated Videos로 구성된다. RoboJudge-Bench는 Grippers, Human Hands, Dexterous Hands를 포함하는 다양한 Embodiments, 8개의 Source Corpora 및 10개의 Video Generators에서 생성된 비디오들을 포함한다 [cite: 1, Figure 1, Figure 2]. 각 비디오는 PA와 IA에 대해 1~5점 척도로 Human Rating되며, Cross-Review Protocol을 통해 상세한 Rationale이 제공된다. 기존 29개 모델 Judge 및 8개 Non-MLLM Metrics와의 비교 실험 결과, 기존 Judge들은 특히 Fine-Grained Interaction Errors 및 Physical Hallucinations에서 Human Judgment와의 Gap을 보였다 [cite: 1, Table 2, Figure 4]. 이러한 한계점을 해결하기 위해 저자들은 RoboJudge-Train이라는 12K 비디오로 구성된 대규모 Embodied Video Judge Training Dataset을 구축하고, 25K Human-Verified Scores 및 Model-Assisted Rationales로 PA 및 IA에 대한 Supervision을 제공한다. 이를 기반으로, Qwen3.5-9B MLLM을 Supervised Fine-Tuning (SFT)과 Reinforcement Learning (RL)의 2단계 전략으로 Fine-Tune하여 RoboJudge-9B를 개발했다.

실험 결과, RoboJudge-9B는 RoboJudge-Bench에서 평가된 모델 Judge 중 가장 높은 Overall Agreement를 달성했으며, Human Rating과의 Pearson Correlation에서 0.719를 기록하여, 최상위 Proprietary Baseline인 Gemini-3.7-Flash 대비 0.089의 통계적으로 유의미한 Performance Gain을 보였다 [cite: 1, Table 2]. 특히, PA에서는 0.645, IA에서는 0.775의 Pearson Correlation을 달성했다 [cite: 1, Table 2]. Training Stage Ablation Study 결과, SFT는 Base Model인 Qwen3.5-9B의 성능을 PA와 IA 모두에서 크게 향상시켰고, RL은 Overall Correlation을 0.700에서 0.719로 추가 개선하는 데 기여했다 [cite: 1, Table 3]. 또한, RoboJudge-Train으로 훈련된 RoboJudge-9B는 VideoPhy2 및 Physion-Eval과 같은 외부 Out-of-Distribution (OOD) 벤치마크에서도 성능 향상을 보여, Training Distribution을 넘어선 Generalization Capability를 입증했다 [cite: 1, Table 4]. 이러한 결과는 RoboJudge-9B가 Human Judgment에 매우 잘 Align되어 Embodied Video Evaluation의 신뢰할 수 있는 Judge로서 기능함을 시사한다 [cite: 1, Figure 9].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 Embodied Video Generation의 MLLM Judge 평가를 위한 벤치마크인 RoboJudge-Bench를 소개하고, 기존 Judge들이 Human Judgment와 물리적 상호작용 평가에서 Alignment가 부족하다는 점을 밝혔다. 저자들은 이러한 Gap을 해결하기 위해 RoboJudge-Train 데이터셋을 구축하고 RoboJudge-9B 모델을 훈련하여, RoboJudge-Bench에서 평가된 모델 Judge 중 가장 강력한 Overall Agreement를 달성했음을 보여주었다. 또한, RoboJudge-9B는 외부 Physical-Reasoning 벤치마크로의 Generalization Capability도 입증했다. 이 연구는 Human-Calibrated PA 및 IA Supervision이 Embodied Video Evaluation에 매우 중요하며, Online Physical Rollout Evaluation 및 Agentic Embodied Video Generation 등 다양한 Downstream Application에 대한 잠재력을 제시한다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.