[논문리뷰] Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds

링크: 논문 PDF로 바로 열기

I have browsed the paper. Now I will proceed with extracting information for Part 1 and Part 2.

Metadata Extraction:

• Authors: Kuan Zhang, Yukun Chen, Zhihao Yang, Yue Su, Xiangnan Wu, Zirong Chen, Run Luo, Jinkun Hou, Tao Tan, Yinhe Zheng, Yiming Li
• Keywords: Based on the abstract and main content, I'll select 5-8 relevant technical keywords. Embodied Agents, Continued Pre-Training (CPT), Scaling Laws, Virtual Worlds, Generalization, Data Diversity, Model Capacity, Gameplay Benchmarks.

Part 1: Summary

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Embodied Agents: 가상 또는 물리적 환경에서 지각(Perceive), 추론(Reason), 행동(Act)할 수 있도록 설계된 AI 시스템.
• Continued Pre-Training (CPT): 특정 도메인(여기서는 게임 플레이)에 특화된 데이터로 기존에 Pre-trained된 모델을 추가 학습시키는 과정.
• Scaling Law: 모델 성능(예: Loss)이 모델 크기(Model Size), 데이터 양(Data Volume), 컴퓨팅 자원(Compute) 등의 요소에 따라 어떻게 변화하는지 설명하는 경험적 관계식.
• Data Diversity: 트레이닝 데이터셋에 포함된 가상 세계(Virtual Worlds)의 시각적 스타일, 규칙, 물리, 액션 스페이스(Action Spaces), 목표 등의 이질성 정도.
• Three-Level Evaluation: In-corpus worlds, Unseen related worlds, Unseen distant worlds의 세 가지 범주로 나눈 가상 환경에서 모델의 성능 및 일반화 능력 평가.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 가상 세계(Virtual Worlds)에서 Embodied Agents의 Continued Pre-Training (CPT)이 실제 물리 환경(Physical Environments)에서와 유사하게 Data Scaling, Diversity Scaling, Model Scaling을 통해 Generalization 능력을 향상시킬 수 있는지에 대한 의문을 제기한다. 기존 로보틱스 연구는 일관된 물리 법칙을 공유하는 실제 환경에서 광범위한 경험이 Generalist Agents의 generality를 향상시킨다는 것을 보여주었지만, 시각적 스타일, 규칙, 물리, 액션 스페이스, 목표가 크게 다른 가상 세계에서는 이러한 일관성이 부족하다. 기존 CPT 연구들은 데이터 볼륨, 다양성, 모델을 함께 변경하여 각 요소의 개별적인 영향이 불분명했으며, 이질적인 경험이 다른 세계로의 Generalization에 도움이 되는지, 아니면 오히려 학습에 방해가 되는지 명확하지 않았다. 저자들은 이러한 Gap을 해결하기 위해 0.8B에서 27B에 이르는 4가지 모델 크기, 50시간에서 1,600시간에 이르는 6가지 데이터 예산, Minecraft-only 데이터부터 다양한 Multi-world Corpus에 이르는 5가지 데이터 혼합 설정을 포괄하는 120가지 훈련 Configuration에 대한 통제된 연구를 수행한다.

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 Continued Pre-Training (CPT)의 Scaling 효과를 조사하기 위해 Qwen3.5 백본을 기반으로 하는 4가지 모델 크기( 0.8B, 2B, 9B, 27B ), 6가지 데이터 예산( 50h, 100h, 200h, 400h, 800h, 1600h ), 5가지 데이터 다양성 혼합( S1–S5 )을 포함하는 120개 Configuration을 실험했다. 트레이닝 데이터는 VPT, D2E, OpenP2P 등의 게임 플레이 Trajectory 85%와 General Vision-Language 데이터를 15%로 구성하며, S1부터 S5까지 Minecraft Trajectory의 비율을 100%에서 0%로 줄여 Diversity를 조절했다 [cite: 1, Table 3]. 모델은 Interleaved History에 조건화된 Causal Next-Token Prediction Loss를 사용하여 CPT되었고, ViT를 포함한 모든 파라미터는 AdamW 옵티마이저로 업데이트되었다.

핵심 결과는 다음과 같다: 첫째, 더 많은 데이터는 In-corpus Performance를 향상시키며, Data Volume, Diversity, Model Size 전반에 걸쳐 Loss Scaling이 관찰되었다 [Figure 3]. S1-S3 혼합에서 Minecraft Validation Loss는 10.4% 감소하며 MCU Performance에서 상당한 Gains를 가져왔다. 둘째, Diversity는 Related Worlds로의 Transfer를 개선하지만 Distant Worlds에서는 Limited Gains를 제공했다. 1,600시간 트레이닝 시, S2-S5의 평균 OGA 점수는 S1 대비 약 2.8배 높았으며, 이는 Basic Navigation 및 Aiming 능력이 3D 게임 간에 쉽게 Transfer될 수 있음을 시사한다. 그러나 GameWorld와 같은 Distant Worlds에서는 Multi-game Training이 Decline을 완화했지만, 여전히 Base Model을 일관되게 능가하지 못했다. 셋째, Larger Models는 Data Efficiency를 향상시키고 더 큰 Early Gains를 달성했지만, Single-world Training 환경에서는 Distant Worlds로의 Generalization이 더 나빠지는 경향을 보였다. 50시간 데이터로 트레이닝된 Large Models는 1,600시간 데이터로 트레이닝된 Small Models보다 동등하거나 우수한 Performance를 보였다. 마지막으로, 저자들은 CPT Loss에 대한 Empirical Three-Factor Scaling Law를 제시했다. 이 Scaling Law는 Validation Loss를 Data Volume, Diversity ( ρ \rho ), Model Size (N)에 연결하며, Minecraft Loss에 대해 R²=0.982, In-corpus Loss에 대해 R²=0.995의 높은 Fit을 달성했다 [cite: 1, Table 10]. OOD Loss는 Scaling Law를 따르지 않았으며, CPT가 Corpus 내 학습은 개선하지만 Distant Worlds에서는 지속적인 개선을 가져오지 못함을 시사한다.

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 가상 세계 Embodied Agents의 Continued Pre-Training (CPT)에 대한 광범위한 통제 연구를 통해 Data Volume, Diversity, Model Size가 Performance 및 Generalization에 미치는 영향을 명확히 했다. Early Training 단계에서는 Universal Control 및 Action Patterns 학습을 통해 Cross-world Improvements를 보였지만, 이후의 Gains는 Training Distribution에 크게 의존했다. 특히, Diversity는 Related Environments로의 Transfer를 증진시켰으나, Distant Worlds로의 Generalization에는 지속적인 개선을 제공하지 못했다. 또한, Larger Models는 Data Efficiency가 높았지만, Single-game Training 시 Cross-world Generalization을 저해할 수 있음을 발견했다. [Table 2]에 따르면, GameScaling 모델은 Minecraft Specialist 및 Frontier Models와 경쟁하며, Real-time Setting에서는 최고 Frontier Model보다 최대 5배 뛰어난 Performance를 보여주었다.

이 연구는 해당 분야에 여러 가지 중요한 시사점을 제공한다. 첫째, Scaling Model Capacity 또는 Training Duration은 Training Corpus의 Strategic Curation과 결합되어야 한다는 점이다. 제한된 데이터 예산 내에서는 Training Mixture가 Target Evaluation Domain을 밀접하게 반영해야 한다. 둘째, Empirical Scaling Law가 In-corpus Loss를 정확하게 예측하지만, 강력한 In-domain Fit이 Distant Worlds에서의 Robust Play를 보장하지는 않는다는 점을 강조한다. 셋째, CPT가 Generalist Game Agents의 강력한 Foundation을 구축하지만, Behavior Cloning 기반의 Imitation Learning objective의 한계로 인해 Distant Worlds로의 Generalization Gap이 여전히 존재함을 지적한다. 향후 연구에서는 World Diversity 확장, Online Feedback 통합 또는 두 패러다임의 결합을 통해 Cross-world Transfer를 향상시키는 방안을 모색해야 할 것이다.

Part 2: Important Figure Information

I will look for "Figure 1", "Figure 3", "Figure 4" based on the text. Figure 1 is "One physical world versus diverse virtual worlds." Figure 3 is "Loss scaling across data volume, model size and data diversity." Figure 4 is "Benchmark performance across data budget, model size and data diversity."

Let's find the src for these figures.

• Figure 1: src="2610.28698v1/figures/one_physical_world_versus_diverse_virtual_worlds.png"
• Figure 3: src="2610.28698v1/figures/scaling_plot_cp.png"
• Figure 4: src="2610.28698v1/figures/benchmark_plot_cp.png"

I need to prepend https://arxiv.org/html/ to these relative paths.저자: Kuan Zhang, Yukun Chen, Zhihao Yang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Embodied Agents: 가상 또는 물리적 환경에서 지각(Perceive), 추론(Reason), 행동(Act)할 수 있도록 설계된 AI 시스템.
• Continued Pre-Training (CPT): 특정 도메인(여기서는 게임 플레이)에 특화된 데이터로 기존에 Pre-trained된 모델을 추가 학습시키는 과정.
• Scaling Law: 모델 성능(예: Loss)이 모델 크기(Model Size), 데이터 양(Data Volume), 컴퓨팅 자원(Compute) 등의 요소에 따라 어떻게 변화하는지 설명하는 경험적 관계식.
• Data Diversity: 트레이닝 데이터셋에 포함된 가상 세계(Virtual Worlds)의 시각적 스타일, 규칙, 물리, 액션 스페이스(Action Spaces), 목표 등의 이질성 정도.
• Three-Level Evaluation: In-corpus worlds, Unseen related worlds, Unseen distant worlds의 세 가지 범주로 나눈 가상 환경에서 모델의 성능 및 일반화 능력 평가.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 가상 세계(Virtual Worlds)에서 Embodied Agents의 Continued Pre-Training (CPT)이 실제 물리 환경(Physical Environments)에서와 유사하게 Data Scaling, Diversity Scaling, Model Scaling을 통해 Generalization 능력을 향상시킬 수 있는지에 대한 의문을 제기한다. 기존 로보틱스 연구는 일관된 물리 법칙을 공유하는 실제 환경에서 광범위한 경험이 Generalist Agents의 generality를 향상시킨다는 것을 보여주었지만, 시각적 스타일, 규칙, 물리, 액션 스페이스, 목표가 크게 다른 가상 세계에서는 이러한 일관성이 부족하다 [Figure 1, cite: 1]. 기존 CPT 연구들은 데이터 볼륨, 다양성, 모델을 함께 변경하여 각 요소의 개별적인 영향이 불분명했으며, 이질적인 경험이 다른 세계로의 Generalization에 도움이 되는지, 아니면 오히려 학습에 방해가 되는지 명확하지 않았다. 저자들은 이러한 Gap을 해결하기 위해 0.8B에서 27B에 이르는 4가지 모델 크기, 50시간에서 1,600시간에 이르는 6가지 데이터 예산, Minecraft-only 데이터부터 다양한 Multi-world Corpus에 이르는 5가지 데이터 혼합 설정을 포괄하는 120가지 훈련 Configuration에 대한 통제된 연구를 수행한다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Continued Pre-Training (CPT)의 Scaling 효과를 조사하기 위해 Qwen3.5 백본을 기반으로 하는 4가지 모델 크기( 0.8B, 2B, 9B, 27B ), 6가지 데이터 예산( 50h, 100h, 200h, 400h, 800h, 1600h ), 5가지 데이터 다양성 혼합( S1–S5 )을 포함하는 120개 Configuration을 실험했다. 트레이닝 데이터는 VPT, D2E, OpenP2P 등의 게임 플레이 Trajectory 85%와 General Vision-Language 데이터를 15%로 구성하며, S1부터 S5까지 Minecraft Trajectory의 비율을 100%에서 0%로 줄여 Diversity를 조절했다. 모델은 Interleaved History에 조건화된 Causal Next-Token Prediction Loss를 사용하여 CPT되었고, ViT를 포함한 모든 파라미터는 AdamW 옵티마이저로 업데이트되었다.

핵심 결과는 다음과 같다: 첫째, 더 많은 데이터는 In-corpus Performance를 향상시키며, Data Volume, Diversity, Model Size 전반에 걸쳐 Loss Scaling이 관찰되었다 [Figure 3]. S1-S3 혼합에서 Minecraft Validation Loss는 10.4% 감소하며 MCU Performance에서 상당한 Gains를 가져왔다. 둘째, Diversity는 Related Worlds로의 Transfer를 개선하지만 Distant Worlds에서는 Limited Gains를 제공했다. 1,600시간 트레이닝 시, S2-S5의 평균 OGA Score는 S1 대비 약 2.8배 높았으며, 이는 Basic Navigation 및 Aiming 능력이 3D 게임 간에 쉽게 Transfer될 수 있음을 시사한다. 그러나 GameWorld와 같은 Distant Worlds에서는 Multi-game Training이 Decline을 완화했지만, 여전히 Base Model을 일관되게 능가하지 못했다. 셋째, Larger Models는 Data Efficiency를 향상시키고 더 큰 Early Gains를 달성했지만, Single-game Training 환경에서는 Distant Worlds로의 Generalization이 더 나빠지는 경향을 보였다. 50시간 데이터로 트레이닝된 Large Models는 1,600시간 데이터로 트레이닝된 Small Models보다 동등하거나 우수한 Performance를 보였다. 마지막으로, 저자들은 CPT Loss에 대한 Empirical Three-Factor Scaling Law를 제시했다. 이 Scaling Law는 Validation Loss를 Data Volume, Diversity ( ρ \rho ), Model Size (N)에 연결하며, Minecraft Loss에 대해 R²=0.982, In-corpus Loss에 대해 R²=0.995의 높은 Fit을 달성했다 [Figure 3, cite: 1]. OOD Loss는 Scaling Law를 따르지 않았으며, CPT가 Corpus 내 학습은 개선하지만 Distant Worlds에서는 지속적인 개선을 가져오지 못함을 시사한다 [Figure 4, cite: 1].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 가상 세계 Embodied Agents의 Continued Pre-Training (CPT)에 대한 광범위한 통제 연구를 통해 Data Volume, Diversity, Model Size가 Performance 및 Generalization에 미치는 영향을 명확히 했다. Early Training 단계에서는 Universal Control 및 Action Patterns 학습을 통해 Cross-world Improvements를 보였지만, 이후의 Gains는 Training Distribution에 크게 의존했다. 특히, Diversity는 Related Environments로의 Transfer를 증진시켰으나, Distant Worlds로의 Generalization에는 지속적인 개선을 제공하지 못했다. 또한, Larger Models는 Data Efficiency가 높았지만, Single-game Training 시 Cross-world Generalization을 저해할 수 있음을 발견했다. GameScaling 모델은 Minecraft Specialist 및 Frontier Models와 경쟁하며, Real-time Setting에서는 최고 Frontier Model보다 최대 5배 뛰어난 Performance를 보여주었다.

이 연구는 해당 분야에 여러 가지 중요한 시사점을 제공한다. 첫째, Scaling Model Capacity 또는 Training Duration은 Training Corpus의 Strategic Curation과 결합되어야 한다는 점이다. 제한된 데이터 예산 내에서는 Training Mixture가 Target Evaluation Domain을 밀접하게 반영해야 한다. 둘째, Empirical Scaling Law가 In-corpus Loss를 정확하게 예측하지만, 강력한 In-domain Fit이 Distant Worlds에서의 Robust Play를 보장하지는 않는다는 점을 강조한다. 셋째, CPT가 Generalist Game Agents의 강력한 Foundation을 구축하지만, Behavior Cloning 기반의 Imitation Learning objective의 한계로 인해 Distant Worlds로의 Generalization Gap이 여전히 존재함을 지적한다. 향후 연구에서는 World Diversity 확장, Online Feedback 통합 또는 두 패러다임의 결합을 통해 Cross-world Transfer를 향상시키는 방안을 모색해야 할 것이다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.