[논문리뷰] WorldFoundry: Towards Unified Infrastructure for World Intelligence

링크: 논문 PDF로 바로 열기

저자: Juanxi Tian, Jiadong Hou, Baiang Li, et al. (OpenEnvision)

⚠️ 참고: arXiv HTML 버전은 변환된 범위가 Abstract, Introduction, Related Work 앞부분(Table 1 header)까지뿐이었습니다. 그 뒤의 시스템 상세, 실험, 결론 섹션은 확인할 수 없었습니다. 아래 요약은 확인한 범위만 바탕으로 작성했고, 확인하지 못한 내용은 "명시되지 않음"으로 표시했습니다.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Generative World Model: 학습된 history·control-conditioned dynamical system입니다. Persistent environmental state를 infer하고 유지하며, endogenous dynamics와 external intervention에 따라 그 state를 evolve시킵니다. Observational feedback도 반영해서 coherent future trajectory를 생성합니다.
• State Inference / Forward Simulation / Interactive Response: World model을 정의하는 세 가지 functional operation입니다.
  • State Inference: observation history에서 latent state를 추정합니다.
  • Forward Simulation: dynamics와 intervention에 따라 state가 어떻게 변할지 예측합니다.
  • Interactive Response: action-conditioned future를 visual, geometric 또는 task-specific output으로 생성합니다.
  • 이 구분은 architecture가 아니라 functional 기준입니다. 모든 system이 세 operation을 다 구현해야 한다는 뜻은 아닙니다.
• Closure (Closed-Loop): 두 조건이 함께 성립하는 상태입니다. 첫째, intervention이 state에 trace를 남겨 이후 prediction을 제약해야 합니다. 둘째, 새로 들어온 observation이 state를 다시 revise해야 합니다. 저자들은 visual plausibility가 아니라 closure를 기준으로 foundational generative model과 generative world model을 구분합니다.
• Durable Artifact Contract: Model output을 typed reference로 persist하는 규약입니다. Execution과 evaluation을 분리하는 역할을 합니다.
• Evidence-aware Scorecard: Declared support, operational readiness, validated performance를 구분해서 기록하는 scorecard입니다. 각 claim을 뒷받침하는 artifact까지 추적할 수 있게 해줍니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문이 다루는 핵심 문제는 world model 연구의 bottleneck이 algorithm만이 아니라 infrastructure에도 있다는 점입니다.

• 공통 정의와 기반의 부재: Video generator, neural scene representation, embodied policy는 world intelligence의 서로 보완적인 부분을 다룹니다. 그러나 representation, runtime, interface, evaluation protocol이 서로 호환되지 않습니다. 그래서 capability를 조합하기 어렵고, 결과를 reproduce하기 어려우며, 진전을 측정하기도 어렵습니다.
• Perception 중심 benchmark의 한계: 기존 benchmark는 주로 visual plausibility를 평가합니다. 하지만 시각적으로 그럴듯한 output에도 persistent state, physical dynamics, causally consistent response가 빠져 있을 수 있습니다. VBench-2.0, VideoPhy-2, WorldModelBench, WorldArena 같은 physics·world 중심 benchmark에서도 이 gap이 반복적으로 드러났습니다.
• 두 모델 범주의 구분 불명확: 공통의 operational basis가 없고 workflow가 파편화되어 있습니다. 이 때문에 generative foundation model과 generative world model의 경계가 흐려지고, dynamics·controllability·interactive utility를 reproducible하게 평가하기 어렵습니다.
• 기존 시도의 범위: OpenWorldLib 같은 기존 노력은 이 integration 문제의 보완적인 측면을 다룹니다. 저자들은 그럼에도 heterogeneous model을 native semantics를 유지한 채 composable·reproducible·comparable하게 만드는 shared infrastructure가 필요하다고 주장합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 두 가지를 결합해 제안합니다. 하나는 world model의 이론적 정의와 capability framework이고, 다른 하나는 이를 실행·평가하는 open-source infrastructure인 WorldFoundry입니다 [Figure 1].

Figure 1 — WorldFoundry 전체 구조

이론적 프레임워크

• World model을 state inference, forward simulation, interactive response라는 최소 abstraction으로 정의합니다.
• 이 정의에서 다섯 가지 capability 축을 도출합니다: perceptual grounding, persistent state modeling, controllable transformation, dynamics-aware prediction, closed-loop interaction.
• 이 functional 관점에 따라 modality별 특성을 정리합니다.
  • Static 3D method: persistent-state inference와 geometry decoding에 집중합니다.
  • Video model: implicit transition과 observation generation을 주로 학습합니다.
  • 4D method: time-varying structure를 명시적으로 표현합니다.
  • Embodied model: state estimation과 action prediction을 decision-making에 연결합니다.

WorldFoundry 시스템 구성 [Figure 1]

1. 하나의 run을 interactive surface와 programmatic surface 어디서든 접근할 수 있습니다.
2. Preflight를 거친 request는 unified runner에서 one-shot 또는 session-resident 방식으로 실행됩니다.
3. Output은 durable artifact contract에 따라 typed reference로 저장됩니다.
4. Benchmark score는 저장된 artifact를 기반으로 evidence scorecard에 보고됩니다.
5. Declarative manifest가 discovery, runtime, evaluation을 묶어서 claim과 evidence 사이의 traceability를 유지합니다.

이 과정에서 modality-specific adapter가 각 모델의 native input, execution semantics, output representation, evaluation protocol을 보존합니다.

정량적 결과 (확인 범위 내)

• 현재 catalog에는 270개 model entry, 74개 benchmark, 62개 registered metric entry가 등록되어 있습니다. Benchmark와 metric을 합쳐 100개 이상의 구현을 포함합니다.
• 모든 model runner는 문서화된 reference workflow를 End-to-End로 실행해 validation했습니다. 저자들은 이것이 테스트한 configuration에서의 operational readiness를 보여주는 auditable record라고 설명합니다.
• 각 entry의 integration readiness와 execution evidence는 따로 기록됩니다.
• 기존 world-model infrastructure, modality-specific toolkit, evaluation suite와 비교하는 Table 1이 있습니다. 비교 축은 Coverage(Video, 3D/4D, Interactive WM, Embodied), Execution(Model runner, Hosted API, Closed loop, Training), Evaluation(Protocols, Evidence), Basis(WM definition, Interfaces)입니다. 그러나 HTML에서 표 본문이 렌더링되지 않아 구체적인 비교 결과는 명시되지 않음입니다.
• 개별 model의 benchmark 성능 수치, Throughput, Latency 같은 정량 결과는 확인한 범위에서 명시되지 않음입니다.

4. Conclusion & Impact (결론 및 시사점)

이 논문의 결론은 world modeling의 기준을 visual plausibility에서 closure로 옮기고, 이를 evidence-grounded executable infrastructure와 결합해야 한다는 것입니다. 그래야 heterogeneous system 사이에서 persistent하고 controllable한 dynamics를 reproducible하게 비교할 수 있다고 저자들은 주장합니다. WorldFoundry는 흩어져 있던 generative demonstration을 누적 가능하고 auditable한 evidence로 바꾸는 것을 목표로 합니다. 이를 통해 연구 흐름을 perceptual synthesis에서 measurable world intelligence로 옮기려 합니다.

시사점

• 학계: World model에 대한 공통 operational definition과 vocabulary를 제공합니다. 이로써 Video, 3D, 4D, Embodied 연구를 하나의 비교 틀 안에 놓을 수 있습니다.
• 산업계: 270개 규모의 model을 통합하고 execution readiness와 evaluative claim을 분리합니다. 이는 world model 선택과 검증에 필요한 reproducibility 기반을 제공한다는 의미가 있습니다.
• 추가 확인 필요: 확인한 범위에서는 이것이 대규모 benchmark 결과를 담은 논문인지, 주로 infrastructure를 제시하는 논문인지 판단할 수 없습니다. 전체 결론부와 limitation도 확인하지 못했으므로 PDF 원문을 함께 보는 것을 권장합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.