[논문리뷰] Hy-Nomas: Towards Free-form Interactive World Generation

링크: 논문 PDF로 바로 열기

저자: Qiaoling Chen, Jiaxiang Cheng, Xueqing Deng, Tiankai Hang, Ji Hou, Jiaqi Li, Yifan Liu, Tao Lu, Junshu Tang, Yu Tang, Yao Teng, Yu Tian, Heng Wang, Weizhi Wang, Xiyao Wang, Xilun Wu, Mingyu Yang, Yangbin Yu, Rui Zhao, Longjun Cao, Linghao Chen, Haoyi Duan, Jiaming Han, Mingji Han, Enhua Jiang, Shunkai Li, Yanzhe Liang, Qinwei Ma, Cong Wang, Lei Wang, Bing Wu, Ke Xing, Ray Ying, Zhentao Yu, Key Zhang, Yuan Zhou, Zhengguang Zhou, Kai Zou

1. Key Terms & Definitions (핵심 용어 및 정의)

• Video World Model: 사용자의 명령에 반응하여 미래 상태의 시각적 관찰을 렌더링하는 대화형 가상 환경을 정의하는 모델.
• Diffusion Transformer (DiT): 대규모 데이터셋에서 고품질 이미지 및 비디오를 생성하기 위해 Latent Diffusion 모델의 확장 가능한 백본으로 사용되는 Transformer 아키텍처.
• Segment-wise Causal Attention: 비디오와 텍스트 토큰을 시간적으로 정렬된 시맨틱 세그먼트로 분할하여, 각 토큰이 현재 및 이전 세그먼트에만 접근할 수 있도록 하는 인과적 모델링 프레임워크.
• Action-aware Causal Attention: Segment-wise Causal Attention을 확장하여 액션별 텍스트 토큰에 대한 접근을 더 세밀하게 제한하는 마스킹 스키마로, 액션 순서 오류 및 교차 세그먼트 액션 반복을 줄인다.
• Prompt Enhancer (PE): 사용자의 요청과 멀티모달 상호작용 기록을 다음 세그먼트의 구조화된 조건으로 변환하는 Vision-Language Model (VLM).

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

대화형 World Generation은 모델이 관련 히스토리와 액션 결과를 보존하면서 연속적인 명령을 따라야 하는 복잡한 Task입니다. 기존 비디오 생성 모델은 일반적으로 고정된 프롬프트로 짧은 비디오 클립을 미리 지정하는 방식에 중점을 두지만, 대화형 World Model은 생성 중에 들어오는 입력 명령을 수용하고, 액션 의존적 다이내믹스를 모델링하며, 이전 액션의 결과를 유지해야 하는 한계가 있습니다. 특히, 기존 연구들은 navigation, semantic intervention, long-horizon generation에서 상당한 진전을 보였지만, 자유 형식(free-form) 텍스트 지시와 카메라 제어를 다중 턴 상호작용(multi-turn interaction) 전반에 걸쳐 통합하는 데 어려움을 겪고 있습니다. 이러한 문제들을 해결하기 위해, Hy-Nomas는 8B diffusion backbone을 통해 자유 형식 텍스트 지시와 연속적인 카메라 제어를 지원하여 사용자가 하나의 제너레이티브 백본을 통해 세상에서 일어나는 일과 탐색 방식을 모두 지시할 수 있도록 합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

Hy-Nomas는 8B Diffusion Transformer (DiT) backbone을 기반으로 자유 형식 텍스트 지시와 연속적인 카메라 제어를 다중 턴 상호작용에서 지원하는 비디오 World Model을 제안합니다. 핵심 방법론은 구조화된 비디오 캡션과 Action-aware Causal Attention을 정렬하는 것입니다. 이 메커니즘은 설명적 맥락(descriptive context)이 세그먼트 전반에 걸쳐 접근 가능하도록 유지하면서, 액션 지시는 의도된 시간 창(temporal windows)으로 제한하여 정보 누출을 방지합니다. 또한, Vision-Language Prompt Enhancer (PE)가 사용자 요청과 멀티모달 상호작용 히스토리를 다음 세그먼트를 위한 구조화된 조건으로 변환합니다 [Figure 9]. 모델은 DCAE-V 비디오 오토인코더와 Qwen2.5-VL-7B 텍스트 인코더를 사용하며, Flow-matching objective로 훈련됩니다. 훈련은 Segment-wise Causal Attention에서 Action-aware Causal Attention으로 점진적으로 전환하는 다단계 커리큘럼을 통해 진행되며, Segment Forcing 및 Diffusion Distillation을 포함합니다 [Table 2, Figure 7].

평가 결과, Hy-Nomas는 Hy-Nomas-Bench라는 새로운 벤치마크에서 기존 World Model (Genie 3, LingBot-World v2, HappyOyster) 대비 우수한 성능을 보였습니다. Bench-1 (Multi-turn free-form text interaction)에서 Hy-Nomas는 HappyOyster-Directing 대비 65.0%의 Win Rate와 LingBot-World v2 대비 75.0%의 Win Rate를 달성했습니다. Bench-2 (Camera control)에서는 다른 세 모델 대비 일관되게 높은 Win Rate를 기록했습니다 [Figure 15]. Bench-3 (Interleaved text and camera control)에서는 Prompt Following에서 75.0%, Physical Plausibility에서 73.3%의 Win Rate를 달성하며 효과적인 제어 전환 능력을 입증했습니다 [Figure 16]. Bench-4 (Spatial memory)에서는 LingBot-World v2 대비 58.3%의 Win Rate로 상당한 우위를 보였으나, Genie 3에 비해서는 공간적 일관성 유지에 개선의 여지가 있음을 확인했습니다 [Figure 17]. 이러한 결과들은 Hy-Nomas의 다양한 제어 신호 처리 능력과 효율성을 강조합니다.

4. Conclusion & Impact (결론 및 시사점)

Hy-Nomas는 자유 형식 텍스트 지시와 연속적인 카메라 제어를 모두 지원하는 8B Diffusion World Model을 성공적으로 제시합니다. 이 연구는 Action-aware Causal Attention과 Prompt Enhancer를 통해 멀티모달 상호작용의 복잡성을 효과적으로 관리하며, 기존 World Model 대비 우수한 성능을 입증했습니다. 특히, Hy-Nomas-Bench를 통해 multi-turn text interaction, camera navigation, interleaved text and camera control에서 강력한 성능을 보여, 사용자에게 보다 직관적이고 유연한 World Generation 경험을 제공할 수 있음을 시사합니다.

이 연구는 학계 및 산업계에 다음과 같은 중요한 영향을 미칩니다. 첫째, 자유 형식 상호작용과 연속적 카메라 제어의 통합은 게임 및 로봇 공학 분야에서 더욱 몰입감 있고 사실적인 시뮬레이션 환경을 구현할 수 있는 기반을 마련합니다. 둘째, Scalable Training Recipe와 Open-weight Model의 공개는 World Model 연구의 재현성과 접근성을 크게 향상시켜, 후속 연구를 촉진할 것입니다. 마지막으로, LoRA를 통한 경량 downstream adaptation 워크플로우는 산업계에서 모델을 특정 Task나 스타일에 맞게 쉽게 커스터마이징할 수 있는 실용적인 방법을 제시하며, World Model 기술의 광범위한 채택 가능성을 열어줍니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.