[논문리뷰] Holi-World: Building Holistic World Intelligence from Human-Ego Experience

링크: 논문 PDF로 바로 열기

저자: Hao Li, Xiyuan Zheng, Yuanyuan Gao, et al.

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• HOLIWORLD-Foundry: egocentric 영상으로부터 장면 기하 구조, 객체 상태, 상호작용 기록을 자동으로 구축하는 통합 파이프라인입니다.
• 3DGS (3D Gaussian Splatting): 고품질의 실시간 렌더링을 위해 본 논문에서 장면 기하 구조를 재구성하는 데 사용하는 핵심 표현 방식입니다.
• HOLIWORLD-VL: 학습된 World Intelligence를 갖춘 모델로, egocentric 데이터를 통해 공간적 및 시간적 추론 능력을 극대화한 Vision-Language Model입니다.
• HOTA (Higher Order Tracking Accuracy): 다중 객체 추적 성능을 평가하는 지표로, 탐지 정확도와 식별 일관성을 종합적으로 측정합니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 인간의 egocentric 경험을 대규모 학습 자원으로 전환하여, 물리적 세계의 구조와 상호작용에 따른 변화를 이해하는 World Intelligence를 구축하는 것을 목표로 합니다. 기존의 연구들은 특정 활동이나 환경을 기록하는 데는 성공했으나, 정교한 학습 데이터를 얻기 위해 막대한 수동 주석 비용이 발생한다는 한계가 있었습니다. 특히, 다중 시점과 시간의 흐름에 따른 장면의 변화를 일관되게 연결하는 작업은 여전히 해결되지 않은 난제로 남아 있습니다. 이를 해결하기 위해 본 논문은 [Figure 2]와 같이 데이터 수집부터 평가까지의 통합 생태계를 제안합니다.

Figure 2 — HOLIWORLD의 전체 파이프라인 생태계를 보여주는 핵심 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 연구는 HOLIWORLD-Foundry를 통해 스테레오 RGB 및 IMU 데이터를 활용하여 장면 기하 구조를 재구성하고, 정적 객체와 동적 객체를 분리하여 추적하는 자동화 파이프라인을 구축했습니다. 정적 객체는 이미지 기반 탐지와 포인트 클라우드 기반 탐지를 결합하여 정밀도를 높였으며, VLM을 통한 검증을 통해 주석의 품질을 보장합니다. 동적 객체의 경우, 상호작용 기록을 통해 식별자를 유지하고 SAM(Segment Anything Model)을 사용하여 시간적으로 일관된 마스크를 생성합니다. 실험 결과, 정적 3D 인식 성능(AP50)에서 ScanNet 데이터셋 기준 기존 최고 모델 대비 크게 향상된 성능을 기록했으며, [Table 1]과 [Table 2]를 통해 정적 인식과 동적 추적 모두에서 SOTA 수준의 성능을 입증했습니다. 특히, 제안된 데이터로 파인튜닝된 HOLIWORLD-VL-4B는 기존 Qwen3.5-4B 대비 홀드아웃 벤치마크에서 Token F1 점수를 16.35%에서 78.02%로 비약적으로 상승시켰습니다.

Table 1 — 정적 3D 인식 성능에 대한 정량적 비교 결과를 보여주는 핵심 테이블

Table 2 — 동적 객체 추적 성능에 대한 정량적 비교 결과를 보여주는 핵심 테이블

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 인간의 일상적인 egocentric 경험을 자동화된 주석 기술과 결합하여 확장 가능한 학습 자원으로 변환하는 실용적인 청사진을 제시했습니다. 제안된 생태계는 기하학적 재구성, 의미론적 주석, 그리고 인과적 추론을 통합함으로써 기계가 물리적 세계의 변화를 더 깊이 이해하도록 돕습니다. 본 연구 결과는 미래의 범용 인공지능(AGI)을 위한 시각-언어 학습 데이터 구축의 효율성을 획기적으로 높일 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.