[논문리뷰] InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

링크: 논문 PDF로 바로 열기

메타데이터

저자: Xuanlang Dai, Jiazi Bu, Yujie Zhou, Yuhong Liu, Beichen Zhang, Penghui Yang, Ziyu Liu, Yuhang Zang, et al.

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Latent AutoEncoder (LAE): 각 모델의 고유한 latent space와 공유 latent space 사이를 연결하는 경량화된 인코더-디코더 모듈입니다.
• Denoising Dynamics Alignment: 서로 다른 모델 간의 latent state뿐만 아니라, denoising step에서의 로컬 속도(velocity)를 동기화하여 트래젝토리 간 호환성을 확보하는 기술입니다.
• Adaptive Model Handoff: 모델 간의 최적 전환 시점을 결정하기 위해 denoising 과정에서 clean latent 예측의 안정성을 실시간으로 추적하는 전략입니다.
• Flow Matching (FM): 노이즈를 데이터 분포로 전송하는 vector field를 학습하는 방식으로, 본 논문에서 생성 모델의 핵심 프레임워크로 활용됩니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대의 다양한 이미지 생성 모델들이 고유한 아키텍처와 latent 표현을 가지며 독립적으로 운용되는 폐쇄적 구조의 한계를 해결하고자 합니다. 기존 연구들은 개별적인 모델 간의 latent mapping에 집중하거나 동일한 latent space 내에서의 트래젝토리 결합에 국한되어, 서로 다른 아키텍처 간의 동적인 denoising 과정까지 고려한 범용적인 통합 인터페이스는 부재한 상황입니다. 저자들은 서로 다른 모델의 intermediate state들이 놀라울 정도로 유사한 공간적 구조를 공유한다는 점을 관찰하였으며, 이를 활용해 모델 간의 자유로운 상태 전이가 가능한 공유 인터페이스 구축의 필요성을 제기합니다 [Figure 1].

Figure 1 — InstantFusion의 전체 아키텍처

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 InstantFusion이라는 공유 latent 인터페이스를 제안하여, 고정된(frozen) 생성 모델들 사이의 denoising 트래젝토리를 원활하게 연결합니다 [Figure 1]. 각 모델에 장착된 LAE는 intermediate state를 공통 latent 공간으로 투영하며, 학습 과정에서 latent alignment loss(L_align)와 dynamics alignment loss(L_dyn)를 통해 공간적 표현과 시간적 생성 속도를 동시에 동기화합니다 [Figure 3], [Figure 4]. 핵심 실험 결과로, InstantFusion은 SD3와 FLUX.1 등의 모델에서 GenEval-v2 성능을 각각 12.92, 13.68점 향상시키는 성과를 보였습니다 [Table 2]. 또한, 생성 가속화 측면에서 Z-Image-Turbo와 결합하여 기존 대비 1.8배에서 3.3배의 속도 향상을 달성하면서도 정성적 품질을 효과적으로 유지하였습니다 [Table 3].

Figure 3 — LAE 아키텍처 상세 구조

Figure 4 — Denoising Dynamics Alignment 효과

4. Conclusion & Impact (결론 및 시사점)

InstantFusion은 이종 아키텍처의 이미지 생성 모델들을 연결하는 범용적인 공유 인터페이스로서, 모델별 특화된 기능을 통합하거나 고성능 모델의 지식을 하위 모델로 전이하는 새로운 패러다임을 제시합니다. 본 연구는 개별 모델의 isolation 문제를 극복하고, 모델 간의 창의적 조합을 통해 생성 품질과 효율성을 동시에 확보할 수 있는 가능성을 입증하였습니다. 향후 이 기술은 파편화된 생성 모델 생태계에서 기능적 상호운용성을 극대화하는 핵심 아키텍처로 자리매김할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.