[논문리뷰] GenFirst: Generation Before Reconstruction for Stable End-to-End Latent Generative Modeling

링크: 논문 PDF로 바로 열기

저자: Guangting Zheng, Yiyuan Zhang, Tao Yang, Yunpeng Chen, Rui Zhu, Jiajun Deng, Yanyong Zhang

1. Key Terms & Definitions (핵심 용어 및 정의)

• Latent Collapse: VAE가 생성 모델로부터 전달받은 강한 prior-fitting 압력으로 인해 posterior variance가 0으로 수렴하고, 잠재 표현이 거의 동일한 상숫값으로 퇴화하는 현상입니다.
• Generation–Reconstruction Conflict: Reconstruction은 인스턴스별 상세 정보 보존을 요구하는 반면, Generation은 샘플링이 용이한 부드러운 분포를 선호하여 발생하는 학습 목적 함수 간의 상충 관계입니다.
• GenFirst: 생성 모델이 잠재 공간의 기하학적 구조를 먼저 형성하게 한 뒤, reconstruction을 점진적으로 강화하여 세부 정보를 복구하는 최적화 순서 전략입니다.
• SiT (Scalable Interpolant Transformers): 입출력 간의 velocity field를 학습하여 명시적인 likelihood 없이 생성 모델링을 수행하는 Flow-matching 기반 모델입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 VAE와 생성 모델을 직접적으로 통합하는 End-to-End 학습 과정에서 발생하는 Latent Collapse 문제와 최적화 불균형을 해결하고자 합니다. 기존의 2단계 학습 방식은 VAE가 reconstruction에 최적화되어 있어, 생성 모델링을 위한 잠재 공간으로서는 suboptimal하다는 한계를 가집니다. Naive한 End-to-End 학습 시도들은 생성 손실(generative loss)이 인코더에 강한 압력을 가하여 Latent Collapse를 유발함을 확인하였습니다. 저자들은 이 현상을 prior-fitting과 posterior-entropy 간의 불균형으로 진단하며, 이를 방지하고 두 목적 함수 간의 갈등을 해결할 새로운 전략이 필요함을 제시합니다 [Figure 1].

Figure 1 — 기존 방식과 제안하는 방식의 차이를 보여주는 핵심 아키텍처 다이어그램

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 엔트로피 보존 항을 명시적으로 도입하고 학습 순서를 재구성한 GenFirst 전략을 통해 안정적인 End-to-End 학습을 실현합니다. 저자들은 KL 발산의 entropy 항이 prior-fitting 압력에 대응하여 posterior degeneracy를 막는 핵심임을 식별하고, 이를 식에 포함하여 최적화를 수행합니다. 특히 GenFirst는 학습 초기에 생성 목적 함수를 우선적으로 배치하고 reconstruction 압력을 약하게 유지하여 generation-friendly한 잠재 공간을 먼저 구성한 뒤, 이후 단계적으로 reconstruction을 강화합니다 [Figure 2]. 주요 실험 결과, EiT(End-to-End Training with SiT) 모델은 ImageNet 256x256 환경에서 guided gFID 0.988이라는 성능을 달성하였으며, 이는 기존 diffusion 모델들보다 우수한 수치입니다. 또한 text-to-image 생성 분야에서도 GenEval 0.90을 기록하며 기존 baseline인 REPA-E 대비 뛰어난 학습 효율과 생성 품질을 입증하였습니다 [Table 4].

Figure 2 — GenFirst의 근간이 되는 reconstruction과 generation의 학습 동역학 차이를 보여주는 그래프

Table 4 — 제안 모델(EiT)과 기존 SOTA 모델인 REPA-E 간의 성능 비교를 나타내는 주요 테이블

4. Conclusion & Impact (결론 및 시사점)

본 연구는 End-to-End Latent Generative Modeling에서 발생하는 Latent Collapse가 prior-entropy 불균형에 기인함을 증명하고, 이를 해결하는 실용적인 방법론인 GenFirst를 제안하였습니다. 제안된 방법은 reconstruction과 generation 사이의 최적화 갈등을 성공적으로 완화하여, 더 높은 생성 품질과 모델 효율성을 동시에 확보하였습니다. 본 프레임워크는 이미지 생성뿐만 아니라 공유된 잠재 공간을 활용한 표현 학습(representation learning) 및 다중 모달리티(text-image) 결합 생성으로 확장 가능하여, 차세대 잠재 생성 모델 설계의 범용적인 가이드라인을 제공합니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.