[논문리뷰] Boosting Latent Diffusion Models via Disentangled Representation Alignment

링크: 논문 PDF로 바로 열기

저자: John Page, Xuesong Niu, Kai Wu, Kun Gai

핵심 연구 목표

Latent Diffusion Models (LDMs)의 핵심 구성 요소인 Variational Autoencoders (VAEs)가 기존처럼 픽셀 단위 재구성에만 초점을 맞추거나, LDM과 동일한 상위 수준의 의미론적 정렬 대상을 사용하는 한계를 지적합니다. 논문은 LDM의 효율적인 학습과 고품질 이미지 생성을 위해, VAE가 의미론적 disentanglement 능력 을 강화하여 세분화된 속성 수준 정보를 구조적으로 인코딩할 수 있도록 개선하는 것을 목표로 합니다.

핵심 방법론

논문은 VAE의 잠재 공간을 사전 훈련된 Vision Foundation Models (VFMs) 의 의미론적 계층 구조에 정렬하여 의미론적 disentanglement 능력을 명시적으로 최적화하는 Semantic-disentangled VAE (Send-VAE) 를 제안합니다. 특히, Send-VAE 는 VAE의 잠재 표현을 VFM의 표현과 정렬시키기 위해 패치 임베딩 계층 , ViT (Vision Transformer) 계층 스택, 최종 MLP 프로젝터 로 구성된 정교한 비선형 매퍼 네트워크 를 사용합니다. 또한, 매핑 과정에서 잠재 표현에 가우시안 노이즈를 주입하여 데이터 증강 효과를 얻습니다.

주요 결과

Send-VAE 는 ImageNet 256x256 해상도 에서 SiT (flow-based transformers) 훈련을 크게 가속화하며, classifier-free guidance 적용 시 1.21 FID , 미적용 시 1.75 FID 라는 새로운 최고 성능을 달성했습니다. 이는 이전 방법론인 REPA 대비 향상된 결과입니다. 또한, CelebA, DeepFashion, AwA와 같은 속성 예측 벤치마크에서 선형 프로빙 결과, Send-VAE 는 다른 VAE 모델들보다 높은 F1 점수(예: CelebA 0.6647 )를 기록하며 의미론적 disentanglement 능력이 우수함을 입증했습니다.

AI 실무자를 위한 시사점

본 연구는 LDM 성능 향상을 위해 VAE가 단순한 재구성 품질을 넘어 높은 수준의 의미론적 disentanglement 를 갖추는 것이 중요함을 강조합니다. AI 실무자들은 DINOv2 와 같은 Vision Foundation Models (VFMs) 을 활용하여 VAE의 잠재 공간을 의미론적으로 풍부하게 만들 수 있으며, 이를 통해 LDM 훈련 효율성 과 생성 이미지 품질 을 동시에 개선할 수 있습니다. 특히, 비선형 매퍼 네트워크 와 노이즈 주입 기법 은 VAE 학습 시 representation gap을 효과적으로 해소하는 실용적인 방법론을 제공합니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.