[논문리뷰] High-Fidelity Two-Step Image Generation via Teacher-Aligned End-to-End Distillation

링크: 논문 PDF로 바로 열기

본 논문은 High-Fidelity Two-Step Image Generation을 위한 Teacher-Aligned End-to-End Distillation 프레임워크인 TaD를 제안하여, 추론 효율성과 이미지 품질을 동시에 최적화합니다.

Part 1: 요약 본문

메타데이터

저자: Dongyang Liu, Ruoyi Du, David Liu, Dengyang Jiang, Liangchen Li, Qilong Wu, Zhen Li, Steven C. H. Hoi, Hongsheng Li, Peng Gao

---

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• TaD (Teacher-Aligned Distillation): 복잡한 다단계 diffusion 모델의 지식을 단일 단계 혹은 적은 단계의 학생 모델로 이전하여 추론 성능을 극대화하는 증류 프레임워크입니다.
• Two-Step Image Generation: 이미지 생성 과정을 두 단계로 나누어, 초기 잠재 표현 생성 후 정밀화하는 방식으로 효율성과 품질을 확보하는 구조입니다.
• Alignment Loss: 학생 모델이 생성한 중간 결과물과 교사 모델(Teacher Model)의 정답 결과물 간의 차이를 최소화하여 지식 전이를 수행하는 핵심 손실 함수입니다.
• End-to-End Distillation: 파이프라인 전체를 단일 학습 루프로 최적화하여 단계 간의 오류 누적을 방지하고 통합된 품질 향상을 달성하는 방식입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 연구는 고품질 이미지 생성 모델의 Inference Latency 문제와 다단계 생성 과정에서의 정보 손실을 해결하는 것을 목표로 합니다. 기존의 Diffusion-based 모델들은 우수한 FID와 Visual Fidelity를 제공하지만, 많은 수의 Sampling Steps가 필요하여 실시간 서비스 적용에 큰 제약이 있습니다. 또한, 기존의 Distillation 기법들은 복잡한 다단계 구조에서 발생하는 오류를 충분히 제어하지 못하거나, 모델의 복잡성을 크게 줄이지 못하는 한계가 존재합니다. 이를 위해 본 논문은 Teacher-Aligned 방식을 통해 교사 모델의 표현력을 효율적으로 학생 모델로 전이하는 새로운 접근 방식을 제안합니다 [Figure 1].

Figure 1 — TaD 전체 프레임워크 구조

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 Teacher-Aligned End-to-End Distillation을 통해 Two-Step 생성 프로세스를 최적화하는 통합 프레임워크를 도입합니다. 제안하는 방법론은 교사 모델의 중간 표현(Intermediate Latent)을 학생 모델이 Single-Step 또는 Few-Step 내에 복제하도록 유도하는 Alignment Mechanism을 포함합니다. 이 방식은 이전의 단계별 증류 방식보다 정보 전달 효율이 높으며, 파이프라인 전체의 Global Optimization을 수행합니다. 실험 결과, TaD는 기존의 SOTA 모델들과 비교하여 유사한 FID score를 유지하면서도 Inference Latency를 약 3배 이상 단축하는 성과를 보였습니다 [Table 1]. 또한, 정성적 평가 결과에서도 Structural Detail과 Color Consistency 측면에서 기존 방식보다 우수한 복원력을 입증하였습니다 [Figure 2].

Figure 2 — 정성적 결과 비교

Table 1 — 성능 및 효율성 지표 비교

## 4. Conclusion & Impact (결론 및 시사점) 본 논문은 TaD 프레임워크를 통해 이미지 생성 분야의 효율성과 품질 간의 트레이드오프를 획기적으로 개선하였습니다. 이 연구는 대규모 Diffusion 모델을 실시간 애플리케이션 환경에서 운용하고자 하는 산업계에 실질적인 해결책을 제시합니다. End-to-End 관점에서의 증류 전략은 향후 다양한 Generative AI 모델 압축 연구에 있어 중요한 학술적 토대가 될 것으로 기대됩니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.