[논문리뷰] Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling

링크: 논문 PDF로 바로 열기

저자: Euisoo Jung, Byunghyun Kim, Hyunjin Kim, Seonghye Cho, Jae-Gil Lee*

핵심 연구 목표

확산 모델(Diffusion Models)의 높은 계산 비용으로 인한 추론 지연 문제를 해결하고, 기존 분산 병렬화 방식에서 발생하는 생성 아티팩트 및 비례적 가속 한계를 극복하는 것을 목표로 합니다. 특히, 조건부 확산 모델에서 이미지 품질 저하 없이 선형적 가속을 뛰어넘는 추론 속도 향상 을 달성하고자 합니다.

핵심 방법론

본 연구는 조건부 기반 데이터 분할(Condition-Based Partitioning) 과 적응형 병렬 처리 전환(Adaptive Parallelism Switching) 을 결합한 하이브리드 병렬 처리 프레임워크를 제안합니다. 조건부 및 비조건부 디노이징 경로를 별도의 데이터 병렬 경로로 활용하여 이미지 전체를 처리하고, 디노이징 불일치(Denoising Discrepancy) 지표를 기반으로 직렬 및 병렬 실행 간의 전환 지점을 동적으로 결정하여 오류 전파를 최소화합니다.

주요 결과

제안된 방법론은 두 대의 NVIDIA RTX 3090 GPU 를 사용하여 SDXL 에서 2.31배 , SD3 에서 2.07배의 지연 시간 감소 를 달성하며 이미지 품질을 유지했습니다. 기존 DistriFusion (1.22배) 및 AsyncDiff (1.31배) 대비 우수한 가속 성능을 보였고, 특히 AsyncDiff 보다 통신 비용을 19.6배 절감했습니다. 고해상도 합성에서도 2560x2560 해상도에서 1.62배 의 속도 향상을 기록하며 강력한 확장성을 입증했습니다.

AI 실무자를 위한 시사점

대규모 확산 모델의 실시간 배포에 큰 기여를 할 수 있는 실용적인 해결책을 제시합니다. 추가적인 모델 학습 없이 멀티-GPU 환경 에서 높은 가속과 품질 유지 를 동시에 달성하여, AI 애플리케이션의 응답성을 향상시키는 데 직접적으로 활용될 수 있습니다. U-Net 및 DiT 아키텍처 모두에서 범용적인 성능 을 보여 다양한 모델에 적용 가능성이 높습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.