[논문리뷰] Score-Control for Hallucination Reduction in Diffusion Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Mahesh Bhosale, Naresh Kumar Devulapally, Abdul Wasi, Chau Pham, Vishnu Suresh Lokhande, David Doermann

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Hallucinations: 모델이 학습 데이터 분포의 실제 Support 밖에서 생성한, 실재하지 않거나 왜곡된 implausible samples를 의미합니다.
• Score Smoothness: 학습된 Score Function이 실제 데이터의 sharp한 Score Field를 지나치게 완만하게 근사하는 현상으로, 이는 오프 매니폴드(off-manifold) 영역으로의 확률 밀도 누출을 야기합니다.
• VSM (Variance-Guided Score Modulation): Score Function의 Jacobian을 조절하여 불필요한 Smoothness를 억제하고 Ground Truth Score에 더 가깝게 근사함으로써 Hallucination을 줄이는 학습 전략입니다.
• Lipschitz Constant (L): Score Field의 변화율을 제어하는 상수로, 논문에서는 이 값을 증가시켜 Score의 Local Curvature를 높이는 것을 목표로 합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 현대 Diffusion Model에서 발생하는 Hallucination 문제가 학습된 Score Function의 지나친 Smoothness에서 기인한다는 점을 이론적으로 규명합니다. 기존의 연구들은 Hallucination을 현상학적으로 보고하거나 모델의 아키텍처 변경에 의존했지만, Score Function의 곡률(curvature)을 직접 제어하는 근본적인 학습 기반 솔루션은 부족했습니다 [Figure 1]. 저자들은 Hallucination의 확률 질량이 Score Function의 Lipschitz Constant와 밀접한 관계가 있음을 증명하며, 이를 제어할 수 있는 새로운 수학적 프레임워크가 필요함을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 VSM을 제안하여 학습 단계에서 Jacobian 기반의 Smoothness Penalty를 부과함으로써 Score Function의 Local Curvature를 강화합니다. 이는 I-DDPM의 Variance Learning 파라미터화를 활용하여 추론 가능한 대각 행렬 기반의 Curvature Proxy를 정의함으로써 연산 효율성을 확보했습니다. 또한, Hallucination이 주로 발생하는 후반 Denoising 단계에 가중치를 두는 시간 종속적 스케줄링 **$\eta(t)$**를 도입하였습니다 [Figure 1, Figure 2]. 실험 결과, VSM은 Hands-11K, MNIST, Cards, ChessImages, ImageNet-1K 등 다양한 벤치마크 데이터셋에서 Hallucination Rate를 기준 모델 대비 최대 약 25%~26% 감소시켰습니다 [Table 3]. 또한, 동일한 연산 조건 하에서 C-FID 및 FLD 등 시각적 품질 지표를 유지하면서도 Hallucination 발생률을 정량적으로 유의미하게 낮추는 성능을 입증했습니다 [Table 2, Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 연구는 Diffusion Model의 Hallucination을 Score-Field Smoothness와의 수학적 관계로 재정의하고, 이를 제어할 수 있는 VSM을 통해 보다 신뢰할 수 있는 생성 AI 모델 구축의 토대를 마련했습니다. 특히 대규모 의미 공간(semantic space)을 가진 ChessImages와 같은 신규 벤치마크를 제시하여 학계의 정량적 평가 수준을 한 단계 높였습니다. 이러한 연구는 향후 의료, 보안 등 고도의 신뢰성이 요구되는 도메인에서 Diffusion Model의 안정적인 배포와 적용에 기여할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.