[논문리뷰] DiSCO: Defending text-to-image generation through distribution-guided contrastive prompt optimization

링크: 논문 PDF로 바로 열기

메타데이터

저자: Tong Zhang, Motasem Alfarra, Carlos Hinojosa, Christos Louizos, Bernard Ghanem

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Benign Adversarial Prompt: 텍스트 수준의 안전성 검사는 통과하지만, 모델의 데이터 분포상 잠재적으로 유해한 이미지를 생성하게 만드는 프롬프트.
• DiSCO (Distribution-Guided Contrastive Suffix Optimization): 모델 내부 수정 없이 프롬프트 수준에서 제안하는 훈련 불필요(training-free), 블랙박스 방어 프레임워크.
• Reference Pools: 타겟 모델이 생성한 샘플들 중 NudeNet 및 Q16 분류기를 통해 안전/유해 여부를 판별하여 구성한 참조 이미지 세트.
• ASR (Attack Success Rate): 평가된 프롬프트 중 유해한 이미지를 생성한 비율로, 모델의 방어 성능을 측정하는 지표.
• CLIP Score: 프롬프트와 생성된 이미지 간의 의미론적 유사도(Semantic alignment)를 측정하는 지표.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 연구는 텍스트-이미지 생성 모델에서 텍스트적으로 안전해 보이는 프롬프트가 실제로는 유해한 결과를 초래하는 'Benign Adversarial' 문제를 해결하고자 합니다. 기존 방어 기법들은 모델의 가중치를 수정(Fine-tuning)하거나 내부 표현을 간섭해야 하므로, 독점적(Proprietary)이거나 폐쇄적인 블랙박스 환경에서는 적용이 어렵다는 한계가 있습니다. 또한, 기존 LLM 기반 프롬프트 재작성 방식은 언어적 안전성만 고려할 뿐, 모델의 시각적 출력 분포와 프롬프트 간의 불일치를 해결하지 못합니다. 따라서 저자들은 모델의 내부 구조에 접근하지 않고도 출력 분포를 안전한 방향으로 유도하는 분포 기반 방어 체계가 필요하다고 정의합니다 [Figure 1].

Figure 1 — DiSCO의 분포 기반 방어 개념도

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 타겟 모델의 안전/유해 출력 분포를 활용하여 프롬프트의 Suffix를 최적화하는 DiSCO를 제안합니다. DiSCO는 모델로부터 얻은 안전/유해 이미지 Pool을 기반으로 Contrastive Scoring을 수행하며, Beam Search를 통해 생성된 Suffix 중 최적의 안전 경로를 선택합니다 [Figure 2]. 이 기법은 추가적인 모델 학습 없이 Plug-and-Play 방식으로 기존 모델에 즉시 적용 가능합니다. 실험 결과, DiSCO는 32개의 시스템-공격 설정에서 평균 ASR을 NudeNet 기준 23.6%에서 2.4%로, Q16 기준 8.3%에서 1.7%로 대폭 감소시키는 탁월한 성능을 보였습니다 [Table 1]. 또한, CLIP Score와 ImageReward 지표를 통해 안전성 강화가 이미지의 의미론적 충실도(Fidelity) 및 품질 저하를 동반하지 않으며, 오히려 더 나은 결과를 유도함을 입증했습니다 [Table 2]. 정성적 분석에서도 다양한 아키텍처 환경에서 유해성을 효과적으로 제거하는 모습을 확인할 수 있습니다 [Figure 3].

Figure 2 — DiSCO 전체 파이프라인

Figure 3 — DiSCO의 정성적 방어 결과

4. Conclusion & Impact (결론 및 시사점)

본 논문은 분포 유도형 대조 프롬프트 최적화 기법을 통해 텍스트-이미지 생성 모델의 블랙박스 방어 문제를 성공적으로 해결하였습니다. DiSCO는 기존의 고비용 모델 수정 방식이나 내재적 기법의 의존성을 탈피하여, 범용적이고 효과적인 안전 방어 모듈로 자리매김했습니다. 이 연구는 향후 생성형 AI의 안전한 배포를 위한 프롬프트 최적화 전략에 중요한 이정표를 제시하며, 특히 폐쇄형 모델의 보안성을 강화하는 산업적 측면에서 큰 시사점을 가집니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.