[논문리뷰] LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs

링크: 논문 PDF로 바로 열기

메타데이터

저자: Gianluca Barmina, Peter Schneider-Kamp, Lukas Galke Poech

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Propensity-Aware Evaluation: 모델이 학습 데이터를 얼마나 '자발적'으로(일반적인 사용 환경에서) 재현하는지 측정하는 평가 방식입니다.
• Capability-Focused Evaluation: 모델을 특정 데이터셋으로 강제로 압박(주로 Prefix Attack 사용)하여 학습 데이터를 추출할 수 있는지 그 '잠재적 능력'을 측정하는 방식입니다.
• SimpleTrace: 모델의 생성 결과를 대규모 학습 코퍼스와 대조하여 토큰 단위의 verbatim(완전 일치), near-verbatim(부분 일치) 매칭을 수행하는 경량화된 오픈소스 추적 도구입니다.
• PropMe: propensity 기반의 프롬프트와 capability 기반의 프롬프트를 체계적으로 결합하여 모델의 데이터 누출 위험을 다각적으로 평가하는 프레임워크입니다.
• Propensity Metric: PropMe 프레임워크에서 제안된 공식으로, 특정 행동에 대한 capability와 propensity를 대비시켜 해당 모델이 실제로 해당 행동을 수행할 '성향'을 정량화한 지표입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 기존의 대규모 언어 모델(LLM) Memorization 평가가 지나치게 'Capability(능력)' 측정에만 치중되어 있다는 한계를 지적합니다. 기존 연구들은 대개 Prefix Attack과 같은 adversarial 환경에서 모델이 얼마나 학습 데이터를 출력할 수 있는지만을 측정했습니다 [Figure 1]. 그러나 이는 모델이 일반적인 사용 환경(non-adversarial)에서도 실제로 데이터를 누출하는지, 즉 'Propensity(성향)'를 대변하지 못한다는 심각한 결함이 있습니다. 본 연구는 이러한 capability와 propensity 사이의 간극을 규명하고, 실제 배포 시 발생할 수 있는 데이터 누출 위험을 보다 현실적으로 평가하고자 합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 모델의 memorization propensity를 다각도로 평가하기 위해 PropMe 프레임워크와 이를 지원하는 추적 도구 SimpleTrace를 제안합니다 [Figure 1]. 방법론적으로는 일반적인 프롬프트(Generic/Specific)와 adversarial 프롬프트(Prefix)를 모두 사용하여 생성 결과를 비교하고, 이를 바탕으로 memorization 성향을 계산하는 propensity metric을 도입했습니다 [Table 1]. 연구 결과, 모델은 adversarial 설정(Prefix Attack)에서는 높은 수준의 memorization을 보이지만, 일반적인 환경에서는 그 빈도가 현저히 낮아짐을 확인했습니다. 정량적으로는 Comma 모델의 경우 Generic 프롬프트 환경에서 NVR(Near-Verbatim Recall)이 0.0013 수준에 머물렀으나, Prefix Attack 시에는 0.0321로 약 25배가량 급증함을 보여주었습니다 [Table 1]. 또한, 지속적인 사전 학습(Continual Pre-training)을 거친 DFM Decoder 모델은 이전 모델보다 특정 데이터셋에 대한 memorization propensity가 감소하는 경향을 보여, 학습 과정의 변화가 데이터 누출에 미치는 영향을 입증했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 논문은 LLM이 학습 데이터를 재현할 수 있는 '능력'이 곧바로 실질적인 데이터 누출 '위험'으로 직결되지 않음을 입증했습니다. 연구진은 memorization audits 시 worst-case인 capability뿐만 아니라, 일반적인 상황에서의 leakage propensity를 반드시 병행하여 보고할 것을 강력히 권고합니다. 이러한 접근법은 향후 AI 모델의 안전성과 신뢰성을 높이기 위한 법적 규제(EU AI Act 등) 대응 및 모델 배포 시 리스크 관리 정책 수립에 중요한 기술적 토대를 제공할 것으로 기대됩니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.