[논문리뷰] RepSelect: Robust LLM Unlearning via Representation Selectivity

2026년 6월 16일수정: 2026년 6월 16일

링크: 논문 PDF로 바로 열기

저자: Filip Sondej, Yushi Yang, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

RepSelect (Representation Selectivity): Forget set의 weight gradient에서 높은 분산(variance)을 가지는 subspace를 사전에 억제(collapse)하여, 모델의 일반적인 성능을 유지하면서도 타겟 지식만 정교하게 삭제하는 기법입니다.
Forget Set / Retain Set: Unlearning 과정에서 삭제 대상이 되는 데이터셋과 모델의 일반적인 능력을 보존하기 위해 사용되는 데이터셋을 각각 의미합니다.
Fine-tuning Attack / Few-shot Prompting: Unlearning된 모델이 삭제된 정보를 다시 복구할 수 있는지 테스트하는 공격 기법으로, 전자는 가중치 업데이트를 통해, 후자는 문맥 주입을 통해 이루어집니다.
SVD (Singular Value Decomposition): Weight gradient의 주요 방향성을 추출하여, 어떤 성분이 forget-specific한지 혹은 일반적인 개념과 공유되는지 식별하는 데 사용되는 수학적 기법입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM에서 특정 정보를 삭제하는 unlearning 과정이 왜 쉽게 역전(reversal)되는지 그 근본 원인을 분석하고 해결책을 제시합니다. 기존 unlearning 기법들은 삭제 대상 데이터(forget set)의 핵심 표현을 제거하려고 시도하지만, 이 과정에서 일반적인 도메인 지식(retain set)과 공유되는 영역까지 함께 훼손하여 모델 성능을 떨어뜨립니다. 특히 이러한 고분산(high-variance) 영역은 fine-tuning 공격자가 모델을 재학습할 때 가장 먼저 복구하는 영역이기도 합니다. 결과적으로 기존 방법론들은 '삭제(forgetting)', '성능 보존(no disruption)', '공격에 대한 견고성(robustness)'이라는 세 가지 목표를 동시에 달성하지 못하는 한계가 있습니다 [Figure 2].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 이러한 한계를 극복하기 위해 RepSelect를 제안하며, unlearning 단계마다 weight gradient에 SVD를 적용해 고분산 subspace를 강제로 억제합니다. RepSelect는 forget set에서 발생한 gradient의 상위 principal components(PCs)를 Mahalanobis 방향으로 정렬하여 억제함으로써, 일반적인 능력과 얽혀 있는 성분은 보존하고 오직 삭제 대상 지식과 관련된 하위 영역에만 가중치 업데이트를 제한합니다 [Figure 5]. 주요 실험 결과, RepSelect는 Llama 3.1 8B, Qwen 3.5 9B, Gemma 4 E4B, DeepSeek V2 Lite 등 4개 모델군에서 우수한 성능을 입증했습니다. 정량적으로는, WMDP-Bio 벤치마크에서 기존 최고 성능 베이스라인 대비 4–50배 더 큰 post-relearning answer accuracy 감소 폭을 보였으며, few-shot prompting 공격에 대해서도 거의 완벽한 견고성(robustness)을 유지했습니다 [Figure 6]. 또한, 별도의 retain set 없이 오직 forget set만으로도 효과적인 unlearning이 가능하며, 기존 방식 대비 20–100배 빠른 연산 속도를 확보했습니다 [Figure 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 LLM unlearning의 핵심 문제가 representation의 중첩성에 있음을 규명하고, 선택적 표현 제거(Representation Selectivity)를 통한 새로운 접근법을 제시했습니다. RepSelect는 모델의 일반적인 성능을 훼손하지 않으면서도, 공격자가 데이터를 통해 정보를 복구할 수 없도록 원천적으로 차단하는 실질적인 deep forgetting을 구현합니다. 이 연구는 AI 안전성 및 규제 준수 측면에서 모델의 유해 지식 제거가 더 이상 단순한 기법이 아닌, 견고하고 검증 가능한 수준으로 수행될 수 있음을 보여주며 향후 LLM 배포 및 보안 정책 수립에 중요한 시사점을 제공합니다.