[논문리뷰] Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks

링크: 논문 PDF로 바로 열기

저자: Aashiq Muhamed, Mona T. Diab, Virginia Smith, Andrew Ilyas, Matthew Jagielski

1. Key Terms & Definitions

• Backdoor Poisoning Attacks: 모델의 학습 데이터에 소수의 poisoned examples를 주입하여, trigger가 나타날 때 모델이 특정 target behavior를 생성하도록 유도하는 공격입니다.
• Poison Set Selection: trigger, target behavior, 그리고 poisoned examples의 개수가 고정된 상황에서, 공격자가 어떤 poison set을 선택해야 하는지에 대한 문제입니다.
• Attack Success Rate (ASR): poisoned model이 held-out triggered inputs에 대해 target behavior를 생성하는 비율을 나타내는 지표입니다.
• Oracle Query: poison set의 ASR을 측정하기 위해 모델을 finetune하고 evaluate하는 전체 과정을 의미하며, 매우 비용이 많이 드는 작업입니다.
• SAILS (Set-level Audit-Informed Iterative Learned Selection): 본 논문에서 제안하는 방법론으로, 제한된 oracle budget 내에서 set-level scorer를 학습하고, 수백만 개의 candidate set을 rank한 뒤, top-ranked shortlist에 대해서만 expensive oracle queries를 수행하여 강력한 poison set을 찾아내는 프레임워크입니다.

2. Motivation & Problem Statement

본 연구는 Large Language Models (LLMs)의 backdoor poisoning attacks에 대한 기존 평가 방식의 근본적인 한계를 지적합니다. 현재 평가 프로토콜은 poisoned examples의 수를 고정하고 candidate pool에서 무작위로 샘플링하는 경향이 있는데, 저자들은 이러한 방식이 worst-case vulnerability를 심각하게 underestimate할 수 있음을 보입니다. 구체적으로, LLaMA-3-8B 모델의 세 가지 backdoor settings에서 모델, clean data, poison count가 동일할 때, 어떤 poison set이 선택되는지에 따라 attack success rate가 3%에서 80%까지 크게 달라질 수 있음을 밝힙니다. 이는 vulnerability가 trigger나 target behavior뿐만 아니라 poison set 자체의 선택에 크게 좌우됨을 의미합니다.

최적의 poison set을 찾는 것은 combinatorial search problem이며, 수십억 개의 가능한 poison set 중에서 최적의 조합을 exhaustive search하는 것은 엄청난 computational cost 때문에 현실적으로 불가능합니다. 기존의 pointwise scoring 접근 방식(예: influence proxy 사용)은 각 candidate example의 개별적인 영향을 추정하지만, poison examples 간의 non-additive interaction effects(redundancy 또는 complementarity)를 포착하지 못하여 suboptimal solution을 초래할 수 있습니다. 따라서 oracle query를 최소화하면서 set-level interaction을 고려하여 효과적인 poison set을 선택하는 새로운 방법론이 필요합니다.

3. Method & Key Results

본 논문은 oracle-budgeted set optimization 문제로 poison selection을 공식화하고, 이를 해결하기 위한 SAILS (Set-level Audit-Informed Iterative Learned Selection) 방법론을 제안합니다 [cite: 1, Figure 1]. SAILS는 제한된 oracle budget 내에서 높은 attack success를 가진 poison set을 찾는 것을 목표로 합니다. SAILS의 핵심은 poison set의 유틸리티 R(S)를 예측하는 set scorer R^를 학습하는 것입니다. 이 set scorer는 소수의 oracle-labeled poison sets를 사용하여 훈련되며, 개별 example의 효과를 합산하는 pointwise additive proxies와 달리 poison examples 간의 interaction을 포착할 수 있습니다.

SAILS는 propose-score-audit 프레임워크로 작동합니다 [cite: 1, Figure 1]. 먼저, 소수의 random poison set에 대한 oracle queries를 통해 초기 scorer를 학습합니다 (➀) [cite: 1, Figure 1]. 다음으로, 각 라운드에서 수백만 개의 candidate sets를 propose하고 (➁) [cite: 1, Figure 1], learned scorer를 사용하여 이들을 빠르게 score합니다 (➂) [cite: 1, Figure 1]. 그 후 top-ranked된 소수의 shortlist에 대해서만 expensive oracle queries를 통해 실제 utility (ASR 또는 triggered loss)를 audit합니다 (➃) [cite: 1, Figure 1]. 마지막으로, 새로 audited된 oracle labels을 scorer의 training data에 추가하여 scorer를 refine (재훈련)함으로써, search가 수행되는 영역에서 calibration을 보정합니다 (➄) [cite: 1, Figure 1]. shortlist regret에 대한 이론적 분석은 oracle이 scorer의 예측에 의존하지 않고 최종 선택을 직접 수행하기 때문에 scorer가 near-optimal set을 shortlist에 포함시키기만 하면 SAILS가 near-optimal poison set을 반환할 수 있음을 보여줍니다.

주요 실험 결과는 다음과 같습니다:

• LLaMA-3-8B 모델의 세 가지 backdoor settings (refusal, command, compliance)에서 SAILS는 held-out ASR을 평균 30 percentage points 향상시켜 가장 강력한 influence baselines를 능가했습니다.
• 특히 mini benchmarks에서 SAILS는 B=1500 oracle budget으로 refusal 72%, command 92%, compliance 67% ASR을 달성했으며, 이는 B=10의 influence method보다 평균 +30pp 높은 수치입니다 [cite: 1, Table 2]. 동일한 oracle budget (B=1500)에서 TRAK + representer와 비교했을 때, SAILS는 평균 +21pp 더 높은 성능을 보였습니다 [cite: 1, Table 4].
• SmolLM-360M 실험에서는 SAILS가 B≈370에서 68% ASR을 달성하며, 이는 oracle-guided reinforcement learning (RL) baseline의 ASR (74%)의 약 92%에 해당하지만, oracle cost는 1/18에 불과했습니다 [cite: 1, Figure 2].
• 또한, mini-scale 학습으로 훈련된 scorer가 full-scale finetuning으로 효과적으로 transfer되어, random mean ASR 대비 +41pp, 강력한 TRAK-greedy construction 대비 +20pp 향상된 성능을 보였습니다 [cite: 1, Table 3]. SAILS는 code-generation, agentic (WebShop), 그리고 API-only finetuning (Kimi-K2.5)과 같은 다양한 시나리오에서도 높은 성능을 유지함을 입증했습니다. 예를 들어 Kimi-K2.5 API-only finetuning에서 SAILS는 B=200에서 72% ASR을 달성했습니다.

4. Conclusion & Impact

본 연구는 SAILS를 통해 poison set selection이 pointwise influence proxies보다 learned set scorer를 활용하는 propose–score–audit 프레임워크에서 훨씬 더 강력한 성능을 발휘함을 입증합니다. 특히 set interactions이 강하고 oracle evaluations가 비용이 많이 들지만 수백 번 정도는 가능한 상황에서, 그리고 content features가 set-level outcomes를 예측하는 조건에서 learned set scoring이 pointwise attribution보다 우수합니다. 이 연구의 핵심 시사점은 random 또는 influence-guided poisoning만을 기준으로 방어 기법을 평가하는 것이 worst-case vulnerability를 underestimate한다는 점입니다. 따라서 finetuning pipeline에 대한 vulnerability claims는 공격자의 optimization effort와 oracle budget을 명확히 명시하고 이를 기반으로 평가해야만 의미를 가질 수 있습니다.

SAILS는 backdoor attacks에 대한 방어 평가 기준을 높이는 동시에, 공격에 필요한 compute cost를 정량화하여 방어자들이 현실적인 threat model을 구축하도록 돕습니다. 이러한 set-level optimization 프레임워크는 active learning, curriculum design, dataset selection 등 expensive oracle evaluations를 수반하는 다른 subset-selection problems에도 확장될 가능성이 있습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.