[논문리뷰] Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering

링크: 논문 PDF로 바로 열기

메타데이터

저자: Sarim Hashmi, Mukul Ranjan, Abdelrahman Elsayed, Muhammad Umer Sheikh, Fahad Shamshad, Nils Lukas

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• dLLMs (Diffusion Language Models): 텍스트를 생성할 때 고정된 위치부터 순차적으로 예측하는 것이 아니라, 마스킹된 시퀀스를 여러 번의 denoising 과정을 거쳐 반복적으로 재예측하는 생성 모델입니다.
• Closed-Loop Activation Steering: Denoising 과정 중에 모델 내부의 residual stream에 간섭을 가하고, 그 결과를 실시간으로 모니터링하여 개입 강도를 동적으로 조절하는 공격 기법입니다.
• PI (Proportional-Integral) Controller: 대상 답변의 확률을 목표치에 수렴시키기 위해 현재의 오차(Proportional)와 누적 오차(Integral)를 기반으로 steering strength($\alpha_t$)를 실시간으로 조정하는 제어 로직입니다.
• Targeted Bias Injection: 모델의 가중치나 프롬프트를 수정하지 않고, 추론 시점(inference-time)에 특정 인구통계학적 답변이 선택되도록 편향을 주입하는 공격입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 dLLMs의 구조적 특성인 반복적인 denoising 과정이 외부 공격자에게 새로운 통제 채널을 제공한다는 점을 밝힙니다. 기존의 autoregressive LLMs와 달리 dLLMs는 토큰이 확정(commitment)되기 전까지 여러 denoising step을 거치며 답변 분포가 지속적으로 노출되므로, 공격자가 중간 상태를 관찰하고 개입 강도를 최적화할 수 있습니다. 기존의 open-loop 방식의 activation steering은 개별 사례에 최적화된 강도를 미리 설정하기 어렵고, 고정된 강도는 일부 사례에서 성능을 저하시키거나 충분한 편향을 유도하지 못하는 한계가 있습니다 [Figure 2].

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 본 논문은 PI controller를 활용하여 dLLM의 denoising 궤적을 실시간 제어하는 closed-loop 공격 프레임워크를 제안합니다. 제안된 방법은 먼저 특정 인구통계학적 답변을 구분하는 unit direction($\widehat{v}$)을 오프라인에서 학습한 뒤, 추론 시 각 denoising step마다 답변 확률($p_t$)을 피드백으로 받아 steering strength($\alpha_t$)를 능동적으로 업데이트합니다 [Figure 3].

주요 실험 결과, LLaDA-8B-Instruct 모델을 대상으로 BBQ 데이터셋의 블랙 타겟 질문에 대해 공격을 수행한 결과, 제안 방법은 target-comparator gap을 기존 1.8%에서 16.7%로 크게 향상시켰습니다. 이는 가장 강력한 고정 강도 baseline(gap 4.6%)보다 3배 이상 높은 수치입니다 [Table 1]. 또한 SocialStigmaQA 데이터셋에서는 부정적인 고정관념 답변 선택 비율을 17.6%에서 58.1%로 높이는 데 성공했습니다. 이러한 성과는 단일 steering strength를 사용하는 open-loop 방식이 개별 예제마다 다른 최적 강도를 맞추지 못하는 것과 달리, feedback을 통해 각 사례별로 최적화된 제어를 수행했기 때문임을 확인했습니다 [Figure 1].

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 dLLMs의 denoising 궤적이 추론 시점의 공격에 취약한 새로운 제어 경로임을 규명하였습니다. 제안된 closed-loop 기법은 모델 가중치나 프롬프트 변경 없이도 강력한 편향 주입이 가능함을 증명하며, 기존의 정적 검증 방식만으로는 보안을 보장할 수 없음을 시사합니다. 이는 향후 LLM 모델 보안 감사(audit) 시 체크포인트뿐만 아니라 전체 serving stack에 대한 포괄적인 평가가 필수적임을 강조하며, 보안 방어 측면에서도 피드백 제어 기반의 디바이싱(debiasing) 가능성을 열어주었습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.