[논문리뷰] Harnessing Textual Refusal Directions for Multimodal Safety

링크: 논문 PDF로 바로 열기

저자: Moreno D'Incà, Nicu Sebe, Massimiliano Mancini, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Refusal Direction: Large Language Models (LLMs)의 internal activation space에 존재하는 vector로, 모델이 unsafe input에 대해 refusal하는 경향을 인코딩한다. 이는 acceptance를 유도하는 activation과 refusal을 유도하는 activation의 차이로 추출된다.
• Activation Steering: LLM의 hidden state를 특정 direction (예: refusal direction)으로 조작하여 모델의 동작을 fine-grained하게 제어하는 기법이다. 본 논문에서는 refusal을 강화하는 방향으로 hidden state를 steering한다.
• Modality Misalignment: Multimodal LLMs (MLLMs)의 activation space에서 multimodal input, 특히 visual input의 modality-specific components가 textual refusal direction과 spurious하게 align되어, safe input임에도 불구하고 over-refusal을 유발하는 현상이다.
• Modality-Agnostic Refusal Steering (MARS): 본 논문에서 제안하는 training-free method로, multimodal safety data 없이 textual refusal direction을 multimodal setting에 효과적으로 transfer하기 위해 activation re-centering, adaptive steering strength, 그리고 layer selection을 포함한다.
• ReLU-Gated Traversal: MARS의 steering mechanism 중 하나로, ReLU nonlinearity를 사용하여 refusal direction에 양의 방향으로 align된 activation에만 steering을 적용함으로써, safe input에 대한 불필요한 over-refusal을 방지한다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

Multimodal Large Language Models (MLLMs)의 safety는 주로 LLM backbone으로부터 계승되지만, unsafe multimodal training data의 수집 난이도가 높아 dedicate된 multimodal safety training이 부족한 상황이다. 이러한 한계로 인해 MLLM은 adversarial prompting, narrow fine-tuning, 그리고 circumvention strategies에 취약하며, 시각적 복잡성이 safety guarantee를 더욱 약화시킨다. 기존 연구에서는 LLM safety가 activation space 내의 refusal direction에 의해 제어됨을 밝혔으나, 이를 MLLM에 적용하기 위해서는 여전히 unsafe multimodal data가 필요하다는 제약이 있다. 본 연구는 이 제약을 완화하고 latent (textual) safety representations가 modality를 넘어 transfer될 수 있는지 탐구한다. 초기 실험 결과, textual refusal direction이 multimodal input에 일반화될 수 있지만, layer selection, steering strength, 그리고 cross-modal alignment에 의해 그 효과가 크게 좌우되며, 특히 modality misalignment는 safe multimodal input이 spuriously refusal 방향으로 steer되는 문제를 야기한다 [Figure 1].

Figure 1 — 초기 연구 결과

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 MLLM의 safety를 향상시키기 위해 Modality-Agnostic Refusal Steering (MARS)이라는 lightweight, training-free approach를 제안한다. MARS는 세 가지 핵심 구성 요소를 통해 modality misalignment 문제를 해결하고 textual refusal direction의 multimodal transfer 효과를 극대화한다. 첫째, activation re-centering을 통해 modality misalignment를 교정한다. 이는 의미론적 bias를 주입하지 않는 randomly colored images를 사용하여 modality-relevant features를 추출하고 activation을 re-center하여 safety-relevant structure를 복구함으로써, unsafe activations는 reject cluster로, safe activations는 accept cluster로 align되도록 한다 [Figure 2]. 둘째, adaptive steering strength를 적용한다. 이는 re-centered activation space의 local geometry를 활용하여, 현재 activation과 가장 가까운 safe 또는 unsafe centroid 사이의 거리를 trust region으로 정의하고, 이 trust region 내에서 steering strength를 동적으로 조정함으로써 over-refusal을 방지하고 utility degradation을 최소화한다. 셋째, layer selection을 통해 최적의 intervention layer를 선택한다. 이는 textual data로부터 추출된 refusal direction의 consistency, context separability, 그리고 safe text margin의 세 가지 score를 종합하여, multimodal safety data 없이도 최적의 layer를 결정한다.

Figure 2 — 활성화 공간 분석

실험 결과, MARS는 다섯 가지 SOTA MLLMs (Qwen3-VL 8B, Qwen3.5 9B, InternVL 3.5 8B, Gemma3 4B, Molmo2 8B)와 다양한 safety, utility, 그리고 video jailbreak benchmark에서 일관된 safety gain을 달성한다. 예를 들어, ViSU benchmark에서 MARS는 모든 모델에서 안전성을 향상시켰으며, Molmo2에서는 +67.9%의 refusal 증가를, Qwen3-VL에서는 +58.8%의 refusal 증가를 보였다. HADES jailbreaking benchmark에서는 모든 모델에서 일관되게 refusal을 보존했으며, Molmo2에서는 +74.8%까지 refusal을 향상시켜 SASA를 능가했다. 특히 VideoSafetyBench에서는 Qwen3-VL에서 +59.4%의 refusal rate 증가를, Qwen3.5에서는 +52% 증가를 달성하여 training-based method인 SASA보다 뛰어난 성능을 보였다 [Table 5]. 중요한 것은, 이러한 안전성 향상이 대부분의 모델에서 utility degradation 없이 이루어졌다는 점이다 [Table 3]. Ablation study는 layer selection, centering, 그리고 ReLU-gating의 각 구성 요소가 안전성 및 utility 보존에 critical함을 입증했다 [Table 4]. 예를 들어, centering을 제거하면 Molmo2에서 99.2%의 over-refusal이 발생하며 utility가 저하되었다. MARS는 training-free method 중 최고의 안전성-utility trade-off를 제공한다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 MLLM의 safety를 향상시키기 위해 textual refusal directions의 cross-modal transferability를 성공적으로 입증하고, modality misalignment와 같은 고유한 문제점을 해결하기 위한 Modality-Agnostic Refusal Steering (MARS)을 제안한다. MARS는 activation re-centering, adaptive steering strength, 그리고 layer selection이라는 training-free components를 통해 multimodal safety data 없이도 MLLM의 안전성을 크게 향상시켰다. 이 연구는 textual refusal directions가 multimodal input에서도 강력하고 underutilized된 safety signal을 인코딩하며, 이미지뿐만 아니라 비디오와 같은 다양한 modality에서 일관된 safety gain을 제공함을 보여준다 [Figure 3]. 이는 기존의 training-based alignment pipeline에 대한 lightweight하고 scalable한 대안을 제시하며, costly multimodal safety data 수집 및 human annotation burden을 크게 줄일 수 있음을 시사한다. 궁극적으로, 본 연구는 MLLM 내부에 이미 존재하는 풍부한 safety structure를 활용하는 추가 연구를 장려하고, 보다 robust하고 해석 가능한 safety mechanism 개발에 기여할 것으로 기대된다.

Figure 3 — 정성적 예시

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.