[논문리뷰] Multimodal Model Diffing for Feature Discovery and Control

링크: 논문 PDF로 바로 열기

The content is quite extensive. I'll go through it section by section to extract the required information and populate the summary.

**Part 1: Summary Body**

**Metadata:**
*   **Authors:** Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark
*   **Keywords:** I need to identify 5-8 academic keywords from the paper. Keywords like `Multimodal Large Language Models (MLLMs)`, `Sparse Autoencoders (SAEs)`, `Model Diffing`, `Mechanistic Interpretability`, `Feature Discovery`, `Feature Control`, `Activation Steering`, `Multimodal Safety`, `Spatial Reasoning`, `OCR` seem appropriate.

**## 1. Key Terms & Definitions**
I'll look for 3-5 core technical terms and their definitions as used in the paper.
*   **MLLMs (Multimodal Large Language Models)**: Language models extended to process visual inputs, exhibiting strong performance in visual question answering, captioning, OCR, and spatial reasoning.
*   **Sparse Autoencoders (SAEs)**: Hidden states를 sparse linear combinations of learned directions으로 분해하여 superposition 문제를 완화하고, model internals의 feature-level vocabulary를 제공하는 딥러닝 아키텍처.
*   **Model Diffing**: 훈련 단계나 모델 간에 내부 표현이 어떻게 변화하는지 식별하는 기법. MMDiff에서는 base-LM SAE와 multimodal-adapted SAE를 비교하여 multimodal training에 의해 변형된 feature를 분리하는 데 사용된다.
*   **MMDiff-CAA (Multimodal Model Diffing Contrastive Activation Addition)**: MMDiff에서 발견된 feature direction을 활용하여 MLLM의 특정 동작을 조작하고 개선하기 위해 residual stream에 activation을 주입하는 Steering 기법.
*   **Visual Energy (E_v)**: 각 feature가 vision input에 대해 보이는 mean squared activation으로, feature의 modality preference, 특히 visual signal에 대한 반응성을 측정한다.

**## 2. Motivation & Problem Statement**
*   **Problem:** MLLMs는 시각적 이해 능력이 뛰어나지만, 이러한 행동을 유발하는 내부 feature를 식별, 감사(audit) 또는 제어하기 어렵다.
*   **Limitations of existing methods (SAEs):** 기존의 Sparse Autoencoders (SAEs)는 post-hoc inspection에 적용 가능하지만, multimodal training에 의해 어떤 feature가 변경되었는지 쉽게 분리하지 못하며, targeted control에 직접적으로 유용하지 않다. SAEs trained directly on MLLM activations는 language backbone에서 상속된 feature와 multimodal training에 의해 변경된 feature를 혼합하여 해석의 모호성을 야기한다.
*   **Need for new approach:** 이러한 한계는 MLLM의 실패를 감사하고, undesirable behavior를 억제하거나, 재훈련 없이 capability를 steering하는 것을 제한한다. Model diffing은 SAEs를 훈련 단계별로 비교하여 feature가 어떻게 변화하는지 추적함으로써 이러한 모호성을 해결한다.

**## 3. Method & Key Results**
*   **Proposed Methodology (MMDiff Pipeline):** 본 논문은 multimodal SAEs를 훈련하고 이를 multimodal behavior를 discovery 및 control하기 위한 feature-level interface로 전환하는 **MMDiff (Multimodal Model Diffing)** 프레임워크를 제안한다. MMDiff는 세 가지 주요 단계를 포함한다. (1) **Multimodal SAEs 훈련**: pretrained base-LM SAE를 frozen MLLM에 맞춰 fine-tune하여 visual-language space와 alignment된 feature dictionary를 얻는다. (2) **Adapted Features 식별**: multimodal adaptation 이후 geometric reorientation을 겪고 vision input에 대한 명확한 modality preference를 보이는 feature subset을 분리한다. (3) **Task-Specific Features 발견**: Adapted set 내에서 per-token contrastive firing analysis를 적용하고 lexical invariance를 필터링하여 task-specific feature set을 추출한다. [Figure 2]
*   **Causal Removal:** MMDiff는 발견된 feature direction을 causally 제거함으로써 모델의 특정 행동을 선택적으로 저하시킬 수 있음을 입증한다.
*   **MMDiff CAA Steering:** Layer-targeted MMDiff CAA steering은 task-level backbone CAA directions와 discovered feature의 decoder direction을 결합하여 MLLM의 성능을 향상시킨다.
*   **Quantitative Results:**
    *   **Feature-level causal removal**은 spatial tasks에서 평균 **12%**, OCR에서 평균 <strong>17%</strong>의 target behavior를 선택적으로 저하시켰으며, multimodal safety attacks의 Attack Success Rate (ASR)를 평균 **24%** 감소시켰지만, VQA performance에는 영향이 없었다. (Spatial task: **-10.1%** (MMDiff-Llama), **-12.3%** (MMDiff-Gemma), **-14.6%** (MMDiff-Qwen) VSR accuracy drop; Multimodal Safety: VLSBench ASR을 per-category top feature당 **17% ~ 28%** 감소시킴; OCR: 평균 <strong>-16.9%</strong>의 OCRBench Cat accuracy drop)
    *   **MMDiff-CAA steering**은 standard single-layer steering baseline 대비 spatial reasoning accuracy를 평균 **+3.6%**, OCR accuracy를 평균 **+1.8%** 향상시켰다. (Spatial: 평균 **+12.59%** ΔVSR Acc, 단일 레이어 CAA의 **+8.96%** 대비; OCR: 평균 **+4.02%** 정확도 향상, vanilla CAA의 **+2.21%** 대비)
    *   Cross-stage ablation 결과, PaliGemma 2의 spatial capability는 multimodal instruction tuning 단계에서 주로 습득되며, 이 tuning은 causal contribution을 평균 약 **3배** 증폭시킨다.
    *   Model Diffing의 필요성을 입증하는 ablation study에서, 전체 MMDiff pipeline만이 VSR에서 <strong>-12.3%</strong>의 효과적인 causal degradation과 VQA에서 <strong>-0.1%</strong>의 최소한의 spillover를 동시에 달성했다. [Table 7]

![Figure 2: MMDiff 파이프라인](/paper-images/2026-08-17/2608.09928/figure_2.png)

*Figure 2 — MMDiff 파이프라인*

**## 4. Conclusion & Impact**
*   본 논문은 MLLMs를 위한 **MMDiff**라는 model-diffing pipeline을 성공적으로 제시하며, multimodal-adapted features를 효과적으로 isolate하고 이를 causal ablation, MMDiff CAA steering, auto-interpretation, 그리고 attribution patching의 target으로 활용한다.
*   MMDiff는 세 가지 MLLM (LLaVA-MORE, PaliGemma 2, InternVL3.5-2B)과 세 가지 도메인 (spatial reasoning, multimodal safety, OCR)에 걸쳐 behavior control과 layer-targeted intervention을 통한 steering 개선을 지원한다.
*   이 연구는 multimodal SAEs가 MLLM의 multimodal behavior를 auditing, localizing, and controlling하기 위한 feature-level interface로서 중요한 역할을 할 수 있음을 시사한다.
*   MMDiff는 misaligned features를 isolate하고 safer generation을 steering하는 것을 포함하여 multimodal systems의 mechanistic understanding 및 intervention을 위한 유용한 기반을 제공한다.

**Part 2: Important Figure Information**

I need to find up to 3 figures.
*   Figure 1: Overall concept / interface. "MMDiff turns multimodal SAE features into an interface for auditing and control." This looks like a good high-level overview.
*   Figure 2: The MMDiff pipeline. This describes the core methodology. This is crucial.
*   Figure 3: Qualitative MMDiff interventions. Shows examples of steering and removal. Good for results.
*   Table 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15: These are tables, not images. The request specifies "image <img> tag".
*   Figure 4: Attribution patching. Useful, but Figure 2 describes the pipeline, which is more central to the methodology.
*   Figure 5: Auto-Interpretation example. Less critical than the overall pipeline.
*   Figure 6, 7, 8: SAE adaptation, FVU, Decoder Cosine Similarity. Diagnostic plots.
*   Figure 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23: Further details and examples, mostly in the appendix.

I will select Figure 1, Figure 2, and Figure 3. I need to get their `src` attributes.

From the HTML:
*   **Figure 1**: `<img src="2608.09928v1/x1.png" alt="Uncaptioned image">` -> `https://arxiv.org/html/2608.09928v1/x1.png`
    *   Caption: "MMDiff turns multimodal SAE features into an interface for auditing and control. Isolating the features altered by multimodal training yields directions that are causally tied to specific behaviors: steering them improves spatial and OCR accuracy and suppresses unsafe generations, with no measurable impact on general visual question answering."
*   **Figure 2**: `<img src="2608.09928v1/x2.png" alt="Uncaptioned image">` -> `https://arxiv.org/html/2608.09928v1/x2.png`
    *   Caption: "The MMDiff pipeline. Starting from a base-LM SAE, MMDiff (1) trains a multimodal SAE on VLM activations, (2) identifies adapted features adapted by multimodal training and prefer vision input, and (3) discovers task-specific features (multimodal safety, spatial reasoning, OCR) via per-token contrastive firing analysis. Discovered features enable causal ablation and targeted steering."
*   **Figure 3**: `<img src="2608.09928v1/x3.png" alt="Uncaptioned image">` -> `https://arxiv.org/html/2608.09928v1/x3.png`
    *   Caption: "Qualitative MMDiff interventions. Examples of MMDiff-CAA steering and feature-level removal across spatial reasoning, multimodal safety, and OCR."

Now I will write the captions in Korean, max 10 chars.
*   Figure 1: MMDiff 개념도
*   Figure 2: MMDiff 파이프라인
*   Figure 3: MMDiff 정성적 결과

Double check all constraints:
1.  **Technical Terminology in English**: Yes, maintained.
2.  **Natural Korean Phrasing**: Yes, tried to make it natural while keeping technical terms in English.
3.  **Mandatory Metadata**: Yes, authors and keywords included.
4.  **Output Format (Part 1 & Part 2)**: Markdown for Part 1, JSON for Part 2 with `

![Figure 1: MMDiff 개념도](/paper-images/2026-08-17/2608.09928/figure_1.png)

*Figure 1 — MMDiff 개념도*

![Figure 3: MMDiff 정성적 결과](/paper-images/2026-08-17/2608.09928/figure_3.png)

*Figure 3 — MMDiff 정성적 결과*

> ⚠️ **알림:** 이 리뷰는 AI로 작성되었습니다.