[논문리뷰] When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

링크: 논문 PDF로 바로 열기

저자: Tobias Bersia, Tatiana Gaintseva, et al.

1. Key Terms & Definitions (핵심 용어 및 정의)

• Activation Oracles (AOs): 다른 모델의 내부 activations에 대해 자연어 질문에 답변하도록 훈련된 Language Models (LMs)입니다. 이들은 모델의 숨겨진 정보에 접근하기 위한 유연한 인터페이스를 제공합니다.
• Subject Model: Activations가 Activation Oracles에 의해 해석되는 대상 모델을 지칭합니다.
• Taboo Word Guessing Setting: Subject model이 특정 hidden concept (target word)를 내부적으로 사용하지만 직접적인 공개는 피하도록 fine-tune된 통제된 실험 환경을 의미합니다.
• Concept-Specific Anti-reader: 특정 hidden concept에 대해 activations에서 해당 concept를 recovery하는 데 선택적으로 성능이 저하되는 fine-tuned AO (FT-AO)를 지칭합니다.
• AO-verbalizability: AO가 내부적으로 표현된 정보를 의도된 자연어 답변으로 매핑하는 능력을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 learned interpretability interfaces, 특히 Activation Oracles (AOs)의 신뢰성 문제를 다룹니다. AOs는 모델의 내부 activation state에서 숨겨진 정보를 '읽기' 위한 유연한 인터페이스를 제공하여, 외부 동작에서는 드러나지 않는 정보에 접근하는 데 활용됩니다. 그러나 AOs 또한 학습된 시스템이므로, 그들의 답변은 훈련 데이터와 목적, 학습된 보고 방식에 의해 형성되며, 내부적으로 표현된 정보의 중립적인 readout이 아닐 수 있다는 본질적인 문제가 있습니다. 저자들은 subject model이 숨겨진 concept를 지속적으로 사용하는 상황에서, 해당 subject로 훈련된 AO가 specialist reader가 되어 해당 concept를 더 잘 recovery할지, 아니면 오히려 그 정보를 보고하지 않도록 학습될 수 있는지에 대한 핵심적인 질문을 제기합니다. 이는 모델이 행동적으로 정보를 숨기더라도 내부적으로는 정보를 유지할 수 있으므로, interpretability tool이 이러한 시나리오를 어떻게 처리하는지 이해하는 것이 중요함을 강조합니다.

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 논문은 Activation Oracles (AOs)의 reliability를 연구하기 위해 통제된 Taboo Word Guessing setting을 활용했습니다. 연구자들은 Qwen3-8B를 backbone으로 사용하여 leaf, moon, wave, flag, book의 다섯 가지 hidden concept 중 하나를 내부적으로 사용하되 직접적인 disclosure는 피하도록 fine-tune된 subject model들을 개발했습니다. 각 subject model은 cooperative 및 strict 프로토콜과 Taboo data mixture strength α ∈ {0.5, 1.0}에 따라 총 20가지 variant로 훈련되었습니다.

주요 실험 방법론 및 핵심 결과는 다음과 같습니다:

1. Subject Behavioral Evaluation: Taboo subject들이 hidden concept를 얼마나 효과적으로 숨기는지 행동적으로 평가한 결과, strict protocol subject들이 cooperative subject보다 refusal 비율이 현저히 높아 stronger surface-level secrecy를 보였습니다 [Figure 2, cite: 1].
2. Representation-Level Decodability: Linear probes와 Δ-LogitLens를 사용하여 subject model의 activations 내부에 hidden concept가 여전히 decodable한지 확인했습니다. Linear probes는 모든 elicitation regime과 fine-tuning protocol에서 98% 이상의 정확도로 hidden concept를 분류했습니다 [cite: Appendix C, Table 1]. 특히, Δ-LogitLens 진단은 HINT regime에서 target이 fine-tuning-induced direction에 강하게 enriched되어 있음을 보여주며, 이는 행동적 secrecy가 activation secrecy를 의미하지 않음을 시사합니다 [Figure 3, cite: 1].
3. Base AO Recovery: M0M_{0} (original subject)의 activations로만 훈련된 base AO는 cooperative subject의 hidden concept를 매우 잘 recovery했으며, HINT regime에서 93%의 exact recovery와 95%의 semantic recovery를 달성했습니다 [Figure 4, cite: 1]. Strict subject의 경우 recovery가 더 어려웠지만, 여전히 non-random target accessibility를 보였습니다.
4. Fine-Tuned AO (FT-AO) Anti-Reading: Taboo subject의 activations로 훈련된 own FT-AO가 base AO나 cross FT-AO (다른 hidden concept로 훈련된 AO) 대비 hidden concept recovery에서 specialist reader가 되지 못하고, 오히려 concept-specific anti-readers가 되는 현상을 발견했습니다 [Figure 5, Figure 6, cite: 1]. Cooperative subjects (α=1.0)의 경우, exact recovery는 base AO의 94%에서 own FT-AO의 35%로, semantic recovery는 99%에서 51%로 크게 감소했습니다 [Figure 5, cite: 1]. 이러한 성능 저하는 global하지 않고, FT-AO의 training concept에 특화된 concept-specific blind spot 형태로 나타났습니다 [Figure 6, cite: 1].
5. Mechanisms of Anti-Reading: Linear probes와 LogitLens를 이용한 메커니즘 분석 결과, AO 내부에서는 target concept가 여전히 높은 정확도로 decodable하지만, AO의 output head를 통한 접근성은 현저히 저하됨을 확인했습니다 [Figure 7, cite: 1]. Layer-range ablations 분석은 anti-reading 효과가 특히 중간에서 후반 layer 범위인 L18–23의 FT-AO-specific update에 의해 매개된다는 인과적 증거를 제시하며 [Figure 9, cite: 1], 이는 AO training이 concept 정보를 제거하는 것이 아니라, 최종 output으로 routing되는 방식을 변경함을 시사합니다 [Figure 8, Figure 9, cite: 1].
6. Multi-Concept Subjects: anti-reading 현상이 단일 concept subject에만 국한되지 않고, leaf와 moon 두 가지 concept를 동시에 숨기는 multi-concept subject에서도 concept-specific 패턴이 유지됨을 확인했습니다 [Figure 10, cite: 1]. 이는 AO의 blind spot이 평가되는 subject 전체가 아닌, AO 자신의 training concept에 맞춰진다는 것을 보여줍니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 fine-tuned Activation Oracles (FT-AOs)가 훈련된 subject의 hidden concept를 더 잘 읽는 specialist reader가 되기보다는, 오히려 concept-specific anti-readers가 될 수 있음을 입증했습니다. 이러한 anti-reading 현상은 target information의 부재 때문이 아니라, AO의 readout pathway에서 발생하는 suppression 때문임이 LogitLens 및 ablation 분석을 통해 밝혀졌습니다. 연구 결과는 behavioral leakage, representation-level decodability, 그리고 AO-verbalizability가 서로 분리될 수 있음을 명확히 보여주며, learned interpretability interfaces의 신뢰성에 대한 중요한 경고를 제공합니다. 이 연구는 향후 Activation Oracle 연구가 단순히 hidden information이 모델 내부에 표현되는지 여부뿐만 아니라, 해당 interpretability tool 자체가 그 정보를 효과적으로 verbalize하도록 학습되었는지도 반드시 평가해야 함을 강조하며, interpretability tool의 학습된 특성을 깊이 이해하는 것이 중요함을 시사합니다.

Figure 1 — FT-AO의 Concept-Specific Anti-reader 결과

Figure 5 — AO 유형별 Hidden Concept Recovery 비교

Figure 6 — FT-AO의 Concept-Specific Blind Spot 히트맵

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.