[논문리뷰] Scaling Inherently Interpretable Language Models

링크: 논문 PDF로 바로 열기

저자: Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• Inherent Interpretability: 모델이 훈련되는 과정에서부터 해석 가능성을 제약 조건으로 포함시켜, 사후 해석이 아닌 구조적으로 해석 가능한 인터페이스를 제공하는 설계 방식입니다.
• Atlas: 1.5 trillion-token 규모의 대규모 데이터를 대상으로 수천 개의 human-understandable concept을 추출하고 주석을 달기 위해 설계된 자동화 파이프라인입니다.
• Concept Bottleneck Model (CBM): transformer backbone과 LM head 사이에 삽입되어 모델의 hidden state를 의미 있는 개념(concept)으로 분해하고 이를 통해 예측을 수행하도록 강제하는 아키텍처입니다.
• Causal Diffusion: block-causal attention 패턴을 활용하여 효율적인 추론을 가능케 하면서도 diffusion 기반 학습을 유지하는 모델 아키텍처입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 현대의 고성능 AI 시스템이 가진 극도의 불투명성(opacity)을 해결하기 위해, 해석 가능성을 훈련 과정의 핵심 제약 조건으로 통합하는 새로운 패러다임을 제안합니다. 기존의 Post-hoc 해석 방식은 모델 학습 후 사후적으로 설명을 시도하기 때문에 실제 모델의 추론 경로와 설명 간의 결합(coupling)이 보장되지 않는다는 결정적인 구조적 한계를 지닙니다. 이러한 방식은 '설명 가능한 모델'이 곧 '성능이 낮은 모델'이라는 잘못된 인식을 야기했습니다. 저자들은 해석 가능성을 훈련 파이프라인의 일환으로 설계함으로써 모델의 투명성과 성능 사이의 Trade-off를 극복하고자 합니다. [Figure 2]는 해석 가능한 모델을 구축하기 위한 표준적인 훈련 방식과 저자들이 제안하는 구조적 차이를 명확히 보여줍니다.

Figure 2 — 표준 훈련 방식과 해석 가능한 훈련 방식의 파이프라인 차이를 설명하는 핵심 다이어그램

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 대규모 데이터를 위한 자동화 주석 시스템인 Atlas를 활용하여 데이터에 개념적 구조를 부여하고, 이를 Steerling-8B 모델의 Concept Bottleneck 구조에 직접적으로 결합하였습니다. 모델은 훈련 과정에서 Input attribution, Concept attribution, Training data attribution을 만족하도록 학습되며, Masked diffusion objective를 통해 학습된 'absence baseline'을 활용하여 신뢰성 있는 Input attribution을 제공합니다. 주요 실험 결과로, 해석 가능성을 제약 조건으로 추가함에 따라compute-optimal scaling exponent에 작고 고정된 per-backbone offset이 발생할 뿐, 모델의 근본적인 성능 저하는 없음을 증명했습니다. 또한, 해석 가능성 지표가 모델의 크기(compute)가 커짐에 따라 더욱 향상되는 경향을 확인했습니다. 특히, 1.2T token으로 학습된 Steerling-8B는 기존의 opaque 모델들과 비교했을 때 10% 이내의 벤치마크 성능 차이를 보이면서도 탁월한 해석 능력을 제공합니다. [Table 19]는 Steerling-8B와 타 모델 간의 벤치마크 성능 비교를 보여줍니다.

Table 19 — 제안 모델과 기존 모델 간의 벤치마크 성능 비교 결과

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 해석 가능성이 성능에 대한 '세금(tax)'이 아니라 학습 가능한 또 다른 capability임을 증명하며, 대규모 언어 모델에서 해석 가능성과 경쟁력을 동시에 달성할 수 있음을 보여줍니다. 저자들이 제안한 Inherent interpretability 설계 방식은 향후 AI 시스템의 투명성을 확보하고, 사후 분석의 불확실성을 제거하는 데 중요한 학문적 토대를 제공합니다. 특히 대규모 모델에서도 interpretability metrics가 규모에 따라 개선된다는 발견은 고성능 AI 시스템 구축에 있어 투명성을 필수적인 아키텍처 요구사항으로 포함시키는 새로운 표준이 될 가능성을 시사합니다.

---

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.