[논문리뷰] Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment

링크: 논문 PDF로 바로 열기

메타데이터

저자: Yihuai Hong, Shauli Ravfogel, Chen Zhao, Eunsol Choi

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• CoT-Interpretability Alignment (CIA): 모델이 생성한 Chain-of-Thought (CoT)의 명시적 추론 과정과 Interpretability 도구(예: Linear Probes)로 감지된 실제 내부 계산 경로 간의 일치도를 측정하는 지표입니다.
• Parametric Faithfulness: 모델의 CoT가 그 추론의 근거가 되는 내부 계산 과정(내부 전략)을 얼마나 충실하게 반영하는지를 의미합니다.
• Linear Probe: 모델의 Hidden states에서 특정 추론 전략이나 정보가 인코딩되어 있는지를 추출하기 위해 사용되는 보조 분류기입니다.
• Post-training: 모델의 내부 계산 전략과 외부 CoT 간의 정렬(Alignment)을 개선하기 위해 Rejection Sampling, DPO, GRPO 등의 기법을 사용하여 추가 학습을 수행하는 과정입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM의 CoT가 모델의 실제 내부 계산 과정을 충실히 대변하지 못하는 불투명성 문제를 해결하고자 합니다 [Figure 1]. 기존 연구들은 CoT가 모델의 내부 전략과 일치하지 않거나, 추론 과정을 쉽게 조작할 수 있다는 점을 지적해왔습니다. 특히 기존의 정량적 평가 기법들은 주로 외부적인 힌트 삽입 등에 의존하여 모델 내부를 직접 확인하는 능력이 부족했다는 한계가 있습니다. 이를 해결하기 위해 저자들은 모델 내부의 계산 전략을 직접적으로 Audit할 수 있는 정량적 프레임워크인 CIA를 제안합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

본 연구는 Linear Probes와 같은 Interpretability 도구를 활용하여 모델의 내부 전략을 추출하고, 이를 CoT와 대조하여 CIA 점수를 산출하는 프레임워크를 제안합니다. 실험은 Two-Hop Factual Reasoning, Hint Interventions, Integer Multiplication이라는 세 가지 서로 다른 추론 작업에 걸쳐 수행되었습니다 [Table 1]. 연구 결과, 기존 LLM들은 44.8%에서 75.9% 수준의 낮은 CIA를 보이며, 모델의 내부 전략과 외부 CoT 간의 유의미한 불일치가 존재함을 확인했습니다. 이후 DPO, GRPO 등의 Post-training을 통해 CIA를 평균 25.5% 향상시켰으며, 이는 Task Accuracy를 유지하거나 오히려 개선하는 효과를 보였습니다 [Table 2]. 특히 Integer Multiplication에서는 모델이 내부 계산 방식을 실제로 변경한 반면, 나머지 작업에서는 자신의 내부 상태를 더 정직하게 보고하도록 모델의 CoT 생성 방식이 교정되었음을 인과적 분석을 통해 입증했습니다 [Figure 6].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 CoT의 불투명성을 측정하는 CIA 지표와 이를 개선하기 위한 Post-training 파이프라인을 구축하여 LLM의 추론 과정에 대한 신뢰성을 높일 수 있는 구체적인 경로를 제시합니다. 본 연구는 모델의 CoT가 단순한 성능 보조 수단을 넘어, 실제 내부 계산 과정을 반영하는 투명한 설명(Faithful Explanation)으로 기능할 수 있음을 입증했습니다. 이는 향후 고위험 의사결정 분야에서 LLM의 모니터링 가능성(Monitorability)을 높이고, 인간이 모델의 사고 과정을 더욱 신뢰할 수 있게 만드는 기초 연구로서 중요한 의의를 갖습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.