[논문리뷰] Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs

링크: 논문 PDF로 바로 열기

메타데이터

저자: Seogyeong Jeong, Jaehui Hwang, Dongyoon Han, Geonmo Gu, Alice Oh, Taekyung Kim

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• Chain-of-Thought (CoT): LLM이 복잡한 문제를 해결할 때 최종 답안에 도달하기 전 단계별로 생성하는 추론 과정을 의미합니다.
• Reasoning Operations: 문제 해결 과정 중 발생하는 기능적 단계(예: Extraction, Decomposition, Deduction)를 뜻하며, 본 연구에서는 Pólya의 문제 해결 프레임워크를 기반으로 범주화합니다.
• Representational Geometry: 모델의 Hidden States 내에서 특정 정보나 연산이 어떠한 기하학적 구조나 클러스터로 조직화되어 있는지를 지칭합니다.
• One-vs-Rest Operation Vector: 특정 Reasoning Operation을 다른 연산들과 구분하기 위해 학습된 분류 지향적인 벡터를 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM의 CoT 생성 과정에서 텍스트로 표현되는 추론 연산들이 모델 내부의 Hidden Representations에서 어떤 구조로 기하학적으로 조직화되어 있는지 규명하고자 합니다. 기존 연구들은 추론의 결과물이나 정답의 정확도에 주목해왔으나, 실제 추론 단계별로 모델 내부에서 연산이 어떻게 처리되는지에 대한 메커니즘은 불명확했습니다. 연구자들은 Reasoning Operations이 단순한 텍스트 의미를 넘어 내부 표현 공간에서 일관된 기하학적 구조를 공유하는지, 그리고 이 구조가 문제 해결 맥락과 어떻게 상호작용하는지 탐구합니다 [Figure 1].

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 Pólya의 4단계 문제 해결 이론을 바탕으로 CoT 추론 트레이스를 8개의 Reasoning Operations으로 범주화하고, LDA(Linear Discriminant Analysis)를 활용하여 모델의 Hidden States 내에서 각 연산이 분리 가능한지 분석했습니다. 실험 결과, 모든 검증 모델(Qwen2.5-7B, Qwen3-8B, Gemma4-31B)에서 Reasoning Operations은 모델의 중층(Middle Layers)에서 가장 높은 분리성(AUROC)을 보이며 뚜렷하게 구별되는 기하학적 구조를 형성함이 확인되었습니다 [Figure 3]. 또한, 동일한 표면 토큰(Surface Token)이라 할지라도 주위 추론 맥락에 따라 서로 다른 연산 지향적 표현을 갖게 됨을 입증했습니다 [Figure 6]. 정량적으로는, 모든 모델에서 Random Baseline 대비 우수한 분리 성능을 보였으며, 이는 해당 구조가 Lexical Confounds에 의한 것이 아님을 시사합니다. 추가로, Attention-masking 개입을 통해 앞선 추론 맥락이 후속 연산 표현 형성에 인과적으로 기여함을 증명했습니다.

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM의 CoT 추론이 텍스트 출력물뿐만 아니라 내부 표현 공간에서도 정교한 기하학적 구조를 유지하고 있음을 밝혔습니다. 이러한 발견은 LLM이 단순히 텍스트를 나열하는 것을 넘어, 내부적으로 기능적 추론 연산을 구분하여 처리하고 있음을 시사합니다. 본 연구의 결과는 모델의 추론 능력을 개선하기 위한 직접적인 Latent Space Interventions(잠재 공간 개입) 기술의 토대를 마련할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.