[논문리뷰] Monitoring the Internal Monologue: Probe Trajectories Reveal Reasoning Dynamics

링크: 논문 PDF로 바로 열기

메타데이터

저자: Maciej Chrabąszcz, Aleksander Szymczyk, Marcin Sendera, Tomasz Trzciński, Sebastian Cygert

## 1. Key Terms & Definitions (핵심 용어 및 정의)

• LRM (Large Reasoning Models): 추론 단계(Chain of Thought)를 거쳐 최종 응답을 생성하는 모델로, Deepseek-R1과 같은 최신 모델들을 지칭합니다.
• Probe Trajectories: 모델이 추론을 수행하는 동안 생성되는 숨겨진 상태(hidden states)를 순차적으로 추출하여 시간 흐름에 따른 확률 변화를 추적한 데이터입니다.
• MIL (Multiple Instance Learning) meta-probe: 다중 레이어의 표현을 통합하여 특정 개념을 효율적으로 감지하기 위해 제안된 메타 탐색 기법입니다.
• Unfaithful CoT: 모델의 내부 의도나 최종 출력과 일치하지 않는 모순된 추론 과정(CoT)을 의미합니다.
• Max-pooling: 본 연구에서 제안된 핵심 집계 방식으로, 평균(average) 기반 집계보다 안정적이고 시간적 의존성이 명확한 신호를 추출하는 기법입니다.

## 2. Motivation & Problem Statement (연구 배경 및 문제 정의) 본 논문은 LRM에서 생성되는 Chain of Thought(CoT)가 모델의 최종 출력과 항상 일치하지 않는다는 'Unfaithfulness' 문제를 해결하고자 합니다 [Figure 1]. 기존의 텍스트 기반 모니터링은 CoT의 표면적인 내용에 의존하기 때문에, 모델이 안전한 CoT를 생성하면서도 실제로는 유해한 응답을 내놓는 기만적인 사례를 감지하지 못하는 한계가 있습니다. 저자들은 텍스트가 아닌 모델 내부의 숨겨진 표현(Internal Monologue)을 직접 모니터링하는 것이 필요하다고 주장합니다. 이를 위해 단순한 정적 상태 예측(static prediction)을 넘어, 추론 과정 전반의 시간적 역학(temporal dynamics)을 포착할 수 있는 새로운 분석 프레임워크를 제안합니다.

Figure 1 — 분석 프레임워크 개요

## 3. Method & Key Results (제안 방법론 및 핵심 결과) 저자들은 각 토큰마다 탐색기(probe)를 적용하여 확률을 추적하는 Probe Trajectories 프레임워크를 도입하였습니다 [Figure 1]. 고정된 레이어 선택의 비효율성을 극복하기 위해 MIL meta-probe를 사용하고, 시퀀스 집계 과정에서 일반적인 average-pooling 대신 max-pooling을 적용하여 궤적의 안정성을 확보했습니다 [Figure 2]. 주요 실험 결과, max-pooling을 적용했을 때 유해성 감지 및 수학적 오류 예측에서 AUROC가 90% 이상의 고성능을 기록하였으며, 이는 일반적인 평균 기반 방식(약 50% 성능) 대비 압도적인 비교 우위를 보입니다 [Table 1]. 또한, 학습 데이터를 동적으로 생성할 필요 없이 정적 템플릿(static templates)을 사용해도 거의 동일한 성능을 달성할 수 있음을 입증하였습니다. 특히, 안전성 분야에서는 최종 상태(terminal state) 중심의 특징이, 수학적 오류 분야에서는 추론 과정의 변동성(volatility)과 역학적 특징이 감지 성능 향상에 결정적인 역할을 함을 확인하였습니다 [Figure 9].

Figure 2 — 평균 및 Max-pooling 궤적 비교

## 4. Conclusion & Impact (결론 및 시사점) 본 연구는 모델 내부의 추론 궤적(Probe Trajectories)을 모니터링함으로써, 텍스트로는 포착할 수 없는 모델의 진정한 의도와 미래 행동을 예측할 수 있음을 성공적으로 입증하였습니다. 특히 max-pooling의 중요성과 템플릿 기반 학습의 효율성은 실무적인 AI 안전 모니터링 시스템 구축에 즉각적으로 기여할 수 있는 핵심 지식입니다. 이 연구는 Mechanistic Interpretability와 AI Safety를 결합하여 LRM의 동작을 설명 가능하고 제어 가능한 영역으로 전환하는 데 중요한 이정표를 제시합니다. 향후 더 큰 규모의 모델과 deception, sycophancy와 같은 보다 고차원적인 행동 문제로 연구 범위를 확장할 수 있는 토대를 마련했습니다.

Figure 3 — 추론 과정 중 내부 상태 변화

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.