[논문리뷰] The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

링크: 논문 PDF로 바로 열기

메타데이터

저자: Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• IRST (Iso-Raw-Sum Trajectory): 동일한 Raw Sum 값을 가지는 상태들을 연결하는 연속적인 매니폴드 구조로, 모델의 산술 계산 궤적을 설명하는 핵심 기하학적 개념입니다.
• Carry Potential ($\Phi$): 모델이 내부적으로 계산하는 연속적인 스칼라 값으로, 하위 자리수로부터 전달되는 수치적 기여도를 나타내며 최종 Carry 값의 기반이 됩니다.
• Geometric Slippage: 모델 내부의 신경망 노이즈로 인해 Carry Potential이 양자화 임계값을 넘어가면서 발생하는 산술 오류 현상을 지칭합니다.
• Probe Versatility: 단일 활성화 벡터(Activation Vector)에서 Ground Truth, Model Output, Carry 등 다양한 정보를 동시에 디코딩할 수 있는 탐침(Probe)의 성능을 의미합니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 LLM이 고차원적인 추론에서는 뛰어난 성능을 보임에도 불구하고, 다중 자리수 덧셈과 같은 기초적인 산술 연산에서 발생하는 체계적인 오류(Off-by-one error)를 해결하고자 합니다. 기존의 기호주의적 접근이나 단순한 탐침 연구는 모델의 내부 계산 과정과 최종 출력 사이의 기하학적 연결 고리를 명확히 설명하지 못하는 한계가 있습니다. 연구진은 LLM의 잔차 스트림(Residual Stream)이 단순히 정보를 전달하는 공간이 아니라, 특정 산술 상태를 인코딩하는 고도로 구조화된 매니폴드임을 밝히고 이를 통해 오류의 발생 메커니즘을 규명합니다 [Figure 1].

Figure 1 — 모델 산술 연산 및 탐침 프레임워크 개요

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 LLM의 내부 활성화 상태를 시각화하기 위해 UMAP을 활용하여 IRST라는 기하학적 프레임워크를 제안합니다 [Figure 2]. 이 구조에 따르면, 산술 연산은 Digit Basins라는 거시적 뼈대와 Input Carry 상태에 따른 미시적 텍스처로 구분됩니다 [Figure 3]. 핵심 방법론인 Noisy Quantization Model은 모델이 계산한 연속적인 Carry Potential이 가우시안 노이즈에 의해 양자화 임계값을 넘나들며 발생하는 오류를 정량화합니다 [Figure 4]. 주요 실험 결과, Raw Sum과 Carry를 포함한 핵심 지표들에 대해 탐침(Probe)은 90% 이상의 높은 정확도를 보였으며, 특히 Model Output의 정확도는 98.81%로 측정되었습니다 [Table 1]. 또한, 제안된 모델이 예측한 오류 분포는 실제 모델에서 관찰된 Bathtub Error Rate 곡선과 $R^2=0.80$으로 매우 높은 상관관계를 보이며 이론적 타당성을 입증했습니다 [Figure 5].

Figure 3 — IRST 및 산술 매니폴드 구조

Figure 5 — Noisy Quantization 및 Bathtub 에러 분포

4. Conclusion & Impact (결론 및 시사점)

본 연구는 LLM의 산술 연산 오류가 무작위적인 노이즈가 아닌, 내부 계산 상태의 기하학적 불안정성에서 기인함을 체계적으로 증명했습니다. IRST와 Noisy Quantization Model은 거대 모델의 내부 계산 과정을 투명하게 해석할 수 있는 강력한 기하학적 프레임워크를 제공합니다. 이러한 통찰은 단순히 오류를 진단하는 데 그치지 않고, 추론 시점에 모델의 Dual-stream 일관성을 검사하여 산술 오류를 능동적으로 보정할 수 있는 인터벤션 기법의 토대를 마련하였습니다. 이는 향후 신뢰성 있는 AI 시스템 구축과 모델의 추론 능력 향상에 중요한 기여를 할 것으로 기대됩니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.