[논문리뷰] When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings

링크: 논문 PDF로 바로 열기

저자: Christopher Schröder, Lukas Gienapp, Ferdinand Schlatt, Martin Potthast, Gerhard Heyer

---

1. Key Terms & Definitions (핵심 용어 및 정의)

• ALiBi (Attention with Linear Biases): 토큰 간 거리에 비례하는 선형 편향(Linear Bias)을 Attention Logit에 더하여 위치 정보를 인코딩하는 기법으로, 별도의 학습 가능한 파라미터가 필요 없는 것이 특징입니다.
• Softmax Underflow: Attention 연산 시 Logit 값이 너무 작아져서 부동소수점(fp32, bf16 등)의 표현 범위를 벗어나 0으로 수렴하게 되는 수치적 오류 현상입니다.
• Attention Blindness: 특정 토큰 간 거리에서 Attention Weight가 underflow로 인해 0이 되어, 해당 Head가 특정 위치의 토큰 간 상호작용을 인지하지 못하게 되는 현상을 의미합니다.
• Associative Retrieval: Passkey나 Needle In A Haystack과 같이 특정 문맥 내의 정보를 정확히 찾아내어 복구하는 능력을 평가하는 태스크입니다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

본 논문은 ALiBi positional encoding이 학습 과정에서 발생하는 Softmax Underflow로 인해 의도치 않은 'Attention Blindness'를 유발한다는 점을 최초로 규명합니다. 저자들은 선형적으로 증가하는 편향 값이 특정 임계값을 넘어서면 Attention Weight가 0으로 고정되는 현상이 ALiBi의 장점인 '길이 외삽(Length Extrapolation)' 성능을 저해한다고 지적합니다 [Figure 1]. 기존 연구들에서는 이 문제가 보고되지 않았으며, 실제 성능에 미치는 영향 또한 명확히 밝혀진 바 없습니다. 따라서 본 연구는 이러한 수치적 실패가 모델의 성능에 미치는 영향을 분석하고 이를 극복하기 위한 새로운 학습 전략을 제시합니다.

Figure 1 — ALiBi Bias와 Underflow 메커니즘

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 ALiBi의 수치적 불안정성을 해결하기 위해 Clamping, Robust Slopes, Log-scaled Distances, Soft Capping 등 네 가지 완화 전략을 제안합니다 [Figure 1]. 실험은 148M 파라미터 규모의 Decoder 모델들을 대상으로 진행되었으며, 기존 ALiBi 모델과 이들 전략을 적용한 모델들의 성능을 비교 평가하였습니다.

연구 결과, Log-scaled Distances 전략을 적용했을 때 Out-of-context Passkey Retrieval 성능이 ALiBi baseline 대비 약 10배 가까이 향상되는(AUC 0.08에서 0.79로 개선) 성과를 보였습니다 [Table 3]. 반면, Needle In A Haystack(NIHS) 성능에서는 기존 ALiBi 방식이 여전히 강력한 baseline으로 작용함을 확인하였습니다. 최종적으로 저자들은 단순히 Blindness를 방지하는 것보다 학습 목적에 맞는 복합적인 전략 적용이 중요함을 강조합니다 [Table 3].

4. Conclusion & Impact (결론 및 시사점)

본 논문은 ALiBi 기반 모델들이 가진 잠재적인 수치적 결함인 Attention Blindness를 발견하고 분석함으로써, LLM 아키텍처 설계와 학습 과정에서의 수치적 안정성이 모델 성능에 미치는 영향을 규명했습니다. 연구 결과는 특정 전략이 모든 태스크에서 우위를 점하지는 못하지만, Passkey Retrieval 등 특정 능력 강화에는 효과적임을 보여줍니다. 본 연구의 발견은 향후 대규모 모델을 설계하고 학습하는 과정에서 Positional Encoding 선택 및 최적화 시 필수적으로 고려해야 할 중요한 가이드라인을 제공합니다.

---

Figure 2 — Perplexity 및 Underflow 분석

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.