[논문리뷰] When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings본 논문은 ALiBi positional encoding이 학습 과정에서 발생하는 Softmax Underflow로 인해 의도치 않은 'Attention Blindness'를 유발한다는 점을 최초로 규명합니다.#Review#ALiBi#Positional Encoding#Softmax Underflow#Attention Mechanism#Floating-Point Precision#Length Extrapolation#Associative Retrieval2026년 8월 4일댓글 수 로딩 중