[논문리뷰] When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings본 논문은 ALiBi positional encoding이 학습 과정에서 발생하는 Softmax Underflow로 인해 의도치 않은 'Attention Blindness'를 유발한다는 점을 최초로 규명합니다.#Review#ALiBi#Positional Encoding#Softmax Underflow#Attention Mechanism#Floating-Point Precision#Length Extrapolation#Associative Retrieval2026년 8월 4일댓글 수 로딩 중
[논문리뷰] Group Representational Position EncodingTransformer 모델의 필수 요소인 위치 인코딩(Positional Encoding) 메커니즘들을 군 이론(Group Theory) 기반의 통합된 프레임워크 로 제시하고, 기존의 주요 기법인 RoPE 와 ALiBi 를 특수 사례로 포괄하며, 더 넓고 원칙적인 설계 공간을 제공하는 것을 목표로 합니다.#Review#Positional Encoding#Group Theory#Transformer#RoPE#ALiBi#Lie Groups#Multiplicative PE#Additive PE2025년 12월 8일댓글 수 로딩 중