[논문리뷰] Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position최신 LLM은 효율적인 긴 문맥 처리를 위해 Full Attention 기반 모델에서 Hybrid Model 구조로 전환되고 있으나, 왜 특정 모듈의 조합이 우수한지, 그리고 이러한 구조가 긴 문맥 확장(Context Extension) 및 외삽(Extrapolation) 성능에 어떻게 영향을 미치는지에 대한 기계적 이해가 부족합니다.#Review#Hybrid Models#Long-Context#Length Extrapolation#Context Extension#Seesaw Effect#Tidal Effect#Linear Attention2026년 10월 7일댓글 수 로딩 중
[논문리뷰] When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings본 논문은 ALiBi positional encoding이 학습 과정에서 발생하는 Softmax Underflow로 인해 의도치 않은 'Attention Blindness'를 유발한다는 점을 최초로 규명합니다.#Review#ALiBi#Positional Encoding#Softmax Underflow#Attention Mechanism#Floating-Point Precision#Length Extrapolation#Associative Retrieval2026년 8월 4일댓글 수 로딩 중
[논문리뷰] Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs현재 RoPE(Rotary Position Embeddings) 구현이 어텐션 스코어 계산 시 복소수 값의 내적에서 실수부만 사용 하고 허수부를 버려, 장문맥 의존성 모델링에 중요한 관계형 정보 손실 이 발생하는 문제를 해결하고자 합니다.#Review#Rotary Position Embedding#Long-Context LLMs#Complex-Valued Neural Networks#Self-Attention#Positional Encoding#Information Loss#Length Extrapolation2025년 12월 8일댓글 수 로딩 중
[논문리뷰] UltraViCo: Breaking Extrapolation Limits in Video Diffusion Transformers비디오 Diffusion Transformer(DiT) 모델이 학습 길이 이상으로 비디오를 생성할 때 발생하는 주기적 콘텐츠 반복 과 전반적인 품질 저하 라는 두 가지 실패 모드를 해결하는 것을 목표로 합니다.#Review#Video Diffusion Transformers#Length Extrapolation#Attention Mechanism#Attention Dispersion#Periodic Content Repetition#Quality Degradation#Training-free Method#Plug-and-play2025년 11월 25일댓글 수 로딩 중
[논문리뷰] DoPE: Denoising Rotary Position Embedding본 논문은 Transformer 모델 내 Rotary Position Embedding (RoPE) 의 내재된 한계로 인해 발생하는 길이 외삽 능력 약화와 attention sink 현상 을 해결하는 것을 목표로 합니다.#Review#Rotary Position Embedding#Transformer#Length Extrapolation#Attention Sink#Matrix Entropy#Denoising#Large Language Models2025년 11월 16일댓글 수 로딩 중