[논문리뷰] Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding본 연구는 Speculative Decoding 과정에서 Target model의 어떤 레이어를 선택하여 Draft model에 정보를 제공할지가 단순한 고정 규칙(position-based heuristics)에 의존하고 있다는 점을 지적합니다.#Review#Speculative Decoding#Hidden State Selection#Matrix Entropy#Centered Kernel Alignment (CKA)#Information Maximization#Activation Wave2026년 10월 11일댓글 수 로딩 중
[논문리뷰] DoPE: Denoising Rotary Position Embedding본 논문은 Transformer 모델 내 Rotary Position Embedding (RoPE) 의 내재된 한계로 인해 발생하는 길이 외삽 능력 약화와 attention sink 현상 을 해결하는 것을 목표로 합니다.#Review#Rotary Position Embedding#Transformer#Length Extrapolation#Attention Sink#Matrix Entropy#Denoising#Large Language Models2025년 11월 16일댓글 수 로딩 중