[논문리뷰] CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing본 논문은 long-context LLM의 prefilling 단계에서 발생하는 이차 시간 복잡도(Quadratic Scaling) 문제를 해결하기 위한 동적 희소 어텐션(Dynamic Sparse Attention) 기법의 구조적 한계를 다룹니다.#Review#Long-Context LLM#Sparse Attention#Dynamic Routing#Mass Cliff#Prefilling#Structural-Mass Proxy#Sink-Aware Thresholding2026년 9월 2일댓글 수 로딩 중
[논문리뷰] RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction본 논문은 query-agnostic KV 캐시 압축 환경에서 발생하는 성능 급락 문제를 해결하고자 합니다. 기존 연구들은 주로 중요한 KV 쌍을 선별(Selection)하는 데 집중했으나, 압축률이 높아질수록 선별된 정보만으로는 모델 성능을 유지하기 어렵습니다.#Review#KV Cache Eviction#Query-Agnostic#LoRA#Self-Distillation#Long-Context LLM#Context Reconstruction2026년 8월 4일댓글 수 로딩 중
[논문리뷰] Augmenting Attention with Exponentially Decaying Memory Improves Query-Aware KV Sparsity본 논문은 Long-context LLM의 추론 효율성을 높이기 위한 기존 Query-aware sparse inference 기법들의 성능 한계를 극복하는 것을 목표로 한다.#Review#Efficient Inference#Query-Aware Sparsity#KV-cache#Exponentially Decaying Memory#RAT+#Long-Context LLM2026년 6월 7일댓글 수 로딩 중
[논문리뷰] CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection본 논문은 기존 Chunked Prefill 환경에서 Block-Sparse Attention 및 Query-Subsampled KV Selection 방식이 가진 성능 한계를 극복하기 위해 CompactAttention을 제안합니다.#Review#Chunked Prefill#KV Selection#Block-Sparse Attention#Paged Attention#Zero-Copy Execution#Long-Context LLM2026년 5월 18일댓글 수 로딩 중
[논문리뷰] UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic Sparsification본 논문은 기존의 prefill 가속 기법들이 최신 하이브리드 LLM 아키텍처와 연속 배치(continuous batching) 환경에 부적합하다는 문제를 해결합니다.#Review#Long-Context LLM#Prefill Acceleration#Dynamic Sparsification#Hybrid Architectures#Continuous Batching#vLLM2026년 5월 10일댓글 수 로딩 중
[논문리뷰] Prism: Spectral-Aware Block-Sparse Attention긴 컨텍스트를 처리하는 LLM의 pre-filling 과정 을 가속화하기 위한 블록-희소 어텐션(block-sparse attention)의 효율적인 블록 중요도 추정 문제를 해결하는 것이 목표입니다.#Review#Block-Sparse Attention#Long-Context LLM#Rotary Positional Embeddings#Spectral Analysis#Attention Efficiency#Pre-filling Acceleration2026년 2월 10일댓글 수 로딩 중
[논문리뷰] Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning본 논문은 기존의 Softmax Attention 이 긴 시퀀스 길이에서 겪는 계산 및 I/O 오버헤드 문제 를 해결하고, 순수 Linear Attention 모델의 성능 한계를 극복하기 위해 효율적인 하이브리드 아키텍처를 제안합니다.#Review#Long-Context LLM#Hybrid Attention#Linear Attention#Mixture-of-Experts#FP8 Training#GPU Optimization#Training-Inference Alignment#Reinforcement Learning2025년 10월 23일댓글 수 로딩 중