[논문리뷰] Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching본 논문은 Looped Language Models가 가진 Depth-adaptive Inference 잠재력을 실질적인 추론 속도 향상으로 전환하는 것을 목표로 합니다.#Review#Looped Language Models#Depth-adaptive Inference#Continuous Depth Batching#LLM Inference#Recurrent Core#KV Cache2026년 9월 27일댓글 수 로딩 중
[논문리뷰] LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay기존 언어 모델(LLM) 스위칭 방식은 수신 모델이 historical prefix를 재인식하고 inference state를 재구축해야 하는 비효율성을 내포한다.#Review#Hybrid Language Models#Cross-Model Transfer#Recurrent Memory#KV Cache#Gated DeltaNet (GDN)#Persistent State#Negative Log-Likelihood (NLL)#Prefix Replay2026년 9월 22일댓글 수 로딩 중
[논문리뷰] Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches본 연구는 고성능 LLM inference 환경에서 KV Cache의 방대한 메모리 점유와 이에 따른 Latency 증가 문제를 해결하기 위해 Fathom을 제안합니다.#Review#KV Cache#Sparse Decoding#Offloading#Memory Management#Latency Optimization#LLM Inference2026년 9월 16일댓글 수 로딩 중
[논문리뷰] Grouped Value Attention: Efficient KV Caching via On-Demand Key ReconstructionThe paper is 'Grouped Value Attention: Efficient KV Caching via On-Demand Key Reconstruction' by Vishesh Tripathi, Abhay Kumar, and Ramsha Khan.#Review#KV Cache#Grouped Value Attention#Autoregressive Decoding#Transformer#Memory Efficiency#Decoupled RoPE#Linear Reconstruction2026년 9월 14일댓글 수 로딩 중
[sglang] sglang, DeepSeek V4.1 모델을 위한 Paged KV Cache 최적화: V41 및 FP4 포맷 도입sglang, DeepSeek V4.1 모델의 KV Cache 효율성을 높이는 V41 및 FP4 포맷을 도입하여 메모리 사용량과 처리 속도를 개선합니다.#sglang#DeepSeek#KV Cache#Quantization#Optimization#LLM2026년 9월 13일댓글 수 로딩 중
[논문리뷰] HyQuant: Hybrid-Precision Quantization for LLM Attention본 논문은 LLM attention module의 low-bit quantization이 end-to-end model quality를 저하시키는 문제를 해결하고자 합니다.#Review#LLM#Quantization#Attention Mechanism#Hybrid Precision#KV Cache#Long-Context Inference#Vertical-Line Tokens2026년 9월 10일댓글 수 로딩 중
[논문리뷰] ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding본 논문은 실시간 영상 스트리밍 환경에서 MLLM이 겪는 과도한 연산 비용과 효율성 저하 문제를 해결합니다. 기존의 많은 연구는 모든 프레임을 모델의 전체 레이어(Full-depth)로 미리 처리(Prefill)하여 KV Cache를 생성하는데, 이는 매우 비용이 많이 들고 불필요한 연산을 유발합니다 .#Review#Streaming Video Understanding#MLLM#KV Cache#Efficient Inference#Query-Agnostic#Selective Retrieval2026년 9월 6일댓글 수 로딩 중
[flashinfer] FlashInfer의 NVFP4 KV 캐시 성능 최적화: FP4 연산의 병목 현상 해소FlashInfer의 NVFP4 KV 캐시 연산에서 발생하는 심각한 성능 병목 현상을 분석하고, CUDA 하드웨어 기능을 활용하여 최적화하는 방법을 기술합니다.#CUDA#GPU#Performance Optimization#FlashInfer#FP4#NVFP4#KV Cache2026년 9월 1일댓글 수 로딩 중
[논문리뷰] Sliding-window beats linear attention본 논문은 LLM의 quadratic scaling 문제로 인한 추론 비용 및 메모리 문제를 해결하기 위해, 기존의 Linear Attention 기반 변환 기법들이 Sliding Window Attention (SWA) 보다 효율적인지 검증하고자 합니다.#Review#Sliding Window Attention#Linear Attention#KV Cache#Long-context Reasoning#Model Distillation#Inference Efficiency2026년 8월 30일댓글 수 로딩 중
[논문리뷰] Prefix Sliding for efficient test-time scaling본 논문은 Full Attention 기반의 모델이 장시간 추론(long-horizon reasoning) 시 직면하는 계산 비용의 폭발적 증가와 메모리 병목 문제를 해결하기 위해 Prefix Sliding을 제안합니다.#Review#Prefix Sliding#Test-time Scaling#Reasoning Traces#Sliding Window#LLM#KV Cache#Efficiency2026년 8월 26일댓글 수 로딩 중
[논문리뷰] FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving본 논문은 Long-context LLM의 prefilling 단계에서 발생하는 self-attention의 quadratic complexity 병목 문제를 해결하기 위해 FlashPrefill V2를 제안합니다.#Review#Long-context LLM#Sparse Attention#FlashAttention#FP8 Inference#KV Cache#LLM Serving2026년 8월 20일댓글 수 로딩 중
[논문리뷰] OasisKV: Scaling In-Decode KV Cache Beyond HBM with Lookahead Sparse Prefetching본 논문은 대규모 언어 모델(LLM)의 long-context 및 agentic workloads가 증가함에 따라 발생하는 HBM의 용량 병목 현상을 해결하고자 한다 .#Review#LLM Inference#KV Cache#Sparse Prefetching#Memory Wall#Speculative Decoding#Lookahead Attention#PD Disaggregation2026년 8월 10일댓글 수 로딩 중
[sglang] SGLang의 Session-Aware Unified Radix Cache를 통한 추론 성능 최적화멀티턴 에이전트 워크로드에서 세션 기반 KV 캐시 보호를 통해 재계산을 줄이고 처리량을 극대화하는 최적화 기법을 소개합니다.#SGLang#LLM#KV Cache#Radix Cache#Performance Optimization2026년 8월 2일댓글 수 로딩 중
[논문리뷰] ReToken: One Token to Improve Vision-Language Models for Visual Retrieval본 논문은 긴 시각적 문맥(long visual context)을 처리해야 하는 VLM이 정보량이 많아짐에 따라 성능이 저하되는 문제를 해결하고자 한다.#Review#Vision-Language Models#Visual Retrieval#Long-Context Understanding#ReToken#Attention Mechanism#KV Cache#Sparse Retrieval2026년 7월 30일댓글 수 로딩 중
[논문리뷰] Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering본 논문은 장시간의 스트리밍 생성 과정에서 발생하는 revisit inconsistency 문제를 해결하기 위해 제안되었습니다.#Review#Generative Rendering#Autoregressive Video Generation#Loop-Closure#KV Cache#Geometry-Guided Attention#Training-Free2026년 7월 26일댓글 수 로딩 중
[vllm] vLLM KV Offload 최적화: Tensor Parallelism 환경에서 MLA KV 캐시 복제본 제거하기vLLM에서 Tensor Parallelism 사용 시 MLA KV 캐시 복제본을 제거하여 CPU 메모리 및 D2H 트래픽을 최적화하는 방법을 분석합니다.#vLLM#KV Cache#Offloading#Tensor Parallelism#MLA#Optimization2026년 7월 26일댓글 수 로딩 중
[논문리뷰] Self Gradient Forcing: Native Long Video Extrapolation본 논문은 Autoregressive Video Diffusion 모델에서 장시간 영상 생성 시 발생하는 일관성 저하 문제를 해결하고자 합니다.#Review#Autoregressive Video Diffusion#Self Gradient Forcing#Historical Context-Gradient Gap#DMD#Long-Horizon Extrapolation#KV Cache#Two-pass Training2026년 7월 22일댓글 수 로딩 중
[논문리뷰] Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel본 논문은 대규모 언어 모델의 성능 향상을 위해 수행되는 재학습(retraining)과 매번 전체 문맥을 재연산해야 하는 추론 과정의 막대한 비용 문제를 해결하고자 합니다. 기존 방식은 모델 가중치를 변경하거나 매번 동일한 문맥을 반복해서 Prefill하는 비효율적인 자원 소모를 동반합니다.#Review#KV-State Grafting#Byte-Exactness#Inference-time Learning#Flywheel#Galahad#KV Cache#Model Efficiency2026년 7월 16일댓글 수 로딩 중
[vllm] vLLM Mooncake KV 오프로딩 최적화: 불필요한 KV 조회 건너뛰기vLLM의 Mooncake KV 오프로딩 성능 향상: 불필요한 KV 조회 건너뛰고 스토리지 오버헤드 감소#vLLM#LLM#KV Cache#Optimization#Performance2026년 6월 18일댓글 수 로딩 중
[논문리뷰] Variable-Width Transformers본 논문은 대부분의 Transformer 모델이 모든 층에 걸쳐 일정한 Width를 유지하는 Uniform-Width 설계를 고수함으로써 발생하는 자원 비효율성 문제를 해결하고자 한다. 저자들은 층별로 수행하는 계산적 역할이 다름에도 불구하고 고정된 매개변수와 연산 예산을 균등하게 할당하는 것은 최적이 아니라고 주장한다.#Review#Transformer#Nonuniform Capacity Allocation#Variable-Width Architecture#Scaling Laws#KV Cache#Computational Efficiency#Representation Collapse2026년 6월 16일댓글 수 로딩 중
[논문리뷰] The Price of Anarchy in Disaggregated Inference본 연구는 Disaggregated Inference 시스템이 다수의 독립적인 에이전트(요청, 연산 풀, 캐시 블록)가 자원을 놓고 경쟁하는 복잡한 멀티 에이전트 시스템이라는 점에 주목한다.#Review#Disaggregated Inference#Price of Anarchy#LLM Serving#Game Theory#Resource Allocation#KV Cache2026년 6월 16일댓글 수 로딩 중
[논문리뷰] TokenPilot: Cache-Efficient Context Management for LLM Agents본 논문은 LLM 에이전트의 세션이 길어짐에 따라 발생하는 컨텍스트 누적과 이로 인한 기하급수적인 추론 비용 문제를 해결하고자 합니다. 기존의 텍스트 가지치기(Pruning)나 동적 메모리 제거 기법들은 시퀀스의 레이아웃을 임의로 변경하여 프롬프트 접두사의 연속성을 깨뜨립니다.#Review#LLM Agents#Context Management#Prompt Caching#KV Cache#Inference Cost#Ingestion-Aware Compaction#Lifecycle-Aware Eviction2026년 6월 15일댓글 수 로딩 중
[sglang] AMD MI300에서의 GPT-OSS 120B 추론 성능 최적화: 새로운 KV 캐시 레이아웃과 커널 통합AMD GPU에서 GPT-OSS 120B 모델의 추론 속도를 15% 이상 향상시키는 최적화 방안을 분석합니다.#AMD#ROCm#SGLang#GPT-OSS#성능 최적화#KV Cache#Attention Kernel2026년 6월 8일댓글 수 로딩 중
[논문리뷰] End-to-End Context Compression at Scale본 연구는 긴 문맥(long-context) 처리가 LLM의 핵심 역량임에도 불구하고, 기하급수적으로 증가하는 KV Cache 메모리 점유율과 이로 인한 추론 속도 저하 문제를 해결하고자 합니다.#Review#Context Compression#KV Cache#Latent Context Language Models#Encoder-Decoder#End-to-End Training#Model Efficiency2026년 6월 8일댓글 수 로딩 중
[논문리뷰] Value-Aware Stochastic KV Cache Eviction for Reasoning Models본 논문은 Reasoning 모델이 복잡한 추론 과정에서 생성하는 긴 출력(Chain of Thought)으로 인해 발생하는 심각한 메모리 및 연산 병목 현상을 해결하고자 한다.#Review#KV Cache#Eviction#Reasoning Models#Stochasticity#Value-Awareness#Sparse Attention#Large Language Models2026년 6월 2일댓글 수 로딩 중
[sglang] SGLang NIXL HiCache 리팩토링 및 O_DIRECT 지원 추가: 성능 향상과 안정성 강화SGLang의 NIXL HiCache 커넥터 리팩토링 및 O_DIRECT 지원 추가로 I/O 성능 향상 및 안정성 개선.#SGLang#NIXL#HiCache#O_DIRECT#성능 최적화#KV Cache2026년 6월 1일댓글 수 로딩 중
[논문리뷰] VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion본 논문은 autoregressive 영상 확산 모델에서 streaming 생성 시 발생하는 방대한 KV 캐시 메모리 비용 문제를 해결하고자 합니다.#Review#Video Diffusion#Multi-Head Latent Attention#KV Cache#Autoregressive Generation#Low-Rank Latent#Streaming Video#3D-RoPE2026년 6월 1일댓글 수 로딩 중
[논문리뷰] AdaState: Self-Evolving Anchors for Streaming Video Generation본 논문은 기존 autoregressive 비디오 생성 모델이 겪는 '일관성과 동적 표현 사이의 트레이드오프' 문제를 해결하고자 합니다.#Review#Streaming Video Generation#Autoregressive Diffusion#Adaptive State#Attention Sink#Horizon-Weighted DMD#KV Cache#Temporal Dynamics2026년 5월 28일댓글 수 로딩 중
[논문리뷰] Echo-Forcing: A Scene Memory Framework for Interactive Long Video Generation본 논문은 Autoregressive 비디오 확산 모델이 긴 비디오 생성 및 대화형 시나리오에서 겪는 기억 관리(KV Cache management)의 기능적 Entanglement 문제를 해결하고자 한다.#Review#Video Generation#Autoregressive#KV Cache#Scene Memory#Long-form Video#Interactive Generation2026년 5월 19일댓글 수 로딩 중
[sglang] SGLang P/D Disaggregation: Decode-Side Radix Cache 도입으로 LLM 추론 성능 극대화SGLang의 P/D Disaggregation에서 Decode-Side Radix Cache를 도입하여 LLM 추론 시 KV Cache 재사용률을 높이고 성능을 획기적으로 개선한 PR 분석#LLM#SGLang#Inference Optimization#KV Cache#Disaggregation#Performance2026년 5월 1일댓글 수 로딩 중
[sglang] SGLang, FP4 KV 캐시 도입으로 LLM 추론 성능 극대화: NVFP4 최적화 분석SGLang의 FP4 KV 캐시 도입으로 LLM 추론 성능을 혁신적으로 개선하는 NVFP4 최적화를 분석합니다.#LLM#KV Cache#Quantization#Optimization#SGLang#FP4#NVFP42026년 4월 29일댓글 수 로딩 중
[sglang] AMD GPU에서 FP8 KV 캐시 쓰기 최적화: Triton 커널 융합으로 성능 향상AMD GPU의 FP8 KV 캐시 쓰기 성능을 개선하기 위해 Triton 커널을 융합하여 오버헤드를 줄였습니다.#AMD GPU#FP8#Triton Kernel#KV Cache#Optimization#SGLang2026년 4월 25일댓글 수 로딩 중
[논문리뷰] KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs본 논문은 RAG(Retrieval-Augmented Generation) 환경에서 빈번하게 발생하는 KV cache의 컨텍스트 의존성 및 그로 인한 추론 지연 문제를 해결하는 것을 목표로 합니다.#Review#LLM#KV Cache#RAG#Recomputation-Free#Soft-token Adapter#Self-Supervised Distillation#Attention Dynamics2026년 4월 16일댓글 수 로딩 중
[vllm] vLLM TurboQuant: KV 캐시 압축으로 LLM 서빙 효율 극대화vLLM의 TurboQuant는 KV 캐시를 압축하여 메모리 사용량을 줄이고 LLM 서빙 효율을 높입니다.#vLLM#LLM#KV Cache#Quantization#Optimization#Triton#GPU Memory2026년 4월 15일댓글 수 로딩 중
[SGLang] RadixAttention: Radix Tree 기반 프리픽스 캐싱의 핵심SGLang의 핵심 혁신인 RadixAttention을 분석한다. Radix Tree 자료구조를 활용한 KV 캐시 프리픽스 공유, PagedAttention 대비 5x 성능 향상의 원리를 코드와 함께 살펴본다.#sglang#RadixAttention#Prefix Caching#Radix Tree#KV Cache2026년 4월 10일댓글 수 로딩 중
[sglang] SGLang NIXL 이기종 TP 환경에서 디스어그리게이션 KV 캐시 전송 버그 수정 및 성능 개선SGLang NIXL에서 이기종 TP 환경의 KV 캐시 전송 문제를 해결하여 디스어그리게이션 서빙 안정성을 높였습니다.#SGLang#NIXL#KV Cache#Disaggregation#TP Heterogeneous#Optimization2026년 4월 7일댓글 수 로딩 중
[논문리뷰] TriAttention: Efficient Long Reasoning with Trigonometric KV Compression본 논문은 기존 KV Cache 압축 기법들이 post-RoPE 공간의 제한된 관측치에 의존하여 발생하는 불안정성 문제를 해결하고자 합니다. 기존 방식들은 회전이 적용된 post-RoPE 쿼리를 사용하므로, 대표성 있는 쿼리 확보가 어려워 중요한 토큰이 조기에 삭제되는 현상이 빈번합니다 .#Review#KV Cache#LLM#Attention#RoPE#Compression#Reasoning2026년 4월 6일댓글 수 로딩 중
[논문리뷰] Universal YOCO for Efficient Depth Scaling본 논문은 기존 Transformer 기반 LLM의 추론 시간(Test-time) 계산 확장 효율성 문제를 해결하기 위해 제안되었습니다. 표준 Transformer에 단순 루핑 기법을 적용하면 계산 복잡도가 급증하고, 모델 깊이에 따라 KV cache 요구량이 선형적으로 증가하여 메모리 비용이 매우 커집니다.#Review#Large Language Models#Recursive Computation#YOCO#Depth Scaling#Inference Efficiency#KV Cache#Decoder-Decoder Architecture2026년 4월 1일댓글 수 로딩 중
[sglang] HiSparse 도입: Sparse Attention 모델을 위한 효율적인 KV 캐시 관리HiSparse는 CPU 메모리를 활용해 유휴 KV 캐시를 저장함으로써, DeepSeek-V3와 같은 Sparse Attention 모델의 배치 사이즈와 처리량을 극대화합니다.#SGLang#LLM#KV Cache#Sparse Attention#CUDA2026년 3월 23일댓글 수 로딩 중
[논문리뷰] DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models본 논문은 기존 확산 비전 언어 모델(dVLMs)의 성능 저하와 가변 길이 생성 및 KV 캐시 재사용의 비효율성 문제를 해결하고자 합니다.#Review#Diffusion Models#Vision Language Models#Autoregressive Models#Diffusion Finetuning#Block Diffusion#Multimodal AI#KV Cache2025년 12월 17일댓글 수 로딩 중
[논문리뷰] BlockVid: Block Diffusion for High-Quality and Consistent Minute-Long Video Generation본 논문은 블록 확산 모델을 사용하여 분 단위 길이의 고품질 및 일관된 비디오를 생성하는 데 따르는 주요 과제들을 해결하는 것을 목표로 합니다. 특히, KV-캐시(KV-cache)로 인한 장기적 오류 누적 문제와 세밀한 긴 비디오 벤치마크 및 일관성 측정 지표의 부족 을 해결하고자 합니다.#Review#Block Diffusion#Video Generation#Temporal Consistency#KV Cache#Semi-Autoregressive#Video Quality Metrics#Long Video Generation2025년 12월 2일댓글 수 로딩 중
[논문리뷰] Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout본 논문은 기존의 autoregressive 비디오 diffusion 모델이 가진 세 가지 핵심 한계를 해결하는 것을 목표로 합니다.#Review#Autoregressive Video Generation#Rotary Positional Embedding#Infinite Video Generation#Action Control#Cinematic Transitions#Video Diffusion Models#KV Cache2025년 12월 1일댓글 수 로딩 중
[논문리뷰] Latent Collaboration in Multi-Agent Systems본 논문은 기존 대규모 언어 모델(LLM) 기반 다중 에이전트 시스템(MAS)이 텍스트 기반 추론 및 통신에 의존하여 발생하는 비효율성과 정보 손실 문제를 해결하는 것을 목표로 합니다.#Review#Multi-Agent Systems#Large Language Models#Latent Space#Latent Reasoning#Latent Communication#KV Cache#Computational Efficiency#Training-Free2025년 11월 26일댓글 수 로딩 중
[논문리뷰] TiDAR: Think in Diffusion, Talk in Autoregression본 연구는 대규모 언어 모델(LLM)의 생성 과정에서 확산 모델(Diffusion Models) 의 빠른 병렬 생성 능력과 자기회귀(Autoregressive, AR) 모델 의 높은 품질을 동시에 달성하는 것을 목표로 합니다.#Review#Hybrid LLM Architecture#Diffusion-Autoregressive#Parallel Token Generation#Speculative Decoding#Structured Attention Masks#LLM Inference Acceleration#KV Cache2025년 11월 12일댓글 수 로딩 중
[논문리뷰] Attention Is All You Need for KV Cache in Diffusion LLMs본 논문은 확산 대규모 언어 모델(DLMs)의 추론 과정에서 발생하는 과도한 Key-Value (KV) 캐시 재계산으로 인한 높은 지연 시간을 해결하는 것을 목표로 합니다.#Review#Diffusion LLMs#KV Cache#Adaptive Caching#Inference Optimization#Attention Mechanism#Latency Reduction#Generative AI2025년 10월 17일댓글 수 로딩 중
[논문리뷰] d^2Cache: Accelerating Diffusion-Based LLMs via Dual Adaptive Caching확산 기반 대규모 언어 모델(dLLM)은 양방향 어텐션 구조 때문에 표준 Key-Value(KV) 캐시 의 이점을 활용하지 못해 추론 효율성이 떨어진다는 문제를 해결하는 것이 목표입니다.#Review#Diffusion Models#Large Language Models (LLMs)#Inference Acceleration#KV Cache#Bidirectional Attention#Adaptive Caching#Token Selection2025년 10월 1일댓글 수 로딩 중
[논문리뷰] LongLive: Real-time Interactive Long Video Generation실시간 및 대화형으로 고품질의 긴 비디오를 생성하는 데 따르는 효율성, 일관성, 그리고 시맨틱 일관성 문제를 해결하는 것을 목표로 합니다. 특히, 프롬프트 전환 시 시각적 일관성과 동적 콘텐츠 생성을 위한 상호작용성 부족이라는 기존 AR 및 Diffusion 모델의 한계를 극복하고자 합니다.#Review#Long Video Generation#Real-time#Interactive AI#Autoregressive Models#KV Cache#Streaming Tuning#Attention Sink#Diffusion Models2025년 9월 29일댓글 수 로딩 중