[논문리뷰] Virtual Head Attention본 논문은 대규모 언어 모델의 어텐션 메커니즘 설계 시 직면하는 KV cache 크기, 학습/프리필 FLOPs, 모델 품질 간의 '불가능한 삼각형(impossible triangle)' 문제를 해결하고자 합니다 .#Review#Virtual Head Attention#Grouped-Query Attention#KV Cache#Reparameterization#Large Language Models#Linear Postmix#Q Premix2026년 10월 15일댓글 수 로딩 중
[논문리뷰] WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms본 논문은 long-context 및 대규모 batch inference 환경에서 발생하는 KV cache의 메모리 및 대역폭 병목 문제를 해결하기 위해 WUSH-KV를 제안한다.#Review#KV Cache Quantization#Data-Adaptive Transforms#Grouped-Query Attention#WUSH Transform#Quantization Error#Large Language Models#Inference Efficiency2026년 9월 30일댓글 수 로딩 중