[논문리뷰] Joint Subspace Sparse Attention for Efficient Long-Context Decoding본 논문은 Long-context LLM 디코딩 시 발생하는 KV 캐시 메모리 트래픽 병목 현상을 해결하고자 한다.#Review#Sparse Attention#Long-Context#GQA#Token-Level Selection#Gather-Free Execution#Subspace Projection2026년 10월 14일댓글 수 로딩 중
[flashinfer] NVIDIA SM110 GPU를 위한 실험적인 FP16 GQA 디코드 커널 추가NVIDIA SM110 GPU에 최적화된 실험적인 FP16 GQA 디코드 커널을 추가하여 성능을 개선했습니다.#NVIDIA#SM110#GQA#FP16#Decode Kernel#Performance Optimization#FlashInfer2026년 9월 9일댓글 수 로딩 중
[onnxruntime] [ONNX Runtime] SGEMM의 함정에서 벗어나기: GQA 전용 GEMV 커널을 통한 디코딩 최적화ONNX Runtime에서 M=1인 디코딩 상황의 SGEMM 오버헤드를 해결하고, 전용 GEMV 커널로 GQA 성능을 최대 1.5배 끌어올린 최적화 사례를 분석합니다.#ONNX Runtime#GQA#Performance Optimization#GEMV#LLM Inference2026년 6월 26일댓글 수 로딩 중
[flashinfer] FlashInfer, 동적 토큰 페이지 커널 도입으로 TRTLLM-GEN GQA 성능 최적화FlashInfer가 TRTLLM-GEN GQA 커널에 동적 토큰 페이지 기능을 도입하여 LLM 추론 성능을 향상시켰습니다.#FlashInfer#LLM#최적화#GQA#TRTLLM-GEN#성능2026년 5월 11일댓글 수 로딩 중