[flashinfer] FlashInfer: NVFP4 KV 캐시 어펜드 성능 최적화로 인한 동기화 제거FlashInfer의 NVFP4 KV 캐시 어펜드 시 불필요한 호스트 동기화를 제거하여 성능을 개선했습니다.#FlashInfer#성능 최적화#KV 캐시#CUDA#딥러닝2026년 10월 21일댓글 수 로딩 중
[vllm] vLLM, GLM-5.3 Flash 모델의 FP8 KV 캐시 기본 활성화로 성능 9.8% 향상vLLM에서 GLM-5.3 Flash 모델의 KV 캐시를 FP8으로 기본 설정하여 추론 성능을 개선했습니다.#vLLM#LLM#성능 최적화#FP8#KV 캐시#GLM-5.3 Flash2026년 10월 13일댓글 수 로딩 중
[vllm] vLLM의 KV 캐시 로드 경로 최적화: NumPy를 활용한 VectorizationvLLM의 KV 캐시 로드 경로에서 발생하는 병목 현상을 NumPy를 이용해 개선한 PR 분석#vLLM#성능 최적화#KV 캐시#Vectorization#NumPy#Python2026년 7월 23일댓글 수 로딩 중