[flashinfer] FlashInfer, Blackwell GPU를 위한 DeepSeek-V4 NVFP4 Sparse-MLA 디코드 최적화: Cake 백엔드 도입FlashInfer가 Blackwell GPU에서 DeepSeek-V4 NVFP4 Sparse-MLA 디코드를 위한 Cake 백엔드를 도입하여 최대 2배의 성능 향상을 달성했습니다.#FlashInfer#GPU 최적화#DeepSeek-V4#NVFP4#Sparse-MLA#Blackwell#CUDA#성능 최적화#LLM 추론2026년 10월 2일댓글 수 로딩 중
[flashinfer] FlashInfer, NVFP4를 활용한 DeepSeek-V4 디코딩 성능 최적화FlashInfer의 새로운 NVFP4 디코딩 커널이 DeepSeek-V4 모델의 추론 속도를 크게 향상시킵니다.#FlashInfer#DeepSeek-V4#NVFP4#양자화#성능 최적화#LLM 추론2026년 9월 24일댓글 수 로딩 중
[vllm] vLLM MRV2 샘플러: 불필요한 FP32 Logits Materialization 건너뛰기 최적화vLLM MRV2 샘플러에서 불필요한 FP32 logits 변환을 건너뛰어 성능을 최적화합니다.#vLLM#성능 최적화#LLM 추론#GPU#PyTorch2026년 7월 27일댓글 수 로딩 중
[vllm] vLLM, Diffusion-Gemma 샘플러 메모리 최적화: 요청 기반 타일링으로 OOM 문제 해결vLLM에서 Diffusion-Gemma 모델의 샘플링 과정 중 발생하는 메모리 OOM 문제를 요청 기반 타일링으로 해결한 PR을 분석합니다.#vLLM#Diffusion-Gemma#최적화#메모리 관리#LLM 추론2026년 7월 7일댓글 수 로딩 중
[vllm] vLLM, DeepSeek V4 모델의 저지연을 위한 RMSNorm과 라우터 GEMV 연산 융합으로 성능 극대화vLLM이 DeepSeek V4 모델에서 RMSNorm과 라우터 GEMV 연산을 융합하여 지연 시간을 단축하고 처리량을 향상시킨 방법을 분석합니다.#vLLM#DeepSeek V4#성능 최적화#CUDA 커널#LLM 추론2026년 5월 14일댓글 수 로딩 중
[sglang] SGLang: Piecewise CUDA Graph와 Sliding Window Attention의 효율적인 공존SGLang에서 Piecewise CUDA Graph와 Sliding Window Attention의 제약을 해제하여 성능을 개선합니다.#SGLang#CUDA Graph#Sliding Window Attention#성능 최적화#LLM 추론2026년 3월 31일댓글 수 로딩 중