[vllm] vLLM, Diffusion-Gemma 샘플러 메모리 최적화: 요청 기반 타일링으로 OOM 문제 해결vLLM에서 Diffusion-Gemma 모델의 샘플링 과정 중 발생하는 메모리 OOM 문제를 요청 기반 타일링으로 해결한 PR을 분석합니다.#vLLM#Diffusion-Gemma#최적화#메모리 관리#LLM 추론2026년 7월 7일댓글 수 로딩 중
[vllm] vLLM, DeepSeek V4 모델의 저지연을 위한 RMSNorm과 라우터 GEMV 연산 융합으로 성능 극대화vLLM이 DeepSeek V4 모델에서 RMSNorm과 라우터 GEMV 연산을 융합하여 지연 시간을 단축하고 처리량을 향상시킨 방법을 분석합니다.#vLLM#DeepSeek V4#성능 최적화#CUDA 커널#LLM 추론2026년 5월 14일댓글 수 로딩 중
[sglang] SGLang: Piecewise CUDA Graph와 Sliding Window Attention의 효율적인 공존SGLang에서 Piecewise CUDA Graph와 Sliding Window Attention의 제약을 해제하여 성능을 개선합니다.#SGLang#CUDA Graph#Sliding Window Attention#성능 최적화#LLM 추론2026년 3월 31일댓글 수 로딩 중