[flashinfer] Blackwell(SM100a) 성능 극대화: FlashInfer의 CTA-Pair 커널 최적화 분석FlashInfer의 Cake 백엔드에서 SM100a(B200)를 위한 CTA-pair 커널을 도입하여 특정 Shape에서 최대 10.1%의 성능 향상을 달성한 과정을 분석합니다.#FlashInfer#Blackwell#CUDA#Performance-Optimization#LLM-Inference2026년 10월 19일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 FlashInfer의 FP8/BF16 혼합 정밀도 Attention 최적화 분석FlashInfer에서 Blackwell(B200/B300) GPU를 타겟으로 한 P-in-SMEM 및 Two-CTA UMMA 최적화를 통해 FP8 Attention 성능을 극대화하는 방법을 분석합니다.#FlashInfer#Blackwell#FP8#CUDA#LLM-Inference#Performance-Optimization2026년 10월 8일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM100) 최적화: FlashInfer의 Cake FMHA 성능 개선 분석Blackwell 아키텍처에서 Speculative Decoding 및 MTP 성능을 최대 18% 향상시킨 FlashInfer의 커널 최적화 기법을 살펴봅니다.#CUDA#Blackwell#FlashInfer#LLM-Inference#Optimization2026년 10월 1일댓글 수 로딩 중
[sglang] [SGLang] VLM 추론 성능의 비약적 향상: Cross-request ViT Batching과 Metadata 재사용 기법SGLang에서 여러 VLM 요청의 이미지를 한 번에 처리하고, 불필요한 CPU-GPU 동기화를 제거하여 TTFT를 최대 26% 개선한 최적화 사례를 분석합니다.#VLM#SGLang#LLM-Inference#CUDA#PyTorch#Optimization2026년 7월 18일댓글 수 로딩 중
[vllm] vLLM 하이브리드 모델을 위한 혁신: Partial Prefix Cache Hit 구현 분석vLLM이 하이브리드 모델(Mamba+Attention)에서 물리 블록보다 작은 단위의 캐시 히트를 지원하여 추론 지연시간을 약 30% 단축한 기술적 비결을 살펴봅니다.#vLLM#LLM-Inference#Prefix-Caching#Mamba#Hybrid-Model#Optimization2026년 7월 12일댓글 수 로딩 중