[flashinfer] FlashInfer BatchAttention: K/V 스트라이드 최적화를 통한 성능 향상FlashInfer의 BatchAttention에서 K/V 캐시 스트라이드 일치 시 성능을 높이는 최적화 분석#FlashInfer#BatchAttention#최적화#성능#딥러닝2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer: GB200/GB300 NVL72 환경에서의 LatentMoE 추론 최적화Kimi-K3 TP12 LatentMoE 커널의 파이프라인 최적화 및 weight-streaming 도입을 통한 성능 극대화#FlashInfer#GPU#CUDA#LatentMoE#Performance2026년 9월 28일댓글 수 로딩 중
[flashinfer] FlashInfer, cuDNN Frost MoE 디코딩 최적화: 성능 향상과 코드 개선 분석FlashInfer의 cuDNN Frost MoE 디코딩 최적화 PR 분석: 코드 변경사항, 성능 개선점, 그리고 기술적 교훈#FlashInfer#MoE#최적화#CUDA#딥러닝2026년 9월 28일댓글 수 로딩 중
[flashinfer] FlashInfer SM110 XQA 최적화: register_mma_split 도입으로 FP16 Paged Attention 성능 향상NVIDIA Thor GPU를 위한 새로운 register_mma_split 커널을 도입하여 FP16 Paged KV 캐시 환경에서 최대 1.08배 성능 향상을 달성했습니다.#FlashInfer#CUDA#GPU#Attention#Optimization#SM1102026년 9월 27일댓글 수 로딩 중
[flashinfer] FlashInfer, Qwen3-30B 모델의 성능 향상을 위한 CUDA 커널 최적화: L2 캐시 힌트 도입FlashInfer의 Qwen3-30B 모델 추론 성능을 향상시킨 CUDA 커널 최적화 분석#CUDA#Optimization#Deep Learning#LLM#FlashInfer#Qwen3-30B2026년 9월 27일댓글 수 로딩 중
[flashinfer] Hopper(SM90)의 잠재력을 깨우는 Attention 최적화: FlashInfer 'Cake' 백엔드 분석Hopper 아키텍처의 특성을 활용한 Warpgroup 병렬화와 Cluster Barrier 최적화로 Attention 성능을 극대화하는 방법을 알아봅니다.#CUDA#Hopper#SM90#Attention#FlashInfer#Performance Optimization2026년 9월 27일댓글 수 로딩 중
[sglang] MiniMax-H3 모델의 추론 속도 4.6배 향상: Spectrum Skip-Step 최적화MiniMax-H3 모델에 Spectrum skip-step 기술을 도입하여 24GB GPU 환경에서 추론 속도를 최대 4.6배 개선했습니다.#SGLang#MiniMax-H3#Diffusion#Optimization#Spectrum2026년 9월 27일댓글 수 로딩 중
[Liger-Kernel] Liger-Kernel: Cross-Entropy와 Total Variation Distance를 하나로 융합하여 성능을 극대화하다Liger-Kernel이 Cross-Entropy와 Total Variation Distance를 단일 연산으로 융합하여 메모리 및 HBM 트래픽을 획기적으로 개선했습니다.#딥러닝#최적화#Triton#GPU#Liger-Kernel2026년 9월 27일댓글 수 로딩 중
[flashinfer] FlashInfer MiniMax-H3 Attention 최적화: K/V-split을 통한 성능 향상 분석FlashInfer의 MiniMax-H3 Attention 커널에서 K/V-split 기법을 도입하여 성능을 개선한 PR을 분석합니다.#FlashInfer#Attention#Optimization#Performance#CUDA#Deep Learning2026년 9월 26일댓글 수 로딩 중
[flashinfer] FlashInfer NVFP4 QKV GEMM 최적화: SM103a Epilogue 통합 및 CUDA 런처 개선FlashInfer의 NVFP4 QKV GEMM 커널이 SM103a에서 Epilogue 통합으로 성능을 개선하고, CUDA 런처의 디바이스 검증 로직을 최적화했습니다.#CUDA#GPU Optimization#GEMM#FlashInfer#NVFP4#Deep Learning#Performance2026년 9월 26일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell의 잠재력을 극한으로: MiniMax-H3 NVFP4 양자화 및 GEMM 최적화 분석Blackwell 아키텍처에서 NVFP4 양자화 및 TMEM 드레인 최적화를 통해 최대 4배의 성능 향상을 달성한 기법을 살펴봅니다.#CUDA#Blackwell#NVFP4#FlashInfer#Performance-Optimization2026년 9월 26일댓글 수 로딩 중
[flashinfer] FlashInfer Kimi-K3 Fused MoE Router 최적화: Warp-per-row 전략 도입대규모 MoE 라우팅 성능 향상을 위해 Warp-per-row 선택 전략과 Dual-expert 정렬 최적화를 도입하여 B200/GB300에서 최대 1.8배 성능을 개선했습니다.#FlashInfer#MoE#CUDA#GPU Optimization#Performance2026년 9월 26일댓글 수 로딩 중
[sglang] SGLang 성능 최적화: RTX 4090에서 MXFP4 MoE 추론 속도 6배 향상시키기Triton 커널의 warp count 제약 조건을 최적화하여 Hopper 이전 아키텍처에서 MXFP4 MoE 추론 성능을 획기적으로 개선했습니다.#SGLang#Triton#GPU#Optimization#MXFP42026년 9월 26일댓글 수 로딩 중
[flashinfer] FlashInfer KDA: BF16 준비된 Prefill 계획 캐싱 및 FP32 중간 상태 최적화 분석FlashInfer KDA의 BF16 준비된 Prefill 계획 캐싱 및 FP32 중간 상태 최적화 분석#FlashInfer#KDA#BF16#FP32#최적화#성능#LLM2026년 9월 25일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM120)을 위한 초고속 커널 최적화: MiniMax-H3 Fused FC1 + SwiGLU 분석RTX 5090 및 Blackwell 아키텍처에서 FP8/NVFP4 양자화를 활용하여 MiniMax-H3 모델의 FC1+SwiGLU 연산을 최대 2.7배 가속화하는 기법을 살펴봅니다.#CUDA#NVIDIA Blackwell#FlashInfer#Deep Learning Optimization#Quantization2026년 9월 25일댓글 수 로딩 중
[onnxruntime] ONNX Runtime, x86 CPU에서 FP16 LayerNorm 및 RMSNorm 성능 최적화: AVX2 활용ONNX Runtime이 x86 CPU에서 FP16 LayerNorm 및 RMSNorm 연산의 성능을 AVX2, FMA, F16C 명령어셋을 활용하여 대폭 개선했습니다.#ONNX Runtime#CPU 최적화#FP16#LayerNorm#RMSNorm#AVX2#MLAS2026년 9월 25일댓글 수 로딩 중
[vllm] vLLM GLM5.3 성능 최적화: 메타데이터 연산 속도 1.6~4.8배 향상vLLM에서 GLM5.3 모델의 메타데이터 연산 속도를 획기적으로 개선하여 추론 성능을 높인 PR 분석#vLLM#성능 최적화#LLM#GPU#CUDA#Triton2026년 9월 25일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 극한의 최적화: MiniMax-H3 Fused 커널의 256-Column Tiling 전략Blackwell(SM100/103)의 TMEM과 TMA를 활용하여 MiniMax-H3 fused 커널 성능을 최대 32% 향상시킨 Tiling 및 메모리 최적화 기법 분석#CUDA#Blackwell#FlashInfer#GEMM#Optimization#TMA#TMEM2026년 9월 24일댓글 수 로딩 중
[flashinfer] FlashInfer, MTP/Speculative 디코딩 성능 1.23배 향상: Packed-Row 최적화 분석FlashInfer의 실험적인 BF16 GQA 디코딩에서 MTP/Speculative 디코딩 성능을 크게 향상시킨 Packed-Row 최적화 분석#FlashInfer#GPU 최적화#LLM#성능 개선#CUDA2026년 9월 24일댓글 수 로딩 중
[flashinfer] FlashInfer, NVFP4를 활용한 DeepSeek-V4 디코딩 성능 최적화FlashInfer의 새로운 NVFP4 디코딩 커널이 DeepSeek-V4 모델의 추론 속도를 크게 향상시킵니다.#FlashInfer#DeepSeek-V4#NVFP4#양자화#성능 최적화#LLM 추론2026년 9월 24일댓글 수 로딩 중