[onnxruntime] ONNX Runtime MLAS, AVX-512 NCHWc Depthwise Convolution 최적화: Sliding Window 커널 도입ONNX Runtime MLAS가 AVX-512 NCHWc Depthwise Convolution 연산에 Sliding Window 기법을 도입하여 성능을 크게 향상시킨 PR을 분석합니다.#ONNX Runtime#MLAS#AVX-512#Optimization#Depthwise Convolution#Performance2026년 10월 5일댓글 수 로딩 중
[flashinfer] FlashInfer, Kimi-K3 어텐션의 성능 최적화: SM100/SM103 아키텍처를 위한 중간 크기 라우팅 개선FlashInfer의 Kimi-K3 어텐션 커널에서 중간 크기 토큰 수에 대한 라우팅 전략을 최적화하여 성능을 향상시킨 PR 분석#FlashInfer#AI#GPU#최적화#딥러닝#어텐션 메커니즘2026년 10월 4일댓글 수 로딩 중
[sglang] SGLang FLUX 3 Action 성능 최적화: CUDA Graphs 도입을 통한 Host Launch 오버헤드 제거CUDA Graphs를 도입하여 FLUX 3 Action 모델의 VAE 인코딩 및 디노이징 단계에서 발생하는 Host Launch 병목을 해결하고 최대 11.6%의 지연 시간 개선을 달성했습니다.#SGLang#CUDA Graphs#FLUX#Performance Optimization#LLM2026년 10월 4일댓글 수 로딩 중
[sglang] [SGLang] 10초 걸리던 API를 1초로: JSON Pixel List의 NumPy 변환 최적화SGLang에서 거대 JSON 리스트가 유발하던 IPC 병목을 NumPy 변환으로 해결하여 지연시간을 86% 단축한 사례를 분석합니다.#Python#Performance#NumPy#SGLang#IPC#Optimization2026년 10월 4일댓글 수 로딩 중
[flashinfer] FlashInfer의 CAKE 커널 최적화: 아키텍처 및 형상별 프로그램 선택 전략FlashInfer의 fused QK RoPE 커널을 아키텍처와 입력 형상에 맞춰 최적화된 프로그램으로 동적 선택하여 성능을 극대화했습니다.#FlashInfer#CUDA#LLM#KernelOptimization#Performance2026년 10월 3일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 성능 최적화: CuTe DSL을 활용한 Deterministic Finalize 개선기FlashInfer의 MoE W4A4/W4A16 unfused finalize 과정을 CuTe DSL 커널로 교체하고 PDL 스케줄링을 최적화하여 성능을 최대 11% 향상시킨 사례를 분석합니다.#FlashInfer#MoE#CUDA#CuTe-DSL#Performance-Optimization2026년 10월 2일댓글 수 로딩 중
[flashinfer] FlashInfer, Blackwell GPU를 위한 DeepSeek-V4 NVFP4 Sparse-MLA 디코드 최적화: Cake 백엔드 도입FlashInfer가 Blackwell GPU에서 DeepSeek-V4 NVFP4 Sparse-MLA 디코드를 위한 Cake 백엔드를 도입하여 최대 2배의 성능 향상을 달성했습니다.#FlashInfer#GPU 최적화#DeepSeek-V4#NVFP4#Sparse-MLA#Blackwell#CUDA#성능 최적화#LLM 추론2026년 10월 2일댓글 수 로딩 중
[vllm] vLLM, Qwen 모델의 성능을 극적으로 향상시킨 비결: SM121 TP=1 skinny-GEMM 최적화 분석vLLM이 Qwen 모델의 추론 속도를 9.5% 향상시킨 SM121 TP=1 skinny-GEMM 최적화를 상세 분석합니다.#vLLM#Qwen#성능 최적화#딥러닝#LLM#GEMM2026년 10월 2일댓글 수 로딩 중
[vllm] vLLM 성능 최적화: Sparse MLA 인덱스 변환 공유를 통한 3.9배 성능 향상GLM-5.3 모델의 Sparse MLA 연산에서 레이어별 중복 인덱스 변환을 제거하여 추론 성능을 최대 3.9배 개선했습니다.#vLLM#LLM#Optimization#Triton#MLA2026년 10월 2일댓글 수 로딩 중
[flashinfer] FlashInfer cake_sampling 최적화: Speculative Sampling과 Whole-CTA Tail 도입으로 성능 향상FlashInfer의 cake_sampling에서 Speculative Sampling과 Whole-CTA Tail을 도입하여 성능을 최적화한 PR 분석#FlashInfer#cake_sampling#Speculative Sampling#Performance Optimization#CUDA2026년 10월 1일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM100) 최적화: FlashInfer의 Cake FMHA 성능 개선 분석Blackwell 아키텍처에서 Speculative Decoding 및 MTP 성능을 최대 18% 향상시킨 FlashInfer의 커널 최적화 기법을 살펴봅니다.#CUDA#Blackwell#FlashInfer#LLM-Inference#Optimization2026년 10월 1일댓글 수 로딩 중
[vllm] vLLM, ColBERT/ColPali 문서 랭킹 속도 혁신: Flash-MaxSim Triton 커널 통합vLLM이 Flash-MaxSim Triton 커널을 통합하여 ColBERT/ColPali 문서 랭킹 성능을 획기적으로 개선한 방법을 기술합니다.#vLLM#Triton#GPU 최적화#ColBERT#성능 개선2026년 10월 1일댓글 수 로딩 중
[onnxruntime] WebGPU 성능의 한계를 넘어서: GatedDeltaNet 커널 최적화 분석WebGPU 환경에서 GatedDeltaNet의 재귀 연산 효율을 극대화하기 위한 벡터화 I/O 및 워크그룹 최적화 기법을 살펴봅니다.#WebGPU#ONNXRuntime#Optimization#GatedDeltaNet#DeepLearning2026년 10월 1일댓글 수 로딩 중
[flashinfer] FlashInfer PrimTS, Sage Attention 도입으로 8비트 양자화 및 성능 최적화 달성FlashInfer PrimTS에 Sage Attention을 도입하여 8비트 양자화 지원 및 성능 최적화를 달성한 PR 분석#FlashInfer#PrimTS#Sage Attention#양자화#성능 최적화#LLM2026년 9월 30일댓글 수 로딩 중
[flashinfer] FlashInfer의 새로운 DeepSeek Sparse Attention(DSA) 훈련 커널 최적화 분석SM100/SM103 GPU를 위한 고성능 64-query-head DSA 훈련 커널 도입 및 성능 최적화 분석.#FlashInfer#GPU#DeepSeek#SparseAttention#CUDA#Optimization2026년 9월 30일댓글 수 로딩 중
[vllm] vLLM Kimi-K3 MLA 디코드 성능 최적화: AITER 커널 퓨전 적용Kimi-K3 MLA 디코드 경로에서 KV-cache 쓰기와 Q-prep을 하나의 AITER 커널로 통합하여 커널 실행 횟수를 절반으로 줄이고 성능을 개선했습니다.#vLLM#ROCm#MLA#Performance#Optimization2026년 9월 30일댓글 수 로딩 중
[triton] Triton, TMA 전송 시 L2 캐시 정책 지원 추가: 성능 최적화 분석Triton의 TMA 연산에 L2 캐시 정책 지원을 추가하여 메모리 접근 성능을 개선하는 PR 분석#Triton#GPU#Optimization#Cache Policy#TMA2026년 9월 30일댓글 수 로딩 중
[flashinfer] [FlashInfer] Softmax 루프 최적화: Register Spill 방지를 위한 Tail Masking 분리 전략FlashInfer에서 S % 128 != 0인 경우 발생하는 Register Spilling 문제를 Softmax 루프 밖으로 Masking을 분리하여 해결하고 성능을 19% 개선한 사례를 분석합니다.#FlashInfer#CUDA#Optimization#LLM#Softmax#Register-Spilling2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer의 DeepSeek-V4 Sparse-MLA 최적화: Cake 백엔드 성능 개선 분석DeepSeek-V4 Sparse-MLA를 위한 Cake 백엔드 커널의 TMA 기반 최적화 및 성능 개선 사례 분석#FlashInfer#CUDA#DeepSeek-V4#Sparse-MLA#TMA#PerformanceOptimization2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer Kimi-K3 TP12 LatentMoE Tail 최적화: 8개 토큰까지 융합 및 FP64 게이팅 도입FlashInfer의 Kimi-K3 TP12 LatentMoE 연산에서 8개 토큰까지 융합하고 FP64 게이팅을 도입하여 성능과 정확도를 개선했습니다.#AI#Deep Learning#Optimization#FlashInfer#LLM#Kernel Fusion2026년 9월 29일댓글 수 로딩 중