[onnxruntime] ONNX Runtime CUDA QMoE 및 FP8 최적화: 성능 향상 및 메모리 효율성 증대ONNX Runtime CUDA에서 NVFP4 가중치 레이아웃 및 블록 스케일 FP8 실행을 최적화하여 대규모 MoE 모델의 성능과 메모리 효율성을 개선했습니다.#ONNX Runtime#CUDA#Optimization#FP8#MoE#QMoE#NVFP4#Performance2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA Packed Sparse Attention 최적화: 성능 향상의 비결ONNX Runtime CUDA Packed Sparse Attention의 성능을 획기적으로 개선한 최적화 PR 분석#ONNX Runtime#CUDA#Sparse Attention#Optimization#Performance2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer, NVIDIA 최신 GPU를 위한 AlphaMoE NVFP4 커널 최적화로 성능 대폭 향상FlashInfer의 최신 PR은 NVIDIA B200 및 GB300 GPU에서 AlphaMoE NVFP4 연산 속도를 크게 향상시켜 SOTA 성능을 달성했습니다.#AI#GPU#최적화#성능#FlashInfer#AlphaMoE#NVFP4#NVIDIA2026년 10월 15일댓글 수 로딩 중
[flashinfer] FlashInfer AlphaMoE W8A8 커널 최적화: (M, K) 기반 동적 커널 디스패치NVIDIA B200/GB300에서 W8A8 MoE 커널의 파이프라인 깊이와 CTA 설정을 (M, K)에 따라 최적화하여 성능을 극대화했습니다.#FlashInfer#MoE#CUDA#KernelOptimization#FP82026년 10월 15일댓글 수 로딩 중
[flashinfer] Kimi K3를 위한 초고속 통신 최적화: FlashInfer의 Blackwell MNNVL CuTe DSL 프로파일링 분석FlashInfer가 Kimi K3 모델(H7168)을 위해 Blackwell NVLink 환경에서 All-Reduce와 MoE Fusion을 최적화한 방법을 분석합니다.#FlashInfer#Blackwell#NVLink#CUDA#MoE#Optimization2026년 10월 15일댓글 수 로딩 중
[vllm] AMD ROCm GFX11 GPU의 L2 캐시 충돌을 피하기 위한 GEMM 가중치 행 스트라이드 최적화AMD ROCm GFX11 GPU에서 GEMM 연산 시 L2 캐시 충돌 문제를 해결하여 성능을 개선하는 코드 최적화 분석.#vllm#ROCm#AMD#GFX11#GEMM#최적화#성능2026년 10월 15일댓글 수 로딩 중
[vllm] vLLM의 Mamba 블록 테이블 가더(Gather) 최적화: 7개 커널을 1개로 통합하여 6배 속도 향상Mamba 모델의 블록 테이블 정렬 연산을 7개의 커널 호출에서 1개의 Triton 커널로 통합하여 오버헤드를 획기적으로 줄였습니다.#vLLM#Triton#Kernel Optimization#Mamba#Performance2026년 10월 15일댓글 수 로딩 중
[flashinfer] FlashInfer Blackwell(SM103) 최적화: Sage 커널 및 Block-Sparse 성능 개선Blackwell 아키텍처를 위한 Sage 커널 튜닝 및 Softmax 리스케일링 최적화를 통해 최대 25% 이상의 성능 향상을 달성했습니다.#FlashInfer#CUDA#Blackwell#Attention#Optimization2026년 10월 13일댓글 수 로딩 중
[flashinfer] [FlashInfer] Device-side Gating을 통한 MoE GEMM2 경로 최적화: Kimi-K3 모델 성능 개선 사례MoE의 GEMM2 경로 선택 로직을 호스트에서 디바이스로 이동시켜, 롱 프리필 상황에서 최대 9.5%의 성능 향상을 달성한 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Optimization#LLM Inference#Kimi-K32026년 10월 13일댓글 수 로딩 중
[ollama] Ollama Gemma4 모델의 CUDA Prefill 성능 최적화: MLX SDPA 도입기Gemma4 모델의 CUDA prefill 과정에서 수동 구현된 Attention을 MLX SDPA로 대체하여 최대 12배의 성능 향상을 달성했습니다.#Ollama#CUDA#Gemma4#MLX#SDPA#Performance Optimization2026년 10월 13일댓글 수 로딩 중
[vllm] vLLM, GLM-5.3 Flash 모델의 FP8 KV 캐시 기본 활성화로 성능 9.8% 향상vLLM에서 GLM-5.3 Flash 모델의 KV 캐시를 FP8으로 기본 설정하여 추론 성능을 개선했습니다.#vLLM#LLM#성능 최적화#FP8#KV 캐시#GLM-5.3 Flash2026년 10월 13일댓글 수 로딩 중
[flashinfer] FlashInfer의 MXFP8 GEMM 성능 최적화: Warp-level Split-K 도입SM100/SM103 아키텍처에서 MXFP8 GEMM의 성능을 극대화하기 위한 Warp-level Split-K 최적화 기법 분석.#FlashInfer#CUDA#GEMM#MXFP8#Performance#GPU2026년 10월 12일댓글 수 로딩 중
[vllm] vLLM의 MLA 메타데이터 빌드 성능 최적화: 호스트 디스패치 오버헤드 제거MLA 메타데이터 빌드 과정에서 불필요한 PyTorch 텐서 디스패치를 제거하여 호스트 측 지연 시간을 최대 21배 개선했습니다.#vLLM#Performance#PyTorch#Optimization#MLA2026년 10월 12일댓글 수 로딩 중
[vllm] [vLLM 성능 최적화] MoE 레이어의 불필요한 메모리 복사를 제거하는 Humming 최적화 분석MoE 모델의 w13 GEMM 연산 전, 조건에 따라 불필요한 입력 데이터 복사를 생략하여 메모리 대역폭을 절약하고 추론 성능을 개선한 사례를 살펴봅니다.#vLLM#MoE#Performance#Optimization#CUDA#LLM2026년 10월 12일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU 성능 향상: YOLOX 모델 최적화 분석ONNX Runtime에서 YOLOX 모델의 CPU 성능을 획기적으로 개선한 PR 분석#ONNX Runtime#CPU 최적화#YOLOX#성능 개선#MLAS2026년 10월 12일댓글 수 로딩 중
[flashinfer] FlashInfer Blackwell MSA 커널 최적화: CAKE 기반의 성능 개선 분석Blackwell 아키텍처를 위한 MiniMax Sparse Attention 커널의 재설계와 최적화 전략을 분석합니다.#FlashInfer#CUDA#Blackwell#Performance#Attention2026년 10월 11일댓글 수 로딩 중
[cpython] Python GC, 불필요한 순회 제거로 33% 성능 향상!Python GC가 객체 순회 횟수를 줄여 33% 이상 성능을 개선한 최적화 PR 분석.#Python#CPython#GarbageCollection#Performance#Optimization#C#Internals2026년 10월 11일댓글 수 로딩 중
[uvicorn] Uvicorn의 리로드 패턴 최적화: O(N²)에서 O(N log N)으로의 성능 개선Uvicorn의 리로드 디렉토리 중복 제거 로직을 개선하여 대규모 디렉토리 트리 환경에서의 시작 속도를 획기적으로 개선한 사례를 분석합니다.#Uvicorn#Python#Performance#Optimization#Algorithm2026년 10월 11일댓글 수 로딩 중
[vllm] [vLLM] GLM-5.3-Flash: 롱 컨텍스트 Prefill 성능을 32% 끌어올린 TP 쿼리 로우 샤딩 분석vLLM에서 중복 계산을 제거하고 통신 효율을 극대화하여 1M 컨텍스트 TTFT를 25% 단축시킨 쿼리 로우 샤딩 최적화 기법을 소개합니다.#vLLM#LLM Optimization#Tensor Parallelism#GLM-5.3-Flash#Deep Learning Performance2026년 10월 11일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 성능 최적화: num_stages=1 적용으로 _hc_mix_stats_partial_kernel 속도 향상DeepSeek-V4.1 모델의 저지연 디코딩 성능을 개선하기 위해 _hc_mix_stats_partial_kernel의 num_stages 설정을 최적화했습니다.#딥러닝#최적화#성능#GPU#Triton#DeepSeek#sglang2026년 10월 11일댓글 수 로딩 중