[flashinfer] NVIDIA SM110 GPU를 위한 실험적인 FP16 GQA 디코드 커널 추가NVIDIA SM110 GPU에 최적화된 실험적인 FP16 GQA 디코드 커널을 추가하여 성능을 개선했습니다.#NVIDIA#SM110#GQA#FP16#Decode Kernel#Performance Optimization#FlashInfer2026년 9월 9일댓글 수 로딩 중
[sglang] SGLang에서 NPU를 위한 LTX-2/2.3 추론 성능 최적화 및 호환성 개선NPU 환경에서의 LTX-2/2.3 추론을 위해 float64 지원 제한 해결 및 커스텀 커널 최적화를 수행하여 성능을 10% 이상 향상했습니다.#SGLang#NPU#LTX-2#Triton#Inference Optimization2026년 9월 9일댓글 수 로딩 중
[Liger-Kernel] Ascend NPU 성능 극대화: Liger-Kernel의 커널 최적화 분석Ascend NPU를 위한 CrossEntropy, RMSNorm, RoPE 커널 최적화로 HBM 오버헤드를 줄이고 학습 성능을 극대화한 사례를 분석합니다.#Ascend#NPU#Triton#Liger-Kernel#Optimization2026년 9월 9일댓글 수 로딩 중
[sglang] NVIDIA SM90 GPU를 위한 SGLang SubBlock Sparse Attention 최적화: Sage FP8 Compute 도입SGLang의 SubBlock Sparse Attention에 Sage FP8 Compute를 도입하여 SM90 GPU에서 성능을 향상시키는 방법을 설명합니다.#SGLang#Attention#Sparse Attention#FP8#SM90#GPU Optimization#Triton2026년 9월 9일댓글 수 로딩 중
[flashinfer] NVFP4 MoE All-to-All 성능 최적화: Phased Dispatch 기법 분석FlashInfer에서 NVFP4 레이아웃의 비대칭 페이로드를 효율적으로 처리하기 위해 도입된 Phased Dispatch 기법과 그 성능 향상 효과를 살펴봅니다.#CUDA#MoE#FlashInfer#Performance Optimization#NVFP4#GPU2026년 9월 8일댓글 수 로딩 중
[sglang] SGLang의 새로운 스케줄링 정책: HRRN 도입을 통한 TTFT 최적화HRRN(Highest Response Ratio Next) 알고리즘을 도입하여 대기 시간과 처리량을 개선하고 TTFT를 획기적으로 단축하는 방법#SGLang#LLM#Scheduling#HRRN#Performance2026년 9월 8일댓글 수 로딩 중
[vllm] vLLM NVFP4 커널 선택 최적화: SM120/121 환경에서의 성능 향상vLLM에서 NVFP4 모델 실행 시 비효율적인 커널 선택 문제를 해결하여 처리량 23.8% 향상 및 TTFT 36% 단축을 달성한 사례를 분석합니다.#vLLM#LLM#CUDA#Optimization#NVFP4#KernelSelection2026년 9월 8일댓글 수 로딩 중
[flashinfer] FlashInfer NVFP4 KV 타일 리팩(Repack)을 통한 성능 최적화NVFP4 데이터의 소프트웨어 기반 E2M1 변환을 MMA 루프 밖으로 분리하여 커널 성능을 대폭 개선했습니다.#FlashInfer#CUDA#LLM#Optimization#NVFP42026년 9월 7일댓글 수 로딩 중
[cpython] Python difflib의 성능 개선: 비대칭 변경 시 발생하는 Quadratic Time 복잡도 문제 해결Python difflib 라이브러리의 _mdiff 함수가 비대칭적인 코드 변경 시 발생하는 Quadratic Time 복잡도 문제를 deque를 사용하여 해결한 PR 분석#Python#difflib#performance#optimization#deque2026년 9월 7일댓글 수 로딩 중
[vllm] vLLM Qwen3.8-Flash-Next: QSA Indexer 캐시를 위한 FP8 지원으로 메모리 효율 및 성능 최적화vLLM의 QSA Indexer 캐시에 FP8 지원을 추가하여 메모리 사용량을 줄이고 성능을 향상시키는 PR 분석.#vLLM#FP8#Quantization#LLM Optimization#QSA#Performance#Memory Efficiency#PyTorch2026년 9월 7일댓글 수 로딩 중
[sglang] H200 NVL에서 Qwen3.8-Flash-Next FP8 성능 극대화하기: Fused MoE Triton 설정 최적화NVIDIA H200 NVL 환경에서 Qwen MoE 모델의 추론 속도를 최대 23% 향상시킨 Triton 커널 튜닝 사례를 분석합니다.#LLM#Triton#MoE#H200#FP8#SGLang#Performance-Tuning2026년 9월 7일댓글 수 로딩 중
[ultralytics] Ultralytics YOLO에 INT8 Quantization-Aware Training(QAT) 도입하기YOLO 모델의 INT8 QAT를 통해 학습 중 가중치를 최적화하여, 배포 시 정확도 손실을 최소화하는 방법을 소개합니다.#YOLO#DeepLearning#Quantization#TensorRT#Optimization2026년 9월 7일댓글 수 로딩 중
[sglang] LLM 서빙 최적화: Gumbel-max 트릭으로 CPU 병목 제거하기 (SGLang 사례)torch.multinomial의 CPU 오버헤드를 Gumbel-max 트릭으로 대체하여 소형 모델의 디코딩 성능을 최대 75% 향상시킨 SGLang의 최적화 기법을 분석합니다.#LLM#SGLang#PyTorch#Optimization#Gumbel-Max#Performance2026년 9월 6일댓글 수 로딩 중
[starlette] Starlette의 CI 벤치마크 안정화: glibc mmap_threshold 최적화를 통한 업로드 버퍼 할당 개선Starlette CI 벤치마크에서 glibc의 mmap_threshold를 조정하여 업로드 버퍼 할당의 불안정성을 해결하고 성능을 개선했습니다.#Starlette#CI#Benchmark#Optimization#glibc#mmap#Memory Allocation2026년 9월 6일댓글 수 로딩 중
[sglang] SGLang Router의 버킷 기반 라우팅 및 KV Indexer 통합 최적화 분석SGLang Router의 버킷 기반 도메인 도입과 KV Indexer 통합을 통해 캐시 효율성과 라우팅 유연성을 극대화한 변경사항을 분석합니다.#SGLang#LLM#Router#KV-Cache#Distributed-Systems2026년 9월 6일댓글 수 로딩 중
[sglang] ROCm DSA Indexer Top-K 최적화: 정확성과 성능을 동시에 잡다sglang의 ROCm DSA indexer top-k 커널을 fp32 정밀도와 오버플로우 재스캔으로 개선하여 정확성과 성능을 대폭 향상시킨 PR 분석.#ROCm#HIP#GPU 최적화#Top-K#SGLang#성능#정확성#컴퓨팅 커널2026년 9월 6일댓글 수 로딩 중
[vllm] vLLM의 차세대 CPU 가속: Intel Diamond Rapids를 위한 AMX-FP8 어텐션 구현Intel Diamond Rapids CPU의 AMX-FP8 하드웨어 가속을 활용해 KV 캐시 디퀀트 오버헤드를 제거하고 추론 성능을 극대화했습니다.#vLLM#CPU#AMX#FP8#Performance2026년 9월 6일댓글 수 로딩 중
[sglang] SGLang: LFM2-MoE 모델을 위한 SM90 커널 퓨전 최적화 분석LFM2-MoE의 short-convolution 경로를 Triton 커널로 퓨전하여 연산 병목을 3배 가까이 개선한 사례를 분석합니다.#SGLang#Triton#CUDA#Optimization#LLM2026년 9월 5일댓글 수 로딩 중
[flashinfer] Blackwell 시대를 위한 최적화: FlashInfer의 SM120 Block-Sparse Attention 백엔드 도입기NVIDIA Blackwell(SM120) 아키텍처를 위한 Cake 백엔드 기반 Block-Sparse Attention 최적화로 성능을 11% 향상시킨 사례를 분석합니다.#FlashInfer#CUDA#Blackwell#SM120#Attention#Performance-Optimization2026년 9월 5일댓글 수 로딩 중
[flashinfer] Blackwell GPU를 위한 고성능 Recurrent-KDA 커널 최적화 및 통합Blackwell GPU 아키텍처에 최적화된 104개 KDA 커널 포트폴리오를 통합하여 추론 성능을 극대화했습니다.#FlashInfer#CUDA#Blackwell#KernelOptimization#LLM2026년 9월 5일댓글 수 로딩 중