[sglang] [DeepSeek-V4.1] Blackwell(SM100) 성능의 한계를 끌어올리는 Fused WO-A 커널 최적화 분석DeepSeek-V4.1 모델의 디코드 성능을 3% 향상시킨 Blackwell 전용 Inverse-RoPE + WO-A + MXFP8 퓨즈드 커널 최적화 기법을 분석합니다.#DeepSeek-V4#Blackwell#CUDA#PTX#Kernel-Fusion#LLM-Optimization2026년 9월 19일댓글 수 로딩 중
[flashinfer] FlashInfer, 최신 GPU 아키텍처를 위한 커널 튜닝으로 성능 극대화FlashInfer가 최신 GPU 아키텍처(SM100/103/107)에 맞춰 커널 튜닝을 통해 qk_rmsnorm 및 fused_add_rmsnorm_quant 성능을 개선했습니다.#GPU#최적화#성능#CUDA#FlashInfer#딥러닝2026년 9월 18일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA 데이터 로딩 최적화: Pinned Buffer와 병렬 I/O를 통한 성능 개선CUDA 외부 데이터 로딩 시 Pinned Buffer와 병렬 읽기를 도입하여 모델 로딩 속도를 최대 29.8% 향상시킨 최적화 기법을 분석합니다.#ONNX Runtime#CUDA#Performance Optimization#Pinned Memory#Parallel I/O2026년 9월 18일댓글 수 로딩 중
[sglang] AMD MI355X에서 GLM-5.2 성능 극대화하기: 왜 다시 HIP Top-K인가?SGLang이 AMD MI355X 환경에서 GLM-5.2 모델의 P90 지연시간을 10% 개선하기 위해 Top-K 구현체를 최적화한 사례를 분석합니다.#AMD#ROCm#MI355X#SGLang#Top-K#Optimization#LLM2026년 9월 18일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 RISC-V RVV 커널 최적화: 추론 성능 극대화RISC-V Vector(RVV) 확장을 활용하여 Softmax, Convolution, Activation 연산을 최적화하고 추론 속도를 최대 3배 향상시킨 사례 분석.#ONNX Runtime#RISC-V#RVV#Performance Optimization#Inference2026년 9월 17일댓글 수 로딩 중
[onnxruntime] ONNX Runtime MoE 최적화: QMoE CPU GEMM 성능 대폭 향상ONNX Runtime에서 MoE 모델의 CPU 추론 성능을 획기적으로 개선하는 최적화 기법을 소개합니다.#ONNX Runtime#MoE#CPU 최적화#GEMM#양자화2026년 9월 17일댓글 수 로딩 중
[sglang] SGLang의 새로운 캐시 전략: T-LRU로 에이전트 워크로드의 TTFT 최적화하기T-LRU(Tail-Optimized LRU) 도입을 통해 에이전트 환경에서 TTFT를 개선하고 캐시 효율을 극대화하는 방법을 분석합니다.#SGLang#LLM#Caching#Performance#Optimization2026년 9월 17일댓글 수 로딩 중
[ultralytics] YOLO 학습 성능 25% 향상: B200 GPU 최적화 분석YOLO 학습 파이프라인의 불필요한 GPU 동기화, 메모리 복사 및 초기화 오버헤드를 제거하여 학습 속도를 1.25배 개선한 사례를 분석합니다.#YOLO#PyTorch#Performance#Optimization#CUDA2026년 9월 16일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 MoE All-Reduce Fusion 최적화: FlashInfer의 'Cake' 백엔드 분석Blackwell(SM100/103) 환경에서 MoE All-Reduce와 RMSNorm을 융합하여 1.12배 성능 향상을 달성한 FlashInfer의 새로운 최적화 기법을 살펴봅니다.#NVIDIA Blackwell#MoE#All-Reduce#CUDA#FlashInfer#Performance Optimization2026년 9월 16일댓글 수 로딩 중
[ultralytics] RT-DETR의 OpenVINO INT8 양자화 정확도 문제 해결: NNCF Transformer 모드 적용RT-DETR의 디코더를 FP32로 유지하고 NNCF Transformer 양자화를 적용하여 INT8 정확도를 획기적으로 개선한 최적화 사례.#RT-DETR#OpenVINO#NNCF#Quantization#DeepLearning2026년 9월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime, SM90 GPU를 위한 네이티브 FP8 행렬 곱셈 최적화 도입ONNX Runtime이 SM90 GPU에서 MatMulBlockQuantizedFp8Weight 연산자를 위한 네이티브 FP8 행렬 곱셈 경로를 도입하여 성능을 크게 향상시켰습니다.#ONNX Runtime#CUDA#FP8#SM90#DeepGEMM#최적화#성능2026년 9월 16일댓글 수 로딩 중
[loki] Grafana Loki LogQL 성능 최적화: Constant-Label Fast Path 도입LogQL 쿼리 실행 시 스트림 레이블이 변하지 않는 경우, 매 라인마다 레이블을 재계산하지 않고 한 번만 계산하여 성능을 대폭 개선했습니다.#Grafana Loki#LogQL#Performance#Golang#Optimization2026년 9월 15일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처에서 FlashInfer Ragged Prefill 성능 3.3배 향상시키기Blackwell GPU에서 backend='auto'가 cuDNN/CUTLASS를 활용하도록 개선하여 Ragged Prefill 성능을 최대 3.3배 향상했습니다.#FlashInfer#LLM#Blackwell#cuDNN#Performance2026년 9월 15일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: NHWC Depthwise Convolution 최적화 분석WebGPU 환경에서 NHWC Depthwise Convolution을 벡터화하여 성능을 개선한 최적화 기법을 분석합니다.#ONNX Runtime#WebGPU#Optimization#Convolution#Performance2026년 9월 15일댓글 수 로딩 중
[vllm] [vLLM 성능 최적화] Nemotron-3 디코딩 속도를 13% 향상시킨 Latent-MoE All-Reduce 최적화 분석Nemotron-3 모델의 TP 환경에서 불필요한 All-Reduce를 제거하여 디코딩 성능을 13% 복구한 최적화 기법을 살펴봅니다.#vLLM#Nemotron#Performance#All-Reduce#MoE#Tensor-Parallelism2026년 9월 15일댓글 수 로딩 중
[vllm] vLLM에서 DeepSeek V4.1을 위한 Mega-mHC 커널 최적화DeepGEMM 기반의 Mega-mHC 커널을 통합하여 DeepSeek V4.1 모델의 추론 성능을 최대 1.5배 향상시켰습니다.#vLLM#DeepSeek#DeepGEMM#KernelOptimization#LLM2026년 9월 15일댓글 수 로딩 중
[flashinfer] [FlashInfer] Paged Attention 최적화: 동일 Stride 구조에서의 주소 계산 오버헤드 제거K와 V의 메모리 레이아웃이 동일할 때 불필요한 주소 계산을 생략하여 성능을 18% 이상 개선한 사례를 분석합니다.#CUDA#FlashAttention#LLM#Optimization#FlashInfer2026년 9월 14일댓글 수 로딩 중
[cpython] Python 토크나이저 최적화: 불필요한 개행 문자 변환 건너뛰기로 성능 개선Python 토크나이저의 개행 문자 정규화 과정을 최적화하여 파싱 성능을 개선한 PR 분석.#Python#CPython#Tokenizer#Optimization#Performance#C#memchr#memcpy2026년 9월 14일댓글 수 로딩 중
[flashinfer] FlashInfer, 통신 최적화를 통한 LLM 추론 속도 향상: Ulysses Head-Chunk Primitives 도입FlashInfer가 Ulysses Head-Chunk Primitives를 도입하여 LLM 추론 시 통신 오버헤드를 줄이고 성능을 개선했습니다.#FlashInfer#LLM#추론 최적화#통신 최적화#Ulysses#Head-Chunk2026년 9월 14일댓글 수 로딩 중
[Liger-Kernel] Liger-Kernel: SM90 MoE 통신 최적화 및 안정성 개선SM90 아키텍처에서 MoE 통신을 로컬/인터호스트로 분리 최적화하고, 백워드 동기화 행 문제를 해결하여 성능을 극대화했습니다.#Liger-Kernel#MoE#SM90#CUDA#NVSHMEM#Performance2026년 9월 14일댓글 수 로딩 중