[vllm] vLLM, Qwen 3.8B 모델의 성능을 3배까지 향상시킨 최적화 분석vLLM이 Qwen 3.8B 모델에서 GEMM 연산 최적화를 통해 성능을 크게 향상시킨 PR을 분석합니다.#vLLM#성능 최적화#GEMM#Qwen#딥러닝2026년 10월 31일댓글 수 로딩 중
[flashinfer] FlashInfer FP8 GEMM 최적화: 윈도우 세그먼트 KG1 프로그램으로 GPU 성능 극대화FlashInfer의 FP8 GEMM 커널이 특정 조건에서 최대 1.4배 빨라진 비결을 파헤칩니다.#FlashInfer#GPU 최적화#FP8 GEMM#CUDA#성능 개선#딥러닝#병렬 컴퓨팅2026년 10월 29일댓글 수 로딩 중
[flashinfer] FlashInfer: NVFP4 MLA 디코드 최적화로 단일 아이템 디코드 성능 향상FlashInfer의 NVFP4 MLA 디코드 커널에서 단일 아이템 디코드 시 첫 번째 아이템 로딩 최적화를 통해 성능을 개선했습니다.#FlashInfer#성능 최적화#CUDA#딥러닝#LLM2026년 10월 28일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 최적화: Ampere 및 Hopper 아키텍처에서 그룹화된 활성화 스테이징 오버랩FlashInfer의 MoE 연산에서 Ampere 및 Hopper GPU의 활성화 데이터 로딩 및 처리를 최적화하여 성능을 향상시킵니다.#FlashInfer#MoE#GPU 최적화#Ampere#Hopper#CUDA#딥러닝2026년 10월 26일댓글 수 로딩 중
[sglang] CuTe-DSL 정규화 커널 최적화: 워프당 여러 청크 처리로 성능 향상CuTe-DSL 기반 정규화 커널에서 워프당 더 많은 데이터 청크를 처리하도록 최적화하여 성능을 개선했습니다.#CUDA#CuTe-DSL#최적화#성능#딥러닝2026년 10월 26일댓글 수 로딩 중
[flashinfer] FlashInfer Cake DSA Indexer 최적화: Far Sample 도입 및 성능 개선 분석FlashInfer의 Cake DSA Indexer가 새로운 'far_sample' 옵션과 커널 튜닝으로 성능을 향상시킨 PR을 분석합니다.#FlashInfer#성능 최적화#DSA Indexer#CUDA#딥러닝2026년 10월 24일댓글 수 로딩 중
[flashinfer] FlashInfer, SM103a 아키텍처를 위한 cake_all_gather_matmul 최적화: CTA-pair 트윈 도입으로 성능 향상FlashInfer의 cake_all_gather_matmul 연산에서 SM103a 아키텍처를 위한 CTA-pair 트윈 도입으로 성능을 개선한 PR 분석#FlashInfer#NVIDIA#GPU 최적화#CUDA#딥러닝#LLM2026년 10월 23일댓글 수 로딩 중
[flashinfer] FlashInfer의 Kimi-K3 AttnRes 연산자 최적화: SM100/SM103를 위한 성능 향상FlashInfer의 Kimi-K3 AttnRes 연산자가 최신 GPU 아키텍처에 맞춰 최적화되어 성능이 향상되었습니다.#FlashInfer#AI#성능 최적화#CUDA#딥러닝2026년 10월 22일댓글 수 로딩 중
[flashinfer] FlashInfer: NVFP4 KV 캐시 어펜드 성능 최적화로 인한 동기화 제거FlashInfer의 NVFP4 KV 캐시 어펜드 시 불필요한 호스트 동기화를 제거하여 성능을 개선했습니다.#FlashInfer#성능 최적화#KV 캐시#CUDA#딥러닝2026년 10월 21일댓글 수 로딩 중
[flashinfer] FlashInfer, Blackwell GPU를 위한 최적화된 Dense Projection GEMM 도입FlashInfer의 최신 PR은 Blackwell GPU 아키텍처에 최적화된 Dense Projection GEMM을 도입하여 성능을 크게 향상시킵니다.#FlashInfer#GEMM#Blackwell#GPU 최적화#딥러닝2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer, Muse-Spark-Open을 위한 융합 정규화 및 TP/EP MoE 최적화로 성능 극대화FlashInfer가 Muse-Spark-Open 모델을 위해 융합 정규화 및 TP/EP MoE 커널을 도입하여 성능을 크게 향상시킨 방법을 분석합니다.#FlashInfer#최적화#딥러닝#GPU#MoE#정규화2026년 10월 16일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 성능 최적화: num_stages=1 적용으로 _hc_mix_stats_partial_kernel 속도 향상DeepSeek-V4.1 모델의 저지연 디코딩 성능을 개선하기 위해 _hc_mix_stats_partial_kernel의 num_stages 설정을 최적화했습니다.#딥러닝#최적화#성능#GPU#Triton#DeepSeek#sglang2026년 10월 11일댓글 수 로딩 중
[flashinfer] FlashInfer: BF16 어텐션 최적화 - SM100a의 P Barrier 개선 및 Tail-round Q-split 도입FlashInfer의 BF16 어텐션 커널 성능 개선: SM100a의 P Barrier 최적화와 Tail-round Q-split 도입.#FlashInfer#AI#최적화#성능 개선#딥러닝#어텐션 메커니즘#BF162026년 10월 10일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU QMoE: 단일 토큰 라우팅 최적화로 성능 대폭 향상ONNX Runtime WebGPU에서 QMoE의 단일 토큰 라우팅 로직을 최적화하여 성능을 크게 개선한 PR 분석#ONNX Runtime#WebGPU#QMoE#최적화#성능#딥러닝2026년 10월 9일댓글 수 로딩 중
[flashinfer] FlashInfer, Kimi-K3 어텐션의 성능 최적화: SM100/SM103 아키텍처를 위한 중간 크기 라우팅 개선FlashInfer의 Kimi-K3 어텐션 커널에서 중간 크기 토큰 수에 대한 라우팅 전략을 최적화하여 성능을 향상시킨 PR 분석#FlashInfer#AI#GPU#최적화#딥러닝#어텐션 메커니즘2026년 10월 4일댓글 수 로딩 중
[vllm] vLLM, Qwen 모델의 성능을 극적으로 향상시킨 비결: SM121 TP=1 skinny-GEMM 최적화 분석vLLM이 Qwen 모델의 추론 속도를 9.5% 향상시킨 SM121 TP=1 skinny-GEMM 최적화를 상세 분석합니다.#vLLM#Qwen#성능 최적화#딥러닝#LLM#GEMM2026년 10월 2일댓글 수 로딩 중
[flashinfer] FlashInfer BatchAttention: K/V 스트라이드 최적화를 통한 성능 향상FlashInfer의 BatchAttention에서 K/V 캐시 스트라이드 일치 시 성능을 높이는 최적화 분석#FlashInfer#BatchAttention#최적화#성능#딥러닝2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer, cuDNN Frost MoE 디코딩 최적화: 성능 향상과 코드 개선 분석FlashInfer의 cuDNN Frost MoE 디코딩 최적화 PR 분석: 코드 변경사항, 성능 개선점, 그리고 기술적 교훈#FlashInfer#MoE#최적화#CUDA#딥러닝2026년 9월 28일댓글 수 로딩 중
[Liger-Kernel] Liger-Kernel: Cross-Entropy와 Total Variation Distance를 하나로 융합하여 성능을 극대화하다Liger-Kernel이 Cross-Entropy와 Total Variation Distance를 단일 연산으로 융합하여 메모리 및 HBM 트래픽을 획기적으로 개선했습니다.#딥러닝#최적화#Triton#GPU#Liger-Kernel2026년 9월 27일댓글 수 로딩 중
[flashinfer] FlashInfer, MiniMax-H3 어텐션 최적화: BF16 및 NVFP4 지원으로 성능 혁신FlashInfer의 MiniMax-H3 어텐션 최적화 PR 분석: BF16 및 NVFP4 지원으로 성능 향상 및 새로운 가능성 제시#FlashInfer#AI#딥러닝#최적화#GPU#어텐션 메커니즘#BF16#NVFP42026년 9월 24일댓글 수 로딩 중
[flashinfer] FlashInfer의 plan() 함수 최적화: Python max()에서 Tensor.max()로의 전환FlashInfer의 plan() 함수에서 Python max()를 Tensor.max()로 대체하여 호스트 시간 성능을 크게 향상시킨 PR 분석#FlashInfer#최적화#성능#딥러닝#LLM2026년 9월 22일댓글 수 로딩 중
[ultralytics] SAM3 텍스트 프롬프팅 VRAM 최적화: 청크 기반 처리로 메모리 사용량 대폭 감소SAM3의 텍스트 프롬프팅 시 VRAM 사용량을 획기적으로 줄이는 청크 기반 처리 기법을 소개합니다.#ultralytics#SAM3#VRAM 최적화#딥러닝#컴퓨터 비전2026년 9월 22일댓글 수 로딩 중
[flashinfer] FlashInfer, 최신 GPU 아키텍처를 위한 커널 튜닝으로 성능 극대화FlashInfer가 최신 GPU 아키텍처(SM100/103/107)에 맞춰 커널 튜닝을 통해 qk_rmsnorm 및 fused_add_rmsnorm_quant 성능을 개선했습니다.#GPU#최적화#성능#CUDA#FlashInfer#딥러닝2026년 9월 18일댓글 수 로딩 중
[sglang] NVLink를 활용한 sglang의 DSpark 헤드 최적화: 더 빠른 토큰 생성sglang의 DSpark 헤드에서 NVLink 집단 통신을 활용하여 토큰 생성 속도를 개선하는 방법을 분석합니다.#sglang#NVLink#DSpark#최적화#성능#딥러닝2026년 9월 14일댓글 수 로딩 중
[vllm] vLLM, ROCm 환경에서 FP8 GEMM 최적화로 성능 4-9% 향상vLLM이 ROCm 환경에서 FP8 GEMM 연산에 'bpreshuffled' 기법을 도입하여 성능을 4-9% 향상시킨 PR 분석#vLLM#ROCm#FP8#GEMM#성능 최적화#딥러닝2026년 9월 10일댓글 수 로딩 중
[flashinfer] FlashInfer SM12x MoE 최적화: 정적 MoE 경로 통합 및 성능 향상FlashInfer의 SM12x 아키텍처에서 정적 MoE 경로를 최적화하고 통합하여 성능을 크게 향상시킨 PR 분석#FlashInfer#MoE#최적화#성능#CUDA#딥러닝2026년 8월 31일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell 아키텍처를 위한 FlashInfer의 Router GEMM 최적화FlashInfer가 NVIDIA Blackwell GPU에서 Router GEMM 연산 성능을 1.1x 이상 향상시킨 최적화 PR 분석#NVIDIA Blackwell#Router GEMM#FlashInfer#GPU 최적화#성능 향상#딥러닝2026년 8월 20일댓글 수 로딩 중
[vllm] vLLM, DeepSeek V3.2 커널의 대규모 토큰 처리 안정성 강화vLLM의 DeepSeek V3.2 커널에서 발생하던 대규모 단일 반복 토큰 처리 오류를 해결하여 안정성을 높였습니다.#vLLM#Triton#CUDA#최적화#딥러닝2026년 8월 18일댓글 수 로딩 중
[sglang] Sana 모델의 BCG 성능 향상: 비트-정확 Triton 커널을 활용한 컨볼루션 후처리 최적화Sana 모델의 BCG 후처리에서 컨볼루션 연산을 비트-정확 Triton 커널로 융합하여 성능을 크게 향상시켰습니다.#AI#딥러닝#최적화#Triton#Diffusion Models#Sana2026년 8월 16일댓글 수 로딩 중
[vllm] vLLM, DeepSeek-V4 사전 생성 처리량 향상을 위한 Sparse Top-K 메타데이터 커널 최적화vLLM의 DeepSeek-V4 모델에서 사전 생성 처리량을 높이기 위해 Sparse Top-K 메타데이터 커널을 최적화했습니다.#vLLM#성능 최적화#딥러닝#LLM#DeepSeek-V42026년 8월 16일댓글 수 로딩 중
[vllm] vLLM, DeepSeek-V3.2/GLM-5.2 MTP 경로 최적화: All-Reduce 융합 및 로컬 Argmax 도입vLLM에서 DeepSeek-V3.2/GLM-5.2 모델의 MTP 경로 성능을 향상시키는 두 가지 최적화 기법을 소개합니다.#vLLM#성능 최적화#딥러닝#LLM#MTP#DeepSeek#GLM2026년 8월 15일댓글 수 로딩 중
[flashinfer] FlashInfer SM120 MoE GEMM 최적화: 웨이브+잔여물 비용 모델 도입FlashInfer의 SM120 MoE GEMM 성능을 향상시키는 웨이브+잔여물 비용 모델 도입 및 타일 선택 개선.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#GEMM#FP8#SM1202026년 8월 12일댓글 수 로딩 중
[sglang] ERNIE-Image 모델의 성능 향상: 비트-정확성(Bit-Exact)을 유지한 RMSNorm+Scale/Shift 융합 커널 도입ERNIE-Image 모델에서 RMSNorm과 Scale/Shift 연산을 융합하여 성능을 개선하고, 비트-정확성을 완벽하게 보장하는 Triton 커널을 소개합니다.#Triton#ERNIE-Image#성능 최적화#딥러닝#LLM2026년 8월 6일댓글 수 로딩 중
[flashinfer] FlashInfer, MoE 모델의 성능을 극적으로 향상시키는 융합 커널과 최적화된 스케줄러 도입FlashInfer가 MoE 모델의 FC1 연산을 융합 커널로 최적화하고, 워프 협력 스케줄러를 도입하여 성능을 크게 향상시켰습니다.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#FP8#MXFP8#CUDA2026년 7월 29일댓글 수 로딩 중
[axolotl] Axolotl, NVFP4 LoRA 지원으로 MoE 모델 훈련 최적화Axolotl이 NVFP4 MoE LoRA 지원을 추가하여 MoE 모델 훈련 효율성을 높였습니다.#Axolotl#MoE#LoRA#NVFP4#최적화#딥러닝2026년 7월 9일댓글 수 로딩 중
[sglang] sglang, 멀티모달 모델 인코더 병렬 처리 최적화: 전체 복제본 활용으로 성능 향상sglang PR 분석: 멀티모달 모델의 텍스트/이미지 인코더 병렬 처리 방식을 개선하여 전체 GPU 복제본을 활용하고 성능을 극대화합니다.#sglang#병렬 처리#최적화#멀티모달#딥러닝2026년 7월 6일댓글 수 로딩 중
[axolotl] Axolotl MoE 모델 최적화: Tiled-MLP 도입 및 FSDP2 통합으로 성능 극대화Axolotl에서 MoE 모델의 성능을 획기적으로 개선한 Tiled-MLP 도입 및 FSDP2 최적화 분석#Axolotl#MoE#Tiled-MLP#FSDP2#최적화#성능 개선#딥러닝2026년 5월 28일댓글 수 로딩 중
[sglang] SGLang, 레이어별 오프로딩 기본값 설정을 통한 인코더/VAE 성능 최적화SGLang에서 레이어별 오프로딩을 기본값으로 설정하여 인코더 및 VAE 컴포넌트의 추론 속도를 개선했습니다.#SGLang#성능 최적화#딥러닝#컴퓨터 비전#LLM2026년 5월 17일댓글 수 로딩 중
[sglang] DeepseekV4 모델의 입력 레이어 정규화와 FP8 양자화를 융합하여 성능 최적화DeepseekV4 모델의 입력 레이어 정규화와 FP8 양자화를 융합하여 GPU 연산 효율성을 높였습니다.#AI#딥러닝#최적화#FP8#GPU2026년 5월 12일댓글 수 로딩 중
[sglang] NPU 성능 향상을 위한 causal_conv1d_update_v2 도입NPU 환경에서 causal_conv1d_update_v2를 사용하여 모델 추론 속도를 크게 개선했습니다.#NPU#성능 최적화#딥러닝#LLM#SGLang2026년 5월 12일댓글 수 로딩 중
[flashinfer] FlashInfer, FP8 지원으로 장문 컨텍스트 추론 성능을 극적으로 향상시키다FlashInfer의 concat_mla_k 함수에 FP8 지원을 추가하여 장문 컨텍스트 추론 성능을 크게 개선했습니다.#FlashInfer#FP8#LLM#최적화#성능 향상#딥러닝2026년 5월 7일댓글 수 로딩 중
[sglang] HunyuanVideo VAE 디코딩 성능 향상: GroupNorm SiLU 커널 최적화HunyuanVideo VAE 디코딩 시 GroupNorm SiLU 연산의 성능을 극적으로 개선한 Triton 커널 최적화 분석#AI#딥러닝#최적화#Triton#HunyuanVideo#VAE2026년 5월 2일댓글 수 로딩 중
[vllm] vLLM, DCP A2A 어텐션 백엔드 최적화: 단일 All-to-All 콜렉티브로 성능 향상vLLM의 DCP A2A 어텐션 백엔드가 부분 어텐션 출력과 LSE를 단일 콜렉티브로 묶어 성능을 개선했습니다.#vLLM#AI#딥러닝#최적화#LLM#어텐션#DCP#All-to-All2026년 5월 1일댓글 수 로딩 중
[flashinfer] FlashInfer, CuTe DSL 기반 FMHA 커널 통합으로 사전 생성(Prefill) 성능 극대화FlashInfer가 CuTe DSL FMHA 커널을 통합하여 사전 생성(Prefill) 성능을 최적화했습니다.#FlashInfer#CuTe DSL#FMHA#Prefill#최적화#성능 개선#딥러닝#LLM2026년 4월 24일댓글 수 로딩 중