[flashinfer] FlashInfer MoE 라우팅 최적화: 더 똑똑해진 전문가 선택으로 성능 향상FlashInfer의 MoE 라우팅 로직을 개선하여 전문가 선택 규칙을 최적화하고 성능을 향상시켰습니다.#AI#Machine Learning#Optimization#MoE#FlashInfer#Performance2026년 10월 19일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE FMHA 백엔드 최적화: 코드 중복 제거 및 성능 향상FlashInfer의 CAKE FMHA 백엔드에서 코드 중복을 제거하고 성능을 최적화한 PR 분석#FlashInfer#AI#LLM#최적화#CUDA#성능#기술 블로그2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer, NVIDIA 최신 GPU를 위한 AlphaMoE NVFP4 커널 최적화로 성능 대폭 향상FlashInfer의 최신 PR은 NVIDIA B200 및 GB300 GPU에서 AlphaMoE NVFP4 연산 속도를 크게 향상시켜 SOTA 성능을 달성했습니다.#AI#GPU#최적화#성능#FlashInfer#AlphaMoE#NVFP4#NVIDIA2026년 10월 15일댓글 수 로딩 중
[flashinfer] FlashInfer: BF16 어텐션 최적화 - SM100a의 P Barrier 개선 및 Tail-round Q-split 도입FlashInfer의 BF16 어텐션 커널 성능 개선: SM100a의 P Barrier 최적화와 Tail-round Q-split 도입.#FlashInfer#AI#최적화#성능 개선#딥러닝#어텐션 메커니즘#BF162026년 10월 10일댓글 수 로딩 중
[flashinfer] FlashInfer, Kimi-K3 어텐션의 성능 최적화: SM100/SM103 아키텍처를 위한 중간 크기 라우팅 개선FlashInfer의 Kimi-K3 어텐션 커널에서 중간 크기 토큰 수에 대한 라우팅 전략을 최적화하여 성능을 향상시킨 PR 분석#FlashInfer#AI#GPU#최적화#딥러닝#어텐션 메커니즘2026년 10월 4일댓글 수 로딩 중
[flashinfer] FlashInfer Kimi-K3 TP12 LatentMoE Tail 최적화: 8개 토큰까지 융합 및 FP64 게이팅 도입FlashInfer의 Kimi-K3 TP12 LatentMoE 연산에서 8개 토큰까지 융합하고 FP64 게이팅을 도입하여 성능과 정확도를 개선했습니다.#AI#Deep Learning#Optimization#FlashInfer#LLM#Kernel Fusion2026년 9월 29일댓글 수 로딩 중
[flashinfer] FlashInfer, MiniMax-H3 어텐션 최적화: BF16 및 NVFP4 지원으로 성능 혁신FlashInfer의 MiniMax-H3 어텐션 최적화 PR 분석: BF16 및 NVFP4 지원으로 성능 향상 및 새로운 가능성 제시#FlashInfer#AI#딥러닝#최적화#GPU#어텐션 메커니즘#BF16#NVFP42026년 9월 24일댓글 수 로딩 중
[flashinfer] FlashInfer BF16 KDA 성능 최적화: M64 Value Split 도입FlashInfer의 BF16 KDA 연산에서 M64 Value Split을 활용하여 성능을 크게 향상시킨 PR 분석#FlashInfer#AI#성능 최적화#CUDA#BF16#LLM2026년 9월 21일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 모델 성능 향상: DSpark 검증 및 MoE 커널 최적화DeepSeek-V4.1 모델의 DSpark 검증 및 MoE 커널 최적화를 통해 추론 성능을 크게 향상시킨 PR 분석#AI#LLM#최적화#성능#DeepSeek#SGLang2026년 9월 10일댓글 수 로딩 중
[flashinfer] FlashInfer, CUDA 커널 최적화를 통한 LLM 추론 속도 향상: Recurrence-Piece Persistent M128 도입FlashInfer의 최신 PR은 CUDA 커널 최적화를 통해 LLM 추론 성능을 2.7배 향상시킵니다.#AI#LLM#성능 최적화#CUDA#FlashInfer2026년 8월 26일댓글 수 로딩 중
[sglang] Sana 모델의 BCG 성능 향상: 비트-정확 Triton 커널을 활용한 컨볼루션 후처리 최적화Sana 모델의 BCG 후처리에서 컨볼루션 연산을 비트-정확 Triton 커널로 융합하여 성능을 크게 향상시켰습니다.#AI#딥러닝#최적화#Triton#Diffusion Models#Sana2026년 8월 16일댓글 수 로딩 중
[flashinfer] FlashInfer SM120 MoE GEMM 최적화: 웨이브+잔여물 비용 모델 도입FlashInfer의 SM120 MoE GEMM 성능을 향상시키는 웨이브+잔여물 비용 모델 도입 및 타일 선택 개선.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#GEMM#FP8#SM1202026년 8월 12일댓글 수 로딩 중
[sglang] SGLang, Sol-Attn 도입으로 비디오 생성 속도 1.23배 향상SGLang에 Sol-Attn 희소 어텐션 백엔드를 도입하여 비디오 생성 속도를 크게 향상시킨 기술 블로그 글입니다.#SGLang#AI#비디오 생성#최적화#Sol-Attn#희소 어텐션2026년 8월 9일댓글 수 로딩 중
[flashinfer] FlashInfer, MoE 모델의 성능을 극적으로 향상시키는 융합 커널과 최적화된 스케줄러 도입FlashInfer가 MoE 모델의 FC1 연산을 융합 커널로 최적화하고, 워프 협력 스케줄러를 도입하여 성능을 크게 향상시켰습니다.#AI#딥러닝#최적화#GPU#FlashInfer#MoE#FP8#MXFP8#CUDA2026년 7월 29일댓글 수 로딩 중
[sglang] SGLang, GPU 간 VAE 디코딩 최적화를 통한 이미지 생성 속도 향상SGLang의 최신 PR은 VAE 디코딩 과정을 최적화하여 이미지 생성 속도를 크게 향상시킵니다.#SGLang#AI#이미지 생성#최적화#VAE#병렬 처리#GPU2026년 6월 14일댓글 수 로딩 중
[triton] Triton에서 i8 행렬 곱셈 최적화: 레지스터 압력 감소 및 성능 향상Triton의 i8 행렬 곱셈에서 레지스터 압력을 줄이고 성능을 향상시키는 최적화 기법을 분석합니다.#Triton#AI#최적화#행렬 곱셈#GPU2026년 6월 12일댓글 수 로딩 중
[sglang] DeepSeek V4의 Prefill 성능을 1.35배 향상시킨 FlashAttention 최적화DeepSeek V4 모델의 Prefill 단계 성능을 획기적으로 개선한 FlashAttention 최적화 분석#AI#LLM#Performance Optimization#FlashAttention#DeepSeek V4#SGLang2026년 6월 3일댓글 수 로딩 중
[sglang] DeepSeek-V4의 Latency 최적화: Fused mHC Post/Pre Kernel 도입DeepSeek-V4 모델의 추론 속도 향상을 위한 Fused mHC Post/Pre Kernel 도입 분석#AI#LLM#최적화#성능#DeepSeek-V4#sglang#Kernel Fusion2026년 5월 30일댓글 수 로딩 중
[sglang] DeepSeekV4 Fused MoE Triton 커널 지원 추가: 성능 최적화 분석DeepSeekV4 모델의 Fused MoE Triton 커널 지원을 추가하여 추론 성능을 향상시킨 PR 분석#AI#LLM#Optimization#Triton#DeepSeekV4#MoE2026년 5월 18일댓글 수 로딩 중
[sglang] sglang diffusion 모델 성능 향상: Cache-DiT와 torch.compile의 최적화된 적용 순서sglang diffusion 모델의 첫 번째 실제 요청 지연 시간을 43.77% 단축한 Cache-DiT와 torch.compile 적용 순서 최적화 분석#sglang#diffusion#torch.compile#optimization#performance#AI2026년 5월 15일댓글 수 로딩 중
[sglang] DeepseekV4 모델의 입력 레이어 정규화와 FP8 양자화를 융합하여 성능 최적화DeepseekV4 모델의 입력 레이어 정규화와 FP8 양자화를 융합하여 GPU 연산 효율성을 높였습니다.#AI#딥러닝#최적화#FP8#GPU2026년 5월 12일댓글 수 로딩 중
[sglang] HunyuanVideo VAE 디코딩 성능 향상: GroupNorm SiLU 커널 최적화HunyuanVideo VAE 디코딩 시 GroupNorm SiLU 연산의 성능을 극적으로 개선한 Triton 커널 최적화 분석#AI#딥러닝#최적화#Triton#HunyuanVideo#VAE2026년 5월 2일댓글 수 로딩 중
[vllm] vLLM, DCP A2A 어텐션 백엔드 최적화: 단일 All-to-All 콜렉티브로 성능 향상vLLM의 DCP A2A 어텐션 백엔드가 부분 어텐션 출력과 LSE를 단일 콜렉티브로 묶어 성능을 개선했습니다.#vLLM#AI#딥러닝#최적화#LLM#어텐션#DCP#All-to-All2026년 5월 1일댓글 수 로딩 중
[ACE-Step-1.5] ACE-Step에 파동대역 보정(DCW) 샘플러 훅 추가: SNR-t 편향 개선ACE-Step에 DCW 샘플러 훅을 통합하여 확산 모델의 SNR-t 편향을 개선하고 음질을 향상시킵니다.#AI#음악 생성#확산 모델#최적화#ACE-Step2026년 4월 23일댓글 수 로딩 중
[sglang] Whisper 모델 추론 성능 극대화: 동시 Prefill 요청을 위한 배치 인코더 최적화Whisper 모델의 동시 Prefill 요청 처리 시 인코더 순차 호출 문제를 해결하여 추론 성능을 크게 향상시킨 PR 분석.#AI#Machine Learning#LLM#Whisper#Optimization#Performance#Inference2026년 4월 12일댓글 수 로딩 중