[flashinfer] [FlashInfer] Hopper SM90을 위한 MegaMoE 최적화: Combine Wire 및 GEMM 에필로그 개선FlashInfer의 Hopper 전용 BF16 MegaMoE 백엔드에서 통신 대역폭을 줄이는 prereduced combine 방식과 GEMM 에필로그 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Hopper#SM90#Optimization2026년 10월 5일댓글 수 로딩 중
[flashinfer] Hopper(SM90)의 잠재력을 깨우는 Attention 최적화: FlashInfer 'Cake' 백엔드 분석Hopper 아키텍처의 특성을 활용한 Warpgroup 병렬화와 Cluster Barrier 최적화로 Attention 성능을 극대화하는 방법을 알아봅니다.#CUDA#Hopper#SM90#Attention#FlashInfer#Performance Optimization2026년 9월 27일댓글 수 로딩 중
[onnxruntime] ONNX Runtime, SM90 GPU를 위한 네이티브 FP8 행렬 곱셈 최적화 도입ONNX Runtime이 SM90 GPU에서 MatMulBlockQuantizedFp8Weight 연산자를 위한 네이티브 FP8 행렬 곱셈 경로를 도입하여 성능을 크게 향상시켰습니다.#ONNX Runtime#CUDA#FP8#SM90#DeepGEMM#최적화#성능2026년 9월 16일댓글 수 로딩 중
[Liger-Kernel] Liger-Kernel: SM90 MoE 통신 최적화 및 안정성 개선SM90 아키텍처에서 MoE 통신을 로컬/인터호스트로 분리 최적화하고, 백워드 동기화 행 문제를 해결하여 성능을 극대화했습니다.#Liger-Kernel#MoE#SM90#CUDA#NVSHMEM#Performance2026년 9월 14일댓글 수 로딩 중
[sglang] NVIDIA SM90 GPU를 위한 SGLang SubBlock Sparse Attention 최적화: Sage FP8 Compute 도입SGLang의 SubBlock Sparse Attention에 Sage FP8 Compute를 도입하여 SM90 GPU에서 성능을 향상시키는 방법을 설명합니다.#SGLang#Attention#Sparse Attention#FP8#SM90#GPU Optimization#Triton2026년 9월 9일댓글 수 로딩 중