[flashinfer] Blackwell 아키텍처를 위한 MoE All-Reduce Fusion 최적화: FlashInfer의 'Cake' 백엔드 분석Blackwell(SM100/103) 환경에서 MoE All-Reduce와 RMSNorm을 융합하여 1.12배 성능 향상을 달성한 FlashInfer의 새로운 최적화 기법을 살펴봅니다.#NVIDIA Blackwell#MoE#All-Reduce#CUDA#FlashInfer#Performance Optimization2026년 9월 16일댓글 수 로딩 중
[vllm] [vLLM 성능 최적화] Nemotron-3 디코딩 속도를 13% 향상시킨 Latent-MoE All-Reduce 최적화 분석Nemotron-3 모델의 TP 환경에서 불필요한 All-Reduce를 제거하여 디코딩 성능을 13% 복구한 최적화 기법을 살펴봅니다.#vLLM#Nemotron#Performance#All-Reduce#MoE#Tensor-Parallelism2026년 9월 15일댓글 수 로딩 중
[sglang] ROCm 환경에서 BF16 All-Reduce의 수치 안정성 확보하기: QuickReduce의 FP16 Saturation 이슈 해결BF16 데이터를 FP16으로 변환하여 처리할 때 발생하는 Overflow 문제를 하드웨어 클램핑과 Range Guard 스케일링으로 해결한 사례를 분석합니다.#ROCm#GPU#All-Reduce#Optimization#LLM#SGLang2026년 8월 30일댓글 수 로딩 중