[flashinfer] Blackwell 아키텍처를 위한 MLA 디코드 커널 최적화: FlashInfer의 성능 개선 분석Blackwell GPU(B200, GB300)에서 MLA 디코드 성능을 극대화하기 위한 파이프라인 스테이지 확장 및 메모리 레이아웃 최적화 기법을 분석합니다.#CUDA#Blackwell#MLA#FlashInfer#Performance-Optimization2026년 11월 1일댓글 수 로딩 중
[flashinfer] FlashInfer: sm_107a 아키텍처를 위한 Fused Decode List Scorer 프리페칭 최적화sm_107a 환경에서 Fused Decode 체인의 List Scorer가 PDL 대기 전 History Index-K 페이지를 미리 로드하도록 개선하여 성능을 향상했습니다.#FlashInfer#CUDA#Optimization#LLM#Performance2026년 11월 1일댓글 수 로딩 중
[flashinfer] FlashInfer MegaMoE v3 최적화: TP4/TP8 커널 성능 향상 분석FlashInfer의 MegaMoE v3 커널에서 TP4/TP8 설정의 성능을 개선한 PR 분석#FlashInfer#MegaMoE#최적화#GPU 프로그래밍#CUDA2026년 11월 1일댓글 수 로딩 중
[flashinfer] FlashInfer Cake GDN: Blackwell SM107a에서 게이트 스트리밍 프리필 최적화 확장으로 최대 1.12배 성능 향상FlashInfer가 Blackwell SM107a GPU에서 GDN 프리필의 게이트 스트리밍 최적화를 확장하여 특정 head split에서 최대 1.12배 속도 향상을 달성했습니다.#FlashInfer#GDN#Blackwell#SM107a#GPU최적화#성능향상#CUDA#LLM추론2026년 11월 1일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: INT8-KV 캐시를 위한 고성능 Tensor-Core DynamicSparseAttention 최적화Qwen3.8-Flash-Next 모델의 INT8-KV 캐시를 위한 Tensor-Core 기반의 고속 어텐션 커널 및 분기 없는 Sigmoid 구현을 통한 성능 최적화 분석#ONNX Runtime#CUDA#Tensor-Core#LLM#Optimization2026년 11월 1일댓글 수 로딩 중
[flashinfer] FlashInfer: Gated DeltaNet 역전파 최적화 분석 (HV=3H 및 Adjoint Pre-scan)FlashInfer의 GDN 결정론적 훈련 커널이 HV=3H 퓨전 및 Adjoint pre-scan 최적화를 통해 긴 시퀀스에서 최대 1.4배 빨라졌습니다.#CUDA#FlashInfer#Deep Learning#Optimization#GPU#Blackwell2026년 10월 31일댓글 수 로딩 중
[vllm] vLLM의 GLM-5.3-Flash 성능 최적화: CuTe DSL 기반 Skinny-GEMM 도입CuTe DSL을 활용한 Skinny-GEMM 최적화로 GLM-5.3-Flash의 디코딩 성능을 15% 향상시킨 기술적 여정을 소개합니다.#vLLM#LLM#CUDA#GEMM#Performance#CuTe2026년 10월 31일댓글 수 로딩 중
[vllm] vLLM, Qwen 3.8B 모델의 성능을 3배까지 향상시킨 최적화 분석vLLM이 Qwen 3.8B 모델에서 GEMM 연산 최적화를 통해 성능을 크게 향상시킨 PR을 분석합니다.#vLLM#성능 최적화#GEMM#Qwen#딥러닝2026년 10월 31일댓글 수 로딩 중
[sglang] ROCm 환경에서의 성능 최적화: Triton을 활용한 Bit-exact QK RMSNorm 및 RoPE 융합ROCm 환경에서 aten의 RMSNorm을 Triton 커널로 재구현하고 RoPE를 융합하여 추론 성능을 2.27초 단축했습니다.#ROCm#Triton#Performance#Optimization#LLM2026년 10월 31일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA Paged Attention: BF16/INT8 추론 21배 가속 최적화 분석ONNX Runtime의 Paged Attention에서 BF16 쿼리, INT8 KV 캐시 조합의 추론 속도를 21배 향상시킨 최적화 PR 분석.#CUDA#ONNXRuntime#LLM#Optimization#PagedAttention#SpeculativeDecoding#BF16#INT8#Performance2026년 10월 31일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: Subgroup Matrix 연산을 활용한 Conv 최적화WebGPU EP에서 Subgroup Matrix 연산을 도입하여 비전 모델의 핵심인 Conv 연산 성능을 대폭 향상시켰습니다.#ONNX Runtime#WebGPU#Optimization#GPU#Deep Learning2026년 10월 30일댓글 수 로딩 중
[flashinfer] FlashInfer의 B200 최적화: Cake 백엔드 라우팅 개선을 통한 성능 극대화NVIDIA B200 GPU에서 특정 행렬 연산 형상에 대한 라우팅 윈도우를 추가하여 최대 2.18배의 성능 향상을 달성했습니다.#FlashInfer#CUDA#GEMM#PerformanceOptimization#B2002026년 10월 30일댓글 수 로딩 중
[flashinfer] FlashInfer, B200 GPU에서 Kimi-K3 MoE 라우터 성능 최적화FlashInfer의 Kimi-K3 MoE 라우터가 B200 GPU에서 1-토큰 라우팅 성능을 개선했습니다.#FlashInfer#MoE#GPU#최적화#B200#CUDA2026년 10월 30일댓글 수 로딩 중
[flashinfer] NVIDIA R200(SM107)을 위한 SwiGLU + MXFP8 커널 최적화: 소규모 워크로드 성능 향상 기법FlashInfer에서 SM107 아키텍처의 소규모 워크로드를 위해 밴드 패스 프로그램을 도입하고 커널 선택 로직을 최적화하여 최대 7.6%의 성능 향상을 달성했습니다.#CUDA#FlashInfer#MXFP8#GPU Optimization#LLM Inference2026년 10월 30일댓글 수 로딩 중
[flashinfer] FlashInfer Mamba2 SSD 커널 최적화: Rubin(sm_107a) 아키텍처를 위한 고성능 전략FlashInfer의 Mamba2 SSD 커널을 Rubin GPU에 최적화하여 워크로드별 맞춤형 실행 경로와 Z-prefetch를 통해 성능을 개선했습니다.#FlashInfer#CUDA#Mamba2#GPU#Optimization2026년 10월 29일댓글 수 로딩 중
[flashinfer] [FlashInfer] SM120 FP8 Attention 최적화: Lazy Output Rescale를 통한 성능 향상FlashInfer의 SM120 FP8 Attention 커널에서 불필요한 rescale 연산을 건너뛰어 성능을 약 1.5% 개선한 사례를 분석합니다.#CUDA#FlashInfer#Attention#Optimization#Blackwell#FP82026년 10월 29일댓글 수 로딩 중
[flashinfer] FlashInfer FP8 GEMM 최적화: 윈도우 세그먼트 KG1 프로그램으로 GPU 성능 극대화FlashInfer의 FP8 GEMM 커널이 특정 조건에서 최대 1.4배 빨라진 비결을 파헤칩니다.#FlashInfer#GPU 최적화#FP8 GEMM#CUDA#성능 개선#딥러닝#병렬 컴퓨팅2026년 10월 29일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: NVIDIA GPU에서 Subgroup Matrix MatMul 성능 향상을 위한 Shared Memory Staging 최적화NVIDIA GPU의 WebGPU 백엔드에서 Subgroup Matrix MatMul 연산의 성능을 개선하기 위해 Shared Memory Staging 기법을 도입한 PR 분석#ONNX Runtime#WebGPU#NVIDIA#GPU 최적화#MatMul#Shared Memory#Subgroup Matrix2026년 10월 29일댓글 수 로딩 중
[sglang] SGLang에서 MiniMax-M3.1 모델의 DSpark 추론 최적화: Hopper GPU 지원 확장MiniMax-M3.1 모델의 DSpark 추론을 Blackwell 외 Hopper GPU에서도 지원하여 출력 처리량을 2.3배 향상시켰습니다.#SGLang#LLM#Speculative Decoding#Hopper#Optimization2026년 10월 29일댓글 수 로딩 중
[논문리뷰] Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities본 논문은 다양한 모달리티(문서, 이미지, 오디오, 비디오)를 개별적으로 처리하는 기존 방식의 파편화 문제를 해결하고자 합니다. 현재의 파서들은 모달리티별로 별도의 인코더를 사용하므로 모달리티 간 상호작용이 부족하고, 각기 다른 출력 형식을 가져 Agent의 다중 모드 통합 추론을 방해합니다 .#Review#Omni-modal Parsing#Unified Encoder#OmniSchema#On-policy Distillation#Audio-Visual Fusion#Structured Grounding#Space-Time Coordinate System2026년 10월 29일댓글 수 로딩 중