[flashinfer] Blackwell 시대를 위한 Mamba-2 SSD 최적화: FlashInfer의 네 번째 성능 개선 라운드 분석Blackwell 아키텍처(SM100/103)에서 Mamba-2 SSD prefill 성능을 극대화하기 위한 정밀도 확장 및 메모리 접근 최적화 기법 분석.#Mamba-2#Blackwell#CUDA#FlashInfer#SSD#Optimization2026년 10월 10일댓글 수 로딩 중
[flashinfer] FlashInfer: BF16 어텐션 최적화 - SM100a의 P Barrier 개선 및 Tail-round Q-split 도입FlashInfer의 BF16 어텐션 커널 성능 개선: SM100a의 P Barrier 최적화와 Tail-round Q-split 도입.#FlashInfer#AI#최적화#성능 개선#딥러닝#어텐션 메커니즘#BF162026년 10월 10일댓글 수 로딩 중
[flashinfer] FlashInfer: DeepSeek-V4 NVFP4 sparse-MLA 디코딩을 위한 H64 타일 최적화DeepSeek-V4 NVFP4 sparse-MLA 디코딩 시 H64 타일 전용 커널을 도입하여 SMEM 사용량을 줄이고 성능을 최대 10% 향상시켰습니다.#FlashInfer#CUDA#DeepSeek-V4#Sparse-MLA#Performance Optimization2026년 10월 10일댓글 수 로딩 중
[sglang] SGLang Diffusion 모델의 Ulysses Attention 파이프라인 최적화: Copy Engine을 활용한 성능 향상Ulysses Attention의 All-to-All 통신과 연산을 Copy Engine을 통해 파이프라이닝하여 Diffusion 모델의 추론 속도를 최대 24% 개선했습니다.#SGLang#Diffusion#UlyssesAttention#PerformanceOptimization#CUDA2026년 10월 10일댓글 수 로딩 중
[sglang] SGLang, Ulysses 어텐션의 IPC 기반 파이프라이닝으로 성능 극대화SGLang, Ulysses 어텐션의 IPC 기반 파이프라이닝으로 성능 극대화: 코드 변경 분석#SGLang#Ulysses#Optimization#IPC#Pipelining#Deep Learning#LLM2026년 10월 9일댓글 수 로딩 중
[sglang] MiniMax-H3 모델의 RMSNorm 및 AdaLN 연산 최적화: Triton을 활용한 커널 융합MiniMax-H3 DiT 블록의 RMSNorm과 AdaLN 연산을 하나의 Triton 커널로 융합하여 메모리 대역폭 병목을 해소하고 성능을 2.4배 향상시켰습니다.#SGLang#Triton#Diffusion#Optimization#KernelFusion2026년 10월 9일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU QMoE: 단일 토큰 라우팅 최적화로 성능 대폭 향상ONNX Runtime WebGPU에서 QMoE의 단일 토큰 라우팅 로직을 최적화하여 성능을 크게 개선한 PR 분석#ONNX Runtime#WebGPU#QMoE#최적화#성능#딥러닝2026년 10월 9일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: Windows D3D12를 활용한 모델 로딩 가속화Windows 환경에서 D3D12를 활용해 대규모 모델의 외부 가중치를 GPU로 직접 스트리밍하여 로딩 시간을 50% 이상 단축했습니다.#ONNX Runtime#WebGPU#D3D12#Performance#Windows2026년 10월 9일댓글 수 로딩 중
[flashinfer] Blackwell 아키텍처를 위한 FlashInfer의 FP8/BF16 혼합 정밀도 Attention 최적화 분석FlashInfer에서 Blackwell(B200/B300) GPU를 타겟으로 한 P-in-SMEM 및 Two-CTA UMMA 최적화를 통해 FP8 Attention 성능을 극대화하는 방법을 분석합니다.#FlashInfer#Blackwell#FP8#CUDA#LLM-Inference#Performance-Optimization2026년 10월 8일댓글 수 로딩 중
[TensorRT] PyTorch-TensorRT, 엔진 빌드 후 메모리 누수 해결: `malloc_trim` 도입으로 최적화PyTorch-TensorRT에서 엔진 빌드 후 발생하는 메모리 누수를 `malloc_trim`으로 해결하여 최적화한 PR을 분석합니다.#PyTorch#TensorRT#Optimization#Memory Management#Performance2026년 10월 8일댓글 수 로딩 중
[TensorRT] PyTorch-TensorRT의 메모리 효율성 개선: 점진적 GPU 메모리 해제를 통한 컴파일 최적화모델 컴파일 시 GPU 메모리 부족 문제를 해결하기 위해, 모듈 이동 중 점진적으로 CUDA 캐시를 비우는 최적화 기법을 소개합니다.#PyTorch#TensorRT#Memory Optimization#CUDA#Performance2026년 10월 8일댓글 수 로딩 중
[flashinfer] FlashInfer의 Cake Sampling 최적화: 정밀한 조기 종료와 하드웨어별 디스패치 전략FlashInfer의 Cake Sampling 커널이 정밀한 조기 종료와 하드웨어별 최적화 전략을 통해 샘플링 성능을 대폭 개선했습니다.#FlashInfer#CUDA#GPU#Performance#LLM2026년 10월 8일댓글 수 로딩 중
[loki] Loki 데이터 객체 최적화: Predicate 컴파일을 통한 쿼리 성능 향상Loki의 RowReader에서 Predicate 평가 로직을 최적화하여 쿼리 처리 성능을 크게 개선한 PR 분석.#Loki#Go#Optimization#Performance#Predicate#Data Processing2026년 10월 7일댓글 수 로딩 중
[cpython] CPython 성능 최적화: io.BufferedReader.readline()에 memchr() 도입Python의 io.BufferedReader.readline()에서 수동 C 루프를 memchr()로 교체하여 최대 5.7배의 성능 향상을 달성한 사례를 분석합니다.#CPython#Performance#Optimization#C#io2026년 10월 7일댓글 수 로딩 중
[cpython] Python 리스트 삽입/삭제 성능 개선: free-threaded 빌드 최적화 분석Python 3.13에서 free-threaded 빌드의 list.insert() 및 del list[i] 성능을 2.23배 향상시킨 최적화 분석#Python#CPython#성능 최적화#free-threaded#list.insert#del list[i]2026년 10월 7일댓글 수 로딩 중
[onnxruntime] ONNX Runtime의 CPU BatchNormalization 성능 최적화: NC 입력 데이터 처리 개선NC 형태의 입력 데이터에 대해 BatchNormalization 연산을 벡터화하여 CPU 추론 및 학습 성능을 최대 13배 향상시킨 사례를 분석합니다.#ONNX Runtime#C++#Performance Optimization#BatchNormalization#SIMD2026년 10월 7일댓글 수 로딩 중
[flashinfer] FlashInfer: Rubin(SM107) 아키텍처를 위한 네이티브 확률적 반올림(Stochastic Rounding) 최적화Rubin(SM107) GPU에서 네이티브 확률적 반올림을 활성화하여 Mamba 상태 업데이트 성능을 최대 36% 향상시켰습니다.#FlashInfer#CUDA#GPU#Mamba#StochasticRounding#Optimization2026년 10월 5일댓글 수 로딩 중
[flashinfer] FlashInfer Cake Sampling 최적화: Leader-Push Exchange와 Graph-Replay 개선FlashInfer의 Cake Sampling 커널 성능을 대폭 향상시킨 Leader-Push Exchange와 Graph-Replay 최적화를 분석합니다.#FlashInfer#CUDA#Kernel Optimization#Performance#LLM2026년 10월 5일댓글 수 로딩 중
[flashinfer] FlashInfer, RTX PRO 6000 Blackwell을 위한 Warp-Specialised Attention 커널로 성능 향상FlashInfer가 새로운 Warp-Specialised Attention 커널을 도입하여 RTX PRO 6000 Blackwell에서 성능을 3% 이상 향상시켰습니다.#GPU#CUDA#Attention#Optimization#FlashInfer#Transformer2026년 10월 5일댓글 수 로딩 중
[flashinfer] [FlashInfer] Hopper SM90을 위한 MegaMoE 최적화: Combine Wire 및 GEMM 에필로그 개선FlashInfer의 Hopper 전용 BF16 MegaMoE 백엔드에서 통신 대역폭을 줄이는 prereduced combine 방식과 GEMM 에필로그 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Hopper#SM90#Optimization2026년 10월 5일댓글 수 로딩 중