[TensorRT] PyTorch TensorRT: 메모리 복사 제거를 통한 엔진 빌드 최적화TensorRT 엔진 생성 시 발생하는 불필요한 메모리 복사를 제거하여 호스트 메모리 사용량을 절반으로 줄인 최적화 사례를 분석합니다.#PyTorch#TensorRT#C++#Memory Optimization#Performance2026년 10월 20일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 커널 최적화: 코드 중복 제거 및 JIT 컴파일 효율성 증대FlashInfer의 MoE 커널에서 코드 중복을 제거하고 JIT 컴파일 효율성을 높인 PR 분석#FlashInfer#MoE#Kernel Optimization#JIT Compilation#Code Refactoring#Performance2026년 10월 20일댓글 수 로딩 중
[flashinfer] FlashInfer의 CAKE FP8 GEMM 커널 최적화: 코드 간소화와 성능 향상FlashInfer의 CAKE FP8 GEMM 커널에서 코드 중복 제거, 라우팅 테이블 도입 등으로 성능을 개선한 PR 분석#FlashInfer#CUDA#GEMM#FP8#최적화#성능#소프트웨어 엔지니어링2026년 10월 20일댓글 수 로딩 중
[vllm] vLLM의 MoE 튜닝 스크립트 최적화: RDNA 아키텍처를 위한 성능 개선RDNA 아키텍처에서 MoE 튜닝 속도를 개선하고, 불필요한 탐색 공간 제거 및 안정성을 확보한 최적화 사례를 분석합니다.#vLLM#ROCm#Triton#MoE#Performance2026년 10월 20일댓글 수 로딩 중
[flashinfer] FlashInfer MoE 라우팅 최적화: 더 똑똑해진 전문가 선택으로 성능 향상FlashInfer의 MoE 라우팅 로직을 개선하여 전문가 선택 규칙을 최적화하고 성능을 향상시켰습니다.#AI#Machine Learning#Optimization#MoE#FlashInfer#Performance2026년 10월 19일댓글 수 로딩 중
[flashinfer] FlashInfer SM90 아키텍처 성능 최적화: QkvNormRopeExchangeOverlap의 Shape Gate 개선SM90(Hopper) 아키텍처에서 QKV 교환 시 small-row readiness gate를 활성화하여 통신 성능을 최대 1.19% 개선했습니다.#FlashInfer#CUDA#H100#Performance#Optimization2026년 10월 19일댓글 수 로딩 중
[flashinfer] Blackwell(SM100a) 성능 극대화: FlashInfer의 CTA-Pair 커널 최적화 분석FlashInfer의 Cake 백엔드에서 SM100a(B200)를 위한 CTA-pair 커널을 도입하여 특정 Shape에서 최대 10.1%의 성능 향상을 달성한 과정을 분석합니다.#FlashInfer#Blackwell#CUDA#Performance-Optimization#LLM-Inference2026년 10월 19일댓글 수 로딩 중
[flashinfer] FlashInfer, Kimi-K3 FP8 프로젝션 커널 공유 및 코드 최적화를 통한 성능 향상FlashInfer의 Kimi-K3 FP8 프로젝션 커널 공유 및 코드 최적화를 통해 성능을 크게 향상시킨 PR 분석#FlashInfer#FP8#GEMM#Kernel Optimization#Code Refactoring#Performance2026년 10월 19일댓글 수 로딩 중
[flashinfer] FlashInfer: Cake Warp-Decode 커널의 'Deslop'을 통한 호스트 오버헤드 최적화 및 코드 정제FlashInfer의 Cake 커널에서 불필요한 1MB JSON, 미사용 FFI, 호스트 측 중복 호출을 제거하여 성능과 유지보수성을 개선한 사례를 분석합니다.#CUDA#FlashInfer#MoE#Optimization#PyTorch2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE VSA 커널 최적화: 중복 제거와 비효율적인 CuTe DSL 제거로 얻은 코드 효율성FlashInfer의 CAKE VSA 커널에서 중복 코드와 비효율적인 CuTe DSL을 제거하여 코드베이스를 최적화한 PR 분석.#FlashInfer#CUDA#Optimization#Refactoring#Sparse Attention#Kernel Fusion#Code Hygiene2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE GDN 백엔드 최적화: 코드베이스 경량화 및 템플릿 기반 렌더링 도입CAKE GDN 백엔드의 중복 코드를 제거하고 템플릿 기반 호스트 심을 도입하여 코드베이스를 40% 이상 축소한 최적화 사례.#FlashInfer#CUDA#KernelOptimization#JIT#C++2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer CAKE FMHA 백엔드 최적화: 코드 중복 제거 및 성능 향상FlashInfer의 CAKE FMHA 백엔드에서 코드 중복을 제거하고 성능을 최적화한 PR 분석#FlashInfer#AI#LLM#최적화#CUDA#성능#기술 블로그2026년 10월 18일댓글 수 로딩 중
[flashinfer] FlashInfer의 MXFP4 SiTU MoE 성능 최적화: Cluster Split-K와 CuTe DSL 개선FlashInfer의 Kimi-K3 MXFP4 MoE 백엔드에서 Cluster Split-K 및 스케줄링 최적화를 통해 성능을 최대 2.1% 향상시킨 사례를 분석합니다.#FlashInfer#MoE#CUDA#CuTe#GEMM#MXFP42026년 10월 17일댓글 수 로딩 중
[cpython] Python CPython: 함수 이름 속성 설정 시 Stop-the-World 방지로 멀티스레딩 성능 대폭 개선Python CPython에서 함수 이름 관련 속성 변경 시 발생하는 Stop-the-World를 제거하여 멀티스레딩 성능을 획기적으로 개선한 PR을 분석합니다.#Python#CPython#Performance#Multithreading#Optimization#GIL2026년 10월 17일댓글 수 로딩 중
[flashinfer] FlashInfer의 새로운 실험적 기능: NVFP4 기반 MLA 디코드 최적화Blackwell 아키텍처를 위한 NVFP4 paged latent cache 기반의 고성능 MLA 디코드 구현 및 최적화 분석.#FlashInfer#CUDA#MLA#NVFP4#Blackwell#LLM2026년 10월 17일댓글 수 로딩 중
[vllm] [vLLM] ROCm 환경에서 MXFP4 GEMM 커널 최적화: 환경 변수에서 동적 설정으로vLLM이 ROCm 환경에서 MXFP4 양자화 모델의 성능을 극대화하기 위해, 환경 변수 대신 AITER 튜닝 설정을 기반으로 최적의 커널을 동적으로 선택하도록 개선되었습니다.#vLLM#ROCm#MXFP4#Performance Optimization#AITER#LLM Serving2026년 10월 17일댓글 수 로딩 중
[vllm] vLLM FlashInfer Allreduce 최적화: 단일 노드 성능 회복과 안정성 확보vLLM에서 FlashInfer Allreduce 백엔드 선택 로직을 개선하여 단일 노드 성능을 회복한 PR 분석.#vLLM#FlashInfer#Allreduce#성능 최적화#분산 학습#GPU2026년 10월 17일댓글 수 로딩 중
[flashinfer] FlashInfer, Blackwell GPU를 위한 최적화된 Dense Projection GEMM 도입FlashInfer의 최신 PR은 Blackwell GPU 아키텍처에 최적화된 Dense Projection GEMM을 도입하여 성능을 크게 향상시킵니다.#FlashInfer#GEMM#Blackwell#GPU 최적화#딥러닝2026년 10월 16일댓글 수 로딩 중
[onnxruntime] ONNX Runtime WebGPU: AMD GPU를 위한 Subgroup Matrix MatMulNBits 최적화AMD D3D12 환경에서 wave64 기반의 유연한 타일링 전략을 도입하여 MatMulNBits 성능을 최대 11% 향상시켰습니다.#WebGPU#ONNX Runtime#GPU Optimization#AMD#MatMul2026년 10월 16일댓글 수 로딩 중
[flashinfer] FlashInfer, Muse-Spark-Open을 위한 융합 정규화 및 TP/EP MoE 최적화로 성능 극대화FlashInfer가 Muse-Spark-Open 모델을 위해 융합 정규화 및 TP/EP MoE 커널을 도입하여 성능을 크게 향상시킨 방법을 분석합니다.#FlashInfer#최적화#딥러닝#GPU#MoE#정규화2026년 10월 16일댓글 수 로딩 중