[sglang] NVLink를 활용한 sglang의 DSpark 헤드 최적화: 더 빠른 토큰 생성sglang의 DSpark 헤드에서 NVLink 집단 통신을 활용하여 토큰 생성 속도를 개선하는 방법을 분석합니다.#sglang#NVLink#DSpark#최적화#성능#딥러닝2026년 9월 14일댓글 수 로딩 중
[flashinfer] FlashInfer: Blackwell W8A8 AlphaMoE Expert 계산 커널 퓨전으로 성능 비약적 향상FlashInfer가 Blackwell GPU에 최적화된 W8A8 MoE Expert 계산 커널 퓨전으로 1.7배 이상 성능을 향상시켰습니다.#FlashInfer#MoE#Blackwell#W8A8#Kernel Fusion#CUDA#Optimization#GPU2026년 9월 13일댓글 수 로딩 중
[vllm] [vLLM] ROCm 환경에서 4바이트 스칼라 할당이 유발하는 성능 병목 해결하기ROCm 환경에서 PyTorch의 스칼라 할당이 유발하는 호스트 블로킹 현상을 비동기 연산으로 최적화하여 호스트 지연 시간을 8ms에서 0.01ms로 단축한 사례를 분석합니다.#vLLM#ROCm#PyTorch#Performance#Optimization#GPU2026년 9월 13일댓글 수 로딩 중
[vllm] vLLM에 DeepSeek DeepSelect 커널 통합: Sparse Attention 성능 극대화DeepSeek의 고성능 TopK 커널인 DeepSelect를 vLLM에 통합하여 Sparse Attention 인덱서의 추론 성능을 획기적으로 개선했습니다.#vLLM#DeepSeek#DeepSelect#CUDA#SparseAttention#KernelOptimization2026년 9월 13일댓글 수 로딩 중
[sglang] sglang, DeepSeek V4.1 모델을 위한 Paged KV Cache 최적화: V41 및 FP4 포맷 도입sglang, DeepSeek V4.1 모델의 KV Cache 효율성을 높이는 V41 및 FP4 포맷을 도입하여 메모리 사용량과 처리 속도를 개선합니다.#sglang#DeepSeek#KV Cache#Quantization#Optimization#LLM2026년 9월 13일댓글 수 로딩 중
[vllm] vLLM의 멀티모달 추론 성능 극대화: Triton/FlashInfer 복합 어텐션 도입Triton과 FlashInfer를 조합한 새로운 어텐션 백엔드로 멀티모달 모델의 TTFT를 34.5% 개선했습니다.#vLLM#LLM#Triton#FlashInfer#Performance Optimization2026년 9월 13일댓글 수 로딩 중
[flashinfer] FlashInfer, BF16 활성화 및 MXFP8 가중치에 대한 Cake MegaMoE EP16 백엔드 최적화FlashInfer의 실험적인 Cake MegaMoE EP16 백엔드가 BF16 활성화와 MXFP8 가중치에 대해 최적화되어 성능이 향상되었습니다.#FlashInfer#MegaMoE#MXFP8#BF16#최적화#성능#CUDA2026년 9월 12일댓글 수 로딩 중
[cpython] CPython 성능 최적화: list/tuple에서 bytes 생성 시 30% 성능 향상 및 Free-threading 대응CPython 3.14에서 list와 tuple을 bytes로 변환하는 과정이 최적화되었습니다. Free-threading 환경에서의 성능 저하를 해결하고 처리 속도를 개선한 기법을 분석합니다.#Python#CPython#Optimization#Free-threading#C-API2026년 9월 12일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell 아키텍처를 위한 고성능 BF16 x FP4 GEMM 커널 최적화FlashInfer에 NVIDIA Blackwell(SM100/SM103) 전용 BF16 x FP4 GEMM 커널을 추가하여 추론 성능을 극대화했습니다.#FlashInfer#CUDA#Blackwell#GEMM#FP4#Optimization2026년 9월 12일댓글 수 로딩 중
[sglang] H100에서 Qwen3-VL 단일 이미지 서빙 성능 11% 향상: SGLang 최적화 분석SGLang이 H100 GPU에서 Qwen3-VL 모델의 단일 이미지 스트리밍 서빙을 11% 이상 최적화한 기술적 접근을 분석합니다.#SGLang#Qwen3-VL#H100#GPU Optimization#LLM Serving#Multimodal AI#Performance Tuning2026년 9월 12일댓글 수 로딩 중
[vllm] vLLM Elastic EP의 CUDA Graph 재사용을 통한 리컨피규레이션 다운타임 97% 절감Elastic EP 리컨피규레이션 시 발생하는 CUDA Graph 재캡처 및 커널 웜업 오버헤드를 제거하여 서비스 중단 시간을 획기적으로 줄인 기술 분석.#vLLM#CUDA#LLM#Distributed Systems#Performance Optimization2026년 9월 12일댓글 수 로딩 중
[flashinfer] FlashInfer의 GEMM 성능 혁신: cuTile 백엔드 도입과 최적화 여정FlashInfer가 cuTile 백엔드를 도입하여 GEMM 성능을 극대화하고 견고성을 강화한 과정을 분석합니다.#FlashInfer#GEMM#cuTile#CUDA#성능 최적화#FP8#MoE#GPU 프로그래밍2026년 9월 11일댓글 수 로딩 중
[flashinfer] NVIDIA Blackwell(SM103a)을 위한 극한의 커널 퓨전: MiniMax-H3 BF16 Pre-attention 최적화 분석FlashInfer가 Blackwell 아키텍처의 TMA와 Tensor Map을 활용해 Pre-attention 연산을 어떻게 1.44배 가속했는지 분석합니다.#CUDA#Blackwell#FlashInfer#Kernel Fusion#Deep Learning#Performance Optimization2026년 9월 11일댓글 수 로딩 중
[vllm] vLLM의 MLA KV 캐시 최적화: 커널 통합을 통한 성능 극대화vLLM에서 여러 레이어의 FP8 MLA KV 캐시 삽입을 하나의 CUDA 커널로 통합하여 최대 6배 이상의 성능 향상을 달성한 최적화 사례를 분석합니다.#vLLM#CUDA#Optimization#LLM#Performance2026년 9월 11일댓글 수 로딩 중
[sglang] SGLang aiter 백엔드의 Sliding Window Attention(SWA) 최적화 및 안정성 개선aiter 백엔드에서 SWA KV 풀 해석 로직을 개선하고, paged-decode 시 잘못된 연산을 방지하는 가드를 추가하여 추론 정확도를 확보했습니다.#SGLang#aiter#ROCm#LLM#Optimization2026년 9월 11일댓글 수 로딩 중
[vllm] vLLM, ROCm 환경에서 FP8 GEMM 최적화로 성능 4-9% 향상vLLM이 ROCm 환경에서 FP8 GEMM 연산에 'bpreshuffled' 기법을 도입하여 성능을 4-9% 향상시킨 PR 분석#vLLM#ROCm#FP8#GEMM#성능 최적화#딥러닝2026년 9월 10일댓글 수 로딩 중
[sglang] Ascend NPU 환경에서 HiCache L2 I/O 성능 최적화: Memfabric과 AscendC 활용Ascend NPU의 HiCache L2 I/O 경로에 Memfabric과 AscendC를 도입하여 메모리 동기화 병목을 제거하고 전송 효율을 극대화했습니다.#NPU#SGLang#HiCache#AscendC#Memfabric#Performance2026년 9월 10일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 모델 성능 향상: DSpark 검증 및 MoE 커널 최적화DeepSeek-V4.1 모델의 DSpark 검증 및 MoE 커널 최적화를 통해 추론 성능을 크게 향상시킨 PR 분석#AI#LLM#최적화#성능#DeepSeek#SGLang2026년 9월 10일댓글 수 로딩 중
[onnxruntime] ONNX Runtime: INT4 Paged KV Cache 도입을 통한 메모리 최적화INT4 Paged KV Cache를 도입하여 LLM의 긴 컨텍스트 처리 시 메모리 사용량을 절반으로 줄이고 성능을 극대화했습니다.#ONNX Runtime#CUDA#LLM#Optimization#Quantization2026년 9월 10일댓글 수 로딩 중
[LlamaFactory] LLaMA Factory v1: 멀티모달 및 메모리 효율적인 SFT를 위한 Ulysses CP와 Chunk Loss 지원LLaMA Factory v1에서 Ulysses Context Parallelism과 메모리 효율적인 Chunk Loss를 도입하여 멀티모달 학습 및 SFT 성능을 최적화했습니다.#LLaMA Factory#SFT#Multimodal#Context Parallelism#Chunk Loss#Optimization2026년 9월 9일댓글 수 로딩 중