[flashinfer] FlashInfer, MiniMax-H3 어텐션 최적화: BF16 및 NVFP4 지원으로 성능 혁신FlashInfer의 MiniMax-H3 어텐션 최적화 PR 분석: BF16 및 NVFP4 지원으로 성능 향상 및 새로운 가능성 제시#FlashInfer#AI#딥러닝#최적화#GPU#어텐션 메커니즘#BF16#NVFP42026년 9월 24일댓글 수 로딩 중
[vllm] vLLM, ROCm 환경에서 FP8을 활용한 DeepSeek-V4.1 모델 성능 최적화ROCm 환경에서 FP8 데이터 타입을 활용하여 DeepSeek-V4.1 모델의 추론 성능을 크게 향상시킨 vLLM의 코드 변경 사항을 분석합니다.#vLLM#ROCm#FP8#DeepSeek-V4.1#성능 최적화#AI 모델 최적화2026년 9월 24일댓글 수 로딩 중
[flashinfer] FlashInfer의 plan() 함수 최적화: Python max()에서 Tensor.max()로의 전환FlashInfer의 plan() 함수에서 Python max()를 Tensor.max()로 대체하여 호스트 시간 성능을 크게 향상시킨 PR 분석#FlashInfer#최적화#성능#딥러닝#LLM2026년 9월 22일댓글 수 로딩 중
[feast] Feast 온라인 서빙 성능 최적화: 불필요한 오버헤드 제거하기Feast의 온라인 서빙 경로에서 발생하던 성능 저하 문제를 해결하고, O(N) 연산을 O(1)로 개선한 사례를 분석합니다.#Feast#Python#Performance#Optimization#Backend2026년 9월 22일댓글 수 로딩 중
[ultralytics] SAM3 텍스트 프롬프팅 VRAM 최적화: 청크 기반 처리로 메모리 사용량 대폭 감소SAM3의 텍스트 프롬프팅 시 VRAM 사용량을 획기적으로 줄이는 청크 기반 처리 기법을 소개합니다.#ultralytics#SAM3#VRAM 최적화#딥러닝#컴퓨터 비전2026년 9월 22일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CPU Col2im 최적화: 메모리 접근 및 경계 검사 개선ConvTranspose 연산의 핵심인 Col2im 함수에서 메모리 접근 패턴을 개선하고 불필요한 경계 검사를 제거하여 성능을 대폭 향상했습니다.#ONNXRuntime#C++#Optimization#Performance#ConvTranspose2026년 9월 22일댓글 수 로딩 중
[onnxruntime] ONNX Runtime CUDA EP, 2-bit 양자화 GEMM/GEMV 지원 추가로 모델 경량화 가속ONNX Runtime CUDA EP가 2-bit 양자화 가중치 지원을 추가하여 MatMul 연산 성능을 크게 향상시켰습니다.#ONNX Runtime#CUDA#Quantization#GEMM#GEMV#Optimization#Deep Learning2026년 9월 22일댓글 수 로딩 중
[flashinfer] FlashInfer BF16 KDA 성능 최적화: M64 Value Split 도입FlashInfer의 BF16 KDA 연산에서 M64 Value Split을 활용하여 성능을 크게 향상시킨 PR 분석#FlashInfer#AI#성능 최적화#CUDA#BF16#LLM2026년 9월 21일댓글 수 로딩 중
[flashinfer] FlashInfer의 Context-Parallel Decode 최적화: Fused A2A + LSE ReduceNCCL LSA를 활용하여 All-to-All 통신과 LSE 가중치 병합을 하나의 CUDA 커널로 융합해 성능을 극대화한 기술 분석.#FlashInfer#CUDA#NCCL#LLM#Context-Parallel2026년 9월 21일댓글 수 로딩 중
[vllm] [ROCm 성능 최적화] vLLM의 Fused Shared-Expert Gate GEMM 경로 개선 분석ROCm 환경에서 Fused Shared-Expert의 Gate 연산을 전용 디스패처로 라우팅하여 GEMM 성능을 약 2배 개선하고 AITER 튜닝 경로를 확보한 사례를 분석합니다.#vLLM#ROCm#MoE#Performance#GEMM#AMD2026년 9월 21일댓글 수 로딩 중
[sglang] HiCache 최적화: TMA를 활용한 Host-Device KV 캐시 전송 성능 2배 향상TMA(Tensor Memory Accelerator)를 도입하여 Host-Device 간 KV 캐시 전송 대역폭을 2배 개선하고 링크 효율을 극대화한 기술 분석.#SGLang#CUDA#TMA#Hicache#Optimization2026년 9월 21일댓글 수 로딩 중
[sglang] [AMD ROCm] GLM-5.x Prefill 성능을 66% 끌어올린 Top-K 커널 최적화 분석AMD ROCm 환경에서 GLM-5.x 모델의 Prefill Top-K 연산을 최적화하여 전체 처리량을 4.9% 향상시킨 사례를 분석합니다.#AMD#ROCm#SGLang#Top-K#GPU Optimization#LLM2026년 9월 21일댓글 수 로딩 중
[flashinfer] FlashInfer의 실험적 NVFP4 어텐션 도입: SM103 최적화NVIDIA SM103 아키텍처를 위한 NVFP4 기반의 고성능 어텐션 구현 및 최적화 기법 분석.#FlashInfer#CUDA#NVFP4#Attention#SM103#Optimization2026년 9월 20일댓글 수 로딩 중
[ultralytics] Ultralytics YOLOv10 TensorRT 엔진 성능 최적화: FP16 및 INT8 속도 향상 비결TensorRT 엔진의 FP16 및 INT8 추론 속도를 최대 20%까지 향상시키는 최적화 기법을 분석합니다.#YOLOv10#TensorRT#Optimization#Performance#FP16#INT8#CUDA Graph2026년 9월 20일댓글 수 로딩 중
[vllm] [ROCm] DeepSeek V4 성능 극대화: FP8 WO_A 출력 프로젝션 최적화 분석ROCm 환경에서 DeepSeek V4의 WO_A 경로를 FP8로 전환하여 TTFT를 7% 개선하고 처리량을 높인 최적화 기법을 분석합니다.#ROCm#DeepSeek-V4#FP8#vLLM#Performance Optimization#AITER2026년 9월 20일댓글 수 로딩 중
[sglang] SGLang에서 SM120 GPU를 위한 SubBlock Sage FP8 어텐션 최적화SM120 GPU 환경에서 FlashInfer CuTe-DSL을 활용해 SubBlock Sage FP8 어텐션을 구현하여 추론 속도를 최대 14.86% 개선했습니다.#SGLang#GPU#FlashInfer#Optimization#FP82026년 9월 20일댓글 수 로딩 중
[sglang] H200 GPU에서 GLM-5.2 MoE를 위한 W4A8 GEMM 커널 최적화 분석SGLang에서 H200 GPU를 위한 GLM-5.2 MoE 모델의 W4A8 GEMM 커널을 최적화하여 최대 1.23배의 속도 향상을 달성한 PR 분석.#SGLang#GPU 최적화#CUTLASS#MoE#W4A8#H200#GLM-5.2#성능 튜닝#CUDA2026년 9월 19일댓글 수 로딩 중
[sglang] ROCm 환경에서 SGLang HiCache JIT 전송 커널 최적화 및 유연성 개선ROCm 환경에서 MLA fp8 등 다양한 데이터 크기를 지원하기 위해 HiCache JIT 커널의 복사 단위를 세분화하고 호스트 풀 접근성을 개선했습니다.#SGLang#ROCm#JIT#KernelOptimization#HPC2026년 9월 19일댓글 수 로딩 중
[vllm] NVIDIA RTX PRO 6000 GPU에서 VLLM의 행렬 곱셈 성능 최적화: sm120 아키텍처 지원 추가NVIDIA RTX PRO 6000 GPU의 sm120 아키텍처를 위한 VLLM 행렬 곱셈 커널 최적화로 성능 향상.#VLLM#NVIDIA#GPU#Optimization#Performance#Deep Learning#LLM#Kernel Tuning2026년 9월 19일댓글 수 로딩 중
[sglang] DeepSeek-V4.1 성능 최적화: mHC 및 메타데이터 오버헤드 개선 분석DeepSeek-V4.1의 MoE 및 추론 파이프라인에서 mHC, 메타데이터, 라우터 오버헤드를 최적화하여 5% 이상의 처리량 향상을 달성했습니다.#DeepSeek-V4#SGLang#GPU Optimization#CUDA#MoE2026년 9월 19일댓글 수 로딩 중