[flashinfer] [FlashInfer] Device-side Gating을 통한 MoE GEMM2 경로 최적화: Kimi-K3 모델 성능 개선 사례MoE의 GEMM2 경로 선택 로직을 호스트에서 디바이스로 이동시켜, 롱 프리필 상황에서 최대 9.5%의 성능 향상을 달성한 최적화 기법을 분석합니다.#FlashInfer#MoE#CUDA#Optimization#LLM Inference#Kimi-K32026년 10월 13일댓글 수 로딩 중
[sglang] [Kimi K3] CPU 전송 이미지의 지연 전처리(Deferred Preprocessing)를 통한 VLM 성능 최적화Kimi-K3 모델에서 이미지 전처리를 실제 연산을 수행하는 GPU(Vision Owner)로 미루어 데이터 전송 오버헤드를 줄이고 TTFT를 최대 78% 개선한 사례를 분석합니다.#VLM#Optimization#SGLang#Kimi-K3#Distributed-Computing2026년 8월 9일댓글 수 로딩 중