[sglang] [Diffusion] MiniMax-H3 비디오 인입 최적화: 87.5% 메모리 절감과 Zero-Copy의 마법Multi-GPU 환경에서 중복되는 비디오 디코딩을 제거하고, memfd와 mmap을 통해 호스트 레벨에서 데이터를 공유하여 메모리 효율을 극대화한 사례를 분석합니다.#Performance#Python#FFmpeg#Distributed-Computing#Memory-Optimization2026년 8월 12일댓글 수 로딩 중
[sglang] [Kimi K3] CPU 전송 이미지의 지연 전처리(Deferred Preprocessing)를 통한 VLM 성능 최적화Kimi-K3 모델에서 이미지 전처리를 실제 연산을 수행하는 GPU(Vision Owner)로 미루어 데이터 전송 오버헤드를 줄이고 TTFT를 최대 78% 개선한 사례를 분석합니다.#VLM#Optimization#SGLang#Kimi-K3#Distributed-Computing2026년 8월 9일댓글 수 로딩 중