[sglang] SGLang Kimi K2.5/K2.7 멀티모달 인코더-DP 성능 최적화: 이미지 피처 전송 샤딩 및 배치 처리Kimi K2.5/K2.7 모델의 멀티모달 인코더-DP 모드에서 이미지 피처 전송 및 전처리 성능을 획기적으로 개선한 PR 분석.#SGLang#Kimi#멀티모달#성능 최적화#GPU#CUDA IPC#분산 학습#FlashAttention2026년 7월 16일댓글 수 로딩 중
[SGLang] CUDA IPC Pool Handle 캐싱으로 멀티모달 전송 최적화멀티모달 데이터 전송 시 CUDA IPC 핸들을 풀 수준에서 캐싱하여 반복적인 cudaIpcOpenMemHandle 호출을 제거한다#SGLang#CUDA IPC#Multimodal#Performance2026년 3월 29일댓글 수 로딩 중