[sglang] SGLang Router의 버킷 기반 라우팅 및 KV Indexer 통합 최적화 분석SGLang Router의 버킷 기반 도메인 도입과 KV Indexer 통합을 통해 캐시 효율성과 라우팅 유연성을 극대화한 변경사항을 분석합니다.#SGLang#LLM#Router#KV-Cache#Distributed-Systems2026년 9월 6일댓글 수 로딩 중
[sglang] SGLang PD-Disaggregation 최적화: Mori 백엔드에서의 증분 KV 전송 구현SGLang의 PD-Disaggregation 환경에서 Mori 전송 백엔드와 Radix Cache를 연동하여 중복 KV 전송을 제거하고 TTFT를 20% 이상 개선했습니다.#SGLang#LLM#KV-Cache#Optimization#Distributed-Systems2026년 6월 13일댓글 수 로딩 중
[sglang] SGLang의 NIXL 통신 최적화: Prep+Make API 도입을 통한 KV 캐시 전송 성능 향상NIXL의 Prep+Make API를 활용해 KV 캐시 전송 시 디스크립터 재구성을 방지하여 TTFT를 최대 27% 개선했습니다.#SGLang#LLM#KV-Cache#Optimization#Distributed-Systems2026년 6월 2일댓글 수 로딩 중