[vllm] vLLM의 /derender 엔드포인트 성능 개선: CPU 작업 오프로딩으로 이벤트 루프 차단 문제 해결vLLM의 /derender 엔드포인트에서 발생하는 CPU 집약적 작업을 별도 스레드 풀로 오프로딩하여 이벤트 루프 차단을 해결하고 응답성을 개선했습니다.#vLLM#성능 최적화#비동기 프로그래밍#멀티스레딩#Python2026년 7월 22일댓글 수 로딩 중
[sglang] NixlKVManager 성능 향상: 비동기 및 멀티스레드 KV 전송 도입NixlKVManager의 KV 전송 병목 현상을 비동기 및 멀티스레드 방식으로 해결하여 성능을 4배 향상시켰습니다.#sglang#Nixl#성능 최적화#비동기 처리#멀티스레딩#분산 추론2026년 5월 7일댓글 수 로딩 중