[sglang] SGLang 고성능 서빙: 비동기 알림 배치 처리와 SSE 고속 경로 최적화 분석SGLang의 PD 분산 스트리밍 환경에서 CPU 병목 현상을 해결하기 위한 두 가지 핵심 최적화를 분석합니다.#SGLang#성능 최적화#비동기 프로그래밍#SSE#Python#메시지큐#Pydantic#msgspec2026년 4월 22일댓글 수 로딩 중
[gradio] Gradio SSE 라우트의 폴링 제거를 통한 성능 최적화Gradio의 SSE 통신에서 비효율적인 폴링 방식을 제거하고, asyncio.Queue를 활용한 이벤트 기반 대기 방식으로 전환하여 오버헤드를 획기적으로 줄였습니다.#Gradio#Python#asyncio#Performance#SSE2026년 3월 30일댓글 수 로딩 중