[sglang] flush_cache 단순화: 동시 요청 거부와 클라이언트 재시도 제거SGLang의 flush_cache를 Deque 기반 다중 요청 큐에서 Optional 단일 요청으로 단순화하고, 서버 측 timeout과 명확한 에러 메시지를 도입한 리팩토링 분석.#SGLang#Cache Management#API Design#Simplification#Concurrency2026년 3월 26일댓글 수 로딩 중
[SGLang] flush_cache API에 timeout 파라미터 추가HiCache 비동기 작업 중 캐시 flush 실패를 방지하기 위해 대기 시간을 설정할 수 있는 timeout 파라미터를 도입한다#SGLang#API#Cache Management#HiCache2026년 3월 26일댓글 수 로딩 중