[SGLang] HiRadixCache: 계층적 GPU/CPU/Disk KV 캐시SGLang의 HiRadixCache를 분석한다. GPU → CPU → Disk 3계층 캐시 구조, 핫/콜드 데이터 자동 이동, 대규모 컨텍스트 지원을 코드와 함께 살펴본다.#sglang#HiRadixCache#Hierarchical Cache#CPU Offloading2026년 4월 10일댓글 수 로딩 중
[sglang] HiRadixCache에서 TTL 기반 hard pin 기능 제거HiRadixCache의 TTL 기반 prefix pinning 기능 전체를 revert하여 코드 복잡도를 줄이고 캐시 관리를 단순화#SGLang#Cache#HiRadixCache#Revert2026년 4월 1일댓글 수 로딩 중