[SGLang] KV Cache Offloading: Decode 중 메모리 오프로딩SGLang의 KV Cache Offloading을 분석한다. Decode 단계에서 GPU 메모리 부족 시 KV 캐시를 CPU로 오프로딩하는 전략을 코드와 함께 살펴본다.#sglang#KV Offloading#CPU Offload#Memory Management2026년 4월 13일댓글 수 로딩 중