[sglang] Ascend NPU 환경에서 HiCache L2 I/O 성능 최적화: Memfabric과 AscendC 활용Ascend NPU의 HiCache L2 I/O 경로에 Memfabric과 AscendC를 도입하여 메모리 동기화 병목을 제거하고 전송 효율을 극대화했습니다.#NPU#SGLang#HiCache#AscendC#Memfabric#Performance2026년 9월 10일댓글 수 로딩 중
[sglang] SGLang HiCache에 AMD UMBP 기반 L3 스토리지 백엔드 도입AMD MI3xx 환경에서 HBM 부족 문제를 해결하기 위해 UMBP 기반의 계층형 DRAM/SSD 스토리지 백엔드를 HiCache에 통합하여 TTFT를 3.5배 개선했습니다.#SGLang#HiCache#AMD#UMBP#KV-Cache#LLM-Serving2026년 7월 1일댓글 수 로딩 중
[sglang] SGLang NIXL HiCache 리팩토링 및 O_DIRECT 지원 추가: 성능 향상과 안정성 강화SGLang의 NIXL HiCache 커넥터 리팩토링 및 O_DIRECT 지원 추가로 I/O 성능 향상 및 안정성 개선.#SGLang#NIXL#HiCache#O_DIRECT#성능 최적화#KV Cache2026년 6월 1일댓글 수 로딩 중
[sglang] SGLang의 Unified Radix Cache를 위한 SWA HiCache 지원 최적화SGLang에서 SWA(Sliding Window Attention)를 HiCache와 통합하여 메모리 효율성과 추론 성능을 크게 향상시킨 변경사항 분석#SGLang#LLM#KV-Cache#Optimization#HiCache2026년 5월 6일댓글 수 로딩 중
[sglang] PD 시나리오에서 상세 캐시 히트 분류 수정Prefill-Decode 분리 환경에서 device/host/storage별 캐시 히트 통계가 올바르게 전달되도록 수정#SGLang#HiCache#Disaggregation#Cache2026년 4월 2일댓글 수 로딩 중
[sglang] HiCache 메모리 누수 수정: host indices clone으로 참조 해제 보장SGLang HiCache에서 host_indices를 clone하지 않아 발생하는 메모리 누수 버그를 수정한 코드 분석. 텐서 참조 공유의 위험성을 살펴봅니다.#SGLang#HiCache#Memory Leak#Bug Fix#PyTorch#Tensor2026년 4월 2일댓글 수 로딩 중
[SGLang] flush_cache API에 timeout 파라미터 추가HiCache 비동기 작업 중 캐시 flush 실패를 방지하기 위해 대기 시간을 설정할 수 있는 timeout 파라미터를 도입한다#SGLang#API#Cache Management#HiCache2026년 3월 26일댓글 수 로딩 중
[SGLang] TestQwen35WithHiCache CI 테스트 분리 및 수정Qwen3.5 HiCache 테스트를 별도 파일로 분리하고 max_tokens를 16000으로 늘려 CI 안정성을 확보한다#SGLang#CI#Testing#HiCache2026년 3월 25일댓글 수 로딩 중