[SGLang] Prefill Delayer: 전략적 프리필 지연으로 디코드 처리량 극대화SGLang의 Prefill Delayer를 분석한다. 프리필 요청을 의도적으로 지연시켜 디코드 배치의 처리량을 극대화하는 전략, 지연 조건과 임계값 설정을 코드와 함께 살펴본다.#sglang#Prefill Delay#Decode Throughput#Scheduling Strategy2026년 4월 10일댓글 수 로딩 중