[논문리뷰] Duration Aware Scheduling for ASR Serving Under Workload Drift본 논문은 대규모 ASR 시스템에서 FCFS 기반 스케줄링이 작업 시간의 가변성을 고려하지 못해 발생하는 비효율성 문제를 해결한다. 기존의 vLLM과 같은 서빙 엔진들은 입력을 순차적으로 처리하므로, 긴 오디오 요청이 짧은 요청들을 가로막는 Head-of-Line blocking 현상이 빈번하게 발생한다.#Review#ASR#Scheduling#Latency#vLLM#Whisper#Workload Drift#SJF#HRRN2026년 6월 18일댓글 수 로딩 중
[Ray Serve] Pack 스케줄링 최적화: O(replicas x total_replicas)에서 O(replicas x nodes)로Ray Serve의 pack 스케줄링 전략에서 레플리카마다 전체 리소스를 재계산하던 O(N^2) 로직을 사전 계산 + 증분 업데이트로 변경하여 대규모 배포 성능을 크게 개선한 PR을 분석합니다.#Ray#Ray Serve#Performance#Scheduling#Python#Optimization2026년 2월 13일댓글 수 로딩 중
[Ray Data] 리소스 매니저 스케줄링에 논리적 메모리 포함Ray Data의 리소스 매니저가 CPU/GPU만 고려하던 스케줄링 결정에 논리적 메모리(memory)를 추가하여, 메모리 초과 할당을 방지하는 PR을 분석합니다.#Ray#Ray Data#Resource Management#Memory#Scheduling#Python2026년 2월 11일댓글 수 로딩 중
[Triton] AMD FAv3 pingpong에서 s_xxx 명령어 배치 최적화Memory cluster와 compute cluster 사이의 스칼라 명령어 배치를 개선하여 GPU 파이프라인 활용도를 높임#Triton#AMD#Scheduling#Performance#FlashAttention2025년 11월 3일댓글 수 로딩 중