[ray] Ray Serve LLM 인그레스 최적화: 로컬 라우팅을 통한 병목 현상 제거단일 글로벌 라우터의 병목을 해결하기 위해 HAProxy와 동일 노드에 위치한 라우터로 요청을 분산하고 가용성을 높이는 아키텍처 개선 사항을 분석합니다.#Ray#Ray Serve#LLM#HAProxy#Optimization#Distributed Systems2026년 7월 22일댓글 수 로딩 중
[Ray Serve] 처리량 최적화 설정 로깅 기능 추가RAY_SERVE_THROUGHPUT_OPTIMIZED 활성화 시 최적화 설정 로그 출력#Ray#Ray Serve#Observability#Performance2026년 3월 28일댓글 수 로딩 중
[ray] Ray Serve P99 레이턴시 회귀 수정 — 큐 길이 캐시 미감소 버그큐 길이 캐시가 증가만 하고 감소하지 않아 발생한 P99 레이턴시 회귀를 수정#Python#Ray Serve#Performance#Bug Fix#Distributed Systems2026년 3월 17일댓글 수 로딩 중
[Ray Serve] Direct Ingress 최적화: 상수 순서 정리 및 빈 프록시 조기 반환Ray Serve에서 HAProxy 관련 상수 초기화 순서를 수정하고 빈 proxy handles 순회를 방지하는 간결한 최적화 PR 분석.#Ray#Ray Serve#Direct Ingress#HAProxy#Performance#Early Return2026년 2월 25일댓글 수 로딩 중
[Ray Serve] Pack 스케줄링 최적화: O(replicas x total_replicas)에서 O(replicas x nodes)로Ray Serve의 pack 스케줄링 전략에서 레플리카마다 전체 리소스를 재계산하던 O(N^2) 로직을 사전 계산 + 증분 업데이트로 변경하여 대규모 배포 성능을 크게 개선한 PR을 분석합니다.#Ray#Ray Serve#Performance#Scheduling#Python#Optimization2026년 2월 13일댓글 수 로딩 중