[ray] Ray Serve LLM 인그레스 최적화: 로컬 라우팅을 통한 병목 현상 제거단일 글로벌 라우터의 병목을 해결하기 위해 HAProxy와 동일 노드에 위치한 라우터로 요청을 분산하고 가용성을 높이는 아키텍처 개선 사항을 분석합니다.#Ray#Ray Serve#LLM#HAProxy#Optimization#Distributed Systems2026년 7월 22일댓글 수 로딩 중
[Ray Serve] Direct Ingress 최적화: 상수 순서 정리 및 빈 프록시 조기 반환Ray Serve에서 HAProxy 관련 상수 초기화 순서를 수정하고 빈 proxy handles 순회를 방지하는 간결한 최적화 PR 분석.#Ray#Ray Serve#Direct Ingress#HAProxy#Performance#Early Return2026년 2월 25일댓글 수 로딩 중