[논문리뷰] GORGO: Online Tuning for Cross-Region Network-Aware LLM Serving본 논문은 전역적으로 분산된 LLM 추론 환경에서 네트워크 지연, KV-cache 로컬리티, 서버 부하를 동시에 고려하는 최적의 로드 밸런싱 정책 부재 문제를 해결합니다.#Review#LLM Serving#Cross-Region#Load Balancing#KV-Cache#Online Tuning#Network Latency#Evolutionary Strategy2026년 7월 6일댓글 수 로딩 중