[SGLang] NCCL & MSCCL++: 집합 통신 라이브러리 통합SGLang의 NCCL과 MSCCL++ 통합을 분석한다. NVIDIA NCCL의 래퍼 구현, Microsoft MSCCL++의 추가 최적화, 라이브러리 선택 전략을 코드와 함께 살펴본다.#sglang#NCCL#MSCCL++#Collective Communication2026년 4월 13일댓글 수 로딩 중
[SGLang] 통신 연산: AllReduce, Broadcast, AllGather 구현SGLang의 분산 통신 연산을 분석한다. AllReduce, Broadcast, AllGather 등 집합 통신의 구현, 커스텀 올리듀스와의 연동을 코드와 함께 살펴본다.#sglang#AllReduce#Broadcast#Collective Communication2026년 4월 13일댓글 수 로딩 중