[sglang] 실시간 RGB 전송 속도 향상을 위한 최적화 분석

PR 링크: sgl-project/sglang#27236 상태: Merged | 변경: +5 / -1

들어가며

최근 sglang 프로젝트의 Pull Request(PR)에서는 실시간 멀티모달 생성에서 발생하는 RGB 데이터 전송 속도를 획기적으로 개선하는 작업이 이루어졌습니다. 특히, 비디오 프레임과 같이 손실 없이 전송해야 하는 데이터를 실시간으로 처리할 때 발생하는 병목 현상을 해결하는 데 중점을 두었습니다. 이 PR은 기존의 delta-gzip 와이어 포맷을 유지하면서도, 이미 손실 없이 처리된 프레임에 대해 불필요한 실시간 CPU 압축 예산을 소모하는 것을 방지하여 성능을 크게 향상시켰습니다.

이번 글에서는 해당 PR의 코드 변경 사항을 상세히 분석하고, 이러한 최적화가 왜 효과적인지, 그리고 어떤 일반적인 교훈을 얻을 수 있는지 살펴보겠습니다.

코드 분석

이번 PR의 핵심 변경 사항은 python/sglang/multimodal_gen/runtime/utils/realtime_video.py 파일 내 build_delta_gzip_raw_rgb_payload 함수의 압축 레벨 설정에 있습니다.

build_delta_gzip_raw_rgb_payload 함수의 압축 레벨 변경

기존 코드에서는 zlib.compressobj 함수를 호출할 때 level=1로 설정하여 데이터를 압축했습니다. 하지만 이 PR에서는 _RAW_RGB_DELTA_GZIP_LEVEL이라는 상수를 새로 정의하고 그 값을 0으로 설정하여 압축 레벨을 변경했습니다.

Before:

-    compressor = zlib.compressobj(level=1, method=zlib.DEFLATED, wbits=31)

After:

+    # keep gzip framing for lossless transport without spending realtime budget on compression
+    compressor = zlib.compressobj(
+        level=_RAW_RGB_DELTA_GZIP_LEVEL, method=zlib.DEFLATED, wbits=31
+    )

또한, _RAW_RGB_DELTA_GZIP_LEVEL 상수를 0으로 설정함으로써, zlib 라이브러리의 압축 레벨 중 가장 빠르지만 압축률은 낮은 'No compression' 옵션을 사용하게 됩니다. 주석에서 명시된 바와 같이, 이는 'lossless transport without spending realtime budget on compression' 즉, 실시간 전송을 위해 압축에 드는 CPU 예산을 소모하지 않으면서도 손실 없는 전송을 유지하기 위함입니다.

delta-gzip 포맷 자체는 데이터의 손실 없는 전송을 보장하며, 이 PR은 이미 손실 없이 처리된 프레임 데이터에 대해 추가적인 압축을 수행하는 것이 오히려 성능 저하의 원인임을 파악했습니다. 따라서 압축 레벨을 0으로 설정하여 압축 과정을 사실상 생략함으로써, 실시간 처리 속도를 크게 향상시키는 것을 목표로 합니다.

왜 이게 좋은가?

성능 향상

PR 설명에 따르면, 이 변경은 다음과 같은 놀라운 성능 향상을 가져왔습니다:

• chunk_total 합계: 4개의 H200 환경에서 robbyant/lingbot-world-fast-diffusers 모델을 사용한 Plastic Beach 실시간 케이스에서 이전 2596ms에서 2015ms로 22.4% 빨라졌습니다.
• raw_payload_build 시간: 각 스테디 청크(steady chunk)별로 약 254/213/212 ms에서 21/20/19 ms로 극적인 감소를 보였습니다. 이는 주로 압축 과정에 소요되던 시간을 절약한 결과입니다.
• scheduler_forward 합계: 1899ms에서 1902ms로 거의 변화가 없습니다. 이는 핵심 스케줄링 로직에는 영향을 주지 않으면서 전송 부분만 최적화되었음을 의미합니다.

이러한 성능 수치는 불필요한 연산을 제거하는 것이 실시간 시스템에서 얼마나 중요한지를 명확하게 보여줍니다. 특히, 이미 손실 없이 처리된 데이터를 다시 압축하는 것은 CPU 자원을 낭비하는 행위였으며, 이를 제거함으로써 상당한 성능 개선을 이끌어냈습니다.

일반적인 교훈

1. 프로파일링의 중요성: 성능 병목 지점을 정확히 파악하는 것이 최적화의 첫걸음입니다. 이 PR은 raw_payload_build 단계에서 많은 시간이 소요됨을 인지하고 해당 부분을 집중적으로 개선했습니다.
2. '손실 없음'의 의미 재확인: 데이터 전송에서 '손실 없음(lossless)'이 요구될 때, 그것이 반드시 '압축됨(compressed)'을 의미하는 것은 아닙니다. 이미 압축 효율이 낮거나, 압축 자체가 불필요한 경우(예: 이미 손실 없이 처리된 데이터)에는 압축을 생략하는 것이 더 빠를 수 있습니다.
3. 실시간 시스템에서의 CPU 예산: 실시간 시스템에서는 CPU 예산을 효율적으로 사용하는 것이 매우 중요합니다. 불필요한 연산, 특히 반복적으로 수행되는 압축/압축 해제 로직은 성능 저하의 주범이 될 수 있습니다. 압축 레벨을 조절하거나, 필요 없는 경우 완전히 제거하는 것을 고려해야 합니다.
4. 와이어 포맷 유지: 기존의 delta-gzip 와이어 포맷을 유지하면서 내부 구현을 개선함으로써, 기존 시스템과의 호환성을 해치지 않으면서 성능을 향상시키는 좋은 사례입니다.

결론

sglang의 이번 PR은 실시간 RGB 데이터 전송 최적화를 통해 22.4%의 상당한 성능 향상을 달성했습니다. 이는 이미 손실 없이 처리된 데이터에 대한 불필요한 압축을 제거하고, zlib의 압축 레벨을 0으로 설정하여 실시간 CPU 예산을 절약함으로써 가능했습니다. 이 사례는 프로파일링의 중요성, '손실 없음'의 의미, 그리고 실시간 시스템에서의 CPU 예산 관리의 중요성을 다시 한번 강조합니다. 이러한 최적화는 sglang이 더욱 빠르고 효율적인 멀티모달 AI 서비스를 제공하는 데 기여할 것입니다.

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.