[vllm] vLLM: PyNvVideoCodec 하드웨어 디코더 동시성 최적화로 비디오 처리량 94% 향상

PR 링크: vllm-project/vllm#49753 상태: Merged | 변경: +190 / -24

들어가며

vLLM은 대규모 언어 모델(LLM) 추론을 위한 고성능 서빙 프레임워크로, 최근에는 텍스트뿐만 아니라 이미지, 비디오와 같은 멀티모달 입력 처리 기능도 강화하고 있습니다. 특히 비디오 입력은 복잡하고 자원 소모가 큰 작업으로, 효율적인 디코딩은 전체 시스템 성능에 critical한 영향을 미칩니다.

이번에 분석할 vLLM의 PR ([multimodal] Make PyNvVideoCodec decoder concurrency configurable)은 PyNvVideoCodec 기반의 GPU 비디오 디코더의 동시성(concurrency)을 설정할 수 있도록 하여, 비디오 처리량이 많은 워크로드에서 최대 94%의 처리량 향상을 달성한 중요한 최적화입니다.

무엇이 문제였나?

이전 vLLM의 PyNvVideoCodec 비디오 디코딩 백엔드는 단 하나의 디코더 슬롯으로 고정되어 있었습니다. 이는 GPU가 여러 비디오 스트림을 동시에 디코딩할 수 있는 충분한 하드웨어 디코딩 용량을 가지고 있음에도 불구하고, 모든 디코딩 요청이 순차적으로 처리되도록 만들었습니다.

특히 OSL(Output Sequence Length)이 낮고 비디오 크기가 큰, 즉 프론트엔드에서 비디오 디코딩 부하가 높은 워크로드에서는 이 단일 디코더가 병목(bottleneck)이 되어 전체 시스템의 처리량(throughput)을 저해하는 주된 원인이 되었습니다. GPU의 NVDEC(NVIDIA Video Decoder) 유닛은 여러 디코딩 작업을 병렬로 처리할 수 있는 능력이 있지만, vLLM 내부 구현이 이를 충분히 활용하지 못하고 있었던 것입니다.

어떻게 개선되었나?

이 PR의 핵심은 PyNvVideoCodec 하드웨어 디코더의 수를 hw_decoders라는 새로운 미디어 I/O 옵션을 통해 설정 가능하게 만든 것입니다. 이를 통해 사용자는 자신의 GPU 하드웨어와 워크로드 특성에 맞춰 최적의 디코더 수를 지정하여 병렬 비디오 디코딩을 활성화할 수 있게 되었습니다.

주요 개선 사항은 다음과 같습니다:

1. hw_decoders 옵션 추가: API 서버 시작 시에만 설정 가능한 hw_decoders 옵션을 추가했습니다.
2. 기본값 및 권장 사항: 기본값은 2로 설정되었으며, 이는 테스트 결과 단일 디코더 대비 큰 성능 향상을 보였기 때문입니다.
3. 디코더 풀(pool) 크기 조절: 설정된 hw_decoders 값에 따라 유지되는 디코더 풀의 크기를 조절합니다.
4. GPU 메모리 예약 스케일링: 디코더 표면(surface)을 위한 GPU 메모리 예약이 hw_decoders 수와 API 서버 수에 비례하여 스케일링됩니다.
5. 런타임 오버라이드 방지: 디코더 메모리가 시작 시 예약되므로, 요청(request) 레벨에서의 hw_decoders 오버라이드를 방지하여 안정성을 확보했습니다.
6. 문서화: 새로운 옵션, 기본값, 메모리 트레이드오프, CLI 사용법 등을 명확히 문서화했습니다.

코드 분석

1. vllm/multimodal/video.py: 디코더 슬롯 관리 로직 변경

이 파일은 PyNvVideoCodecVideoBackend의 핵심 로직을 담고 있습니다. 기존에는 PYNVVIDEOCODEC_MAX_RETAINED_DECODERS라는 상수로 디코더 슬롯 수가 고정되어 있었으나, 이 PR에서는 이를 _max_decoder_slots라는 동적인 값으로 대체하고, _configure_decoder_slots 메서드를 통해 한 번만 설정되도록 변경했습니다.

Before (_borrow_decoder_slot의 간접적인 영향):

# PYNVVIDEOCODEC_MAX_RETAINED_DECODERS = 1 (상수로 고정)

# _borrow_decoder_slot 내부에서 PYNVVIDEOCODEC_MAX_RETAINED_DECODERS를 사용하여 슬롯 관리
# 이는 단일 슬롯만 존재함을 의미

After (_configure_decoder_slots 및 _borrow_decoder_slot):

class PyNvVideoCodecVideoBackend(VideoBackend):
    # ...
    _max_decoder_slots: int | None = None
    # ...

    @classmethod
    def _configure_decoder_slots(cls, hw_decoders: int):
        if cls._max_decoder_slots is not None:
            if cls._max_decoder_slots != hw_decoders:
                raise RuntimeError(
                    f

## 참고 자료
- https://github.com/NVIDIA/PyNvCodec

> ⚠️ **알림:** 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.