[vllm] vLLM에서 Lfm2VL 모델을 위한 Encoder CUDA Graph 최적화 적용

PR 링크: vllm-project/vllm#44930 상태: Merged | 변경: +416 / -18

들어가며

vLLM은 대규모 언어 모델(LLM)과 멀티모달 모델의 추론 효율성을 극대화하기 위해 지속적으로 최적화 기법을 도입하고 있습니다. 이번 PR은 LiquidAI의 Lfm2VL 모델에 SupportsEncoderCudaGraph 인터페이스를 구현하여, 비전 인코더 단계에서 CUDA Graph를 활용할 수 있도록 개선했습니다. 특히 낮은 배치 사이즈(low batch size) 환경에서 엔드투엔드 지연 시간을 10-20% 단축하는 성과를 거두었습니다.

코드 분석

1. 인터페이스 통합 및 구조 개선

Lfm2VLForConditionalGeneration 클래스에 SupportsEncoderCudaGraph를 상속받아 CUDA Graph 지원을 활성화했습니다.

# Before
class Lfm2VLForConditionalGeneration(nn.Module, SupportsMultiModal, SupportsLoRA, SupportsPP, IsHybrid):

# After
class Lfm2VLForConditionalGeneration(
    nn.Module,
    SupportsMultiModal,
    SupportsEncoderCudaGraph,
    SupportsLoRA,
    SupportsPP,
    IsHybrid,
):

2. Encoder CUDA Graph 설정 및 버퍼 관리

get_encoder_cudagraph_config를 통해 모델이 어떤 버퍼를 캐싱하고 관리해야 하는지 정의했습니다. 특히 padding_logics를 통해 가변 길이 입력에 대한 처리를 최적화했습니다.

def _pad_cumulative_seqlens_buffer(dst: torch.Tensor, src: torch.Tensor) -> None:
    n = src.shape[0]
    dst.zero_()
    dst[:n].copy_(src)
    if n < dst.shape[0]:
        dst[n:] = src[-1]

3. Forward 패스 리팩토링

기존의 forward 메서드를 forward_with_gather_idx와 forward_from_unshuffled로 분리하여, CUDA Graph 캡처 시 불필요한 연산을 줄이고 재사용성을 높였습니다. 이는 리뷰어의 피드백을 반영하여 기존 eager 모드와의 호환성을 유지하면서도 그래프 캡처 효율을 극대화한 결과입니다.

왜 이게 좋은가

CUDA Graph는 커널 실행 시 발생하는 CPU 오버헤드를 획기적으로 줄여줍니다. 특히 비전 인코더와 같이 반복적인 연산이 많은 멀티모달 모델의 경우, 매번 커널을 런칭하는 대신 그래프를 미리 기록(capture)하고 재실행(replay)함으로써 성능을 크게 향상시킵니다.

• 성능 향상: 낮은 배치 사이즈에서 e2e 지연 시간 10-20% 감소.
• 교훈: 가변 길이 입력(variable-length input)을 처리하는 모델에서 cu_seqlens와 같은 버퍼를 정적으로 할당하고 패딩 로직을 최적화하는 것은 CUDA Graph 도입의 핵심입니다.

리뷰 과정에서 Isotr0py는 기존 eager forwarding 로직을 수정할 필요 없이 관리자가 자동으로 그래프 캡처를 수행하도록 유도하여 코드의 복잡도를 낮추는 기술적 조언을 제공했습니다. 이는 vLLM의 인터페이스 설계 철학을 잘 보여주는 사례입니다.

결론

이번 최적화는 Lfm2VL 모델의 실사용 환경에서의 응답 속도를 크게 개선했습니다. 멀티모달 모델의 비전 인코더 병목 현상을 해결하고자 하는 개발자들에게 좋은 레퍼런스가 될 것입니다.

참고 자료

• https://docs.nvidia.com/cuda/cuda-runtime-api/group__CUDART__GRAPH.html
• https://pytorch.org/docs/stable/generated/torch.cuda.make_graphed_callables.html

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.