본문으로 건너뛰기

[vllm] vLLM PP 전송을 Copy Engine으로: TP>1, PCP>1, 멀티노드 NVLink(GB300 NVL72)까지 확장하기

PR 링크: vllm-project/vllm#66677 상태: Merged | 변경: +278 / -74

들어가며

vLLM의 Pipeline Parallelism(PP)에서 stage 간 hidden state 전송은 기본적으로 NCCL의 send/recv로 처리됩니다. NCCL 커널은 SM을 점유하므로, 연산이 바쁜 포화 상태에서는 통신이 계산 자원을 잠식합니다. 이전 PR #65896은 이 전송을 CUDA copy engine(DMA 엔진, zero-SM)으로 옮기고, 동기화는 GPU 위의 flag(stream memory op)로 수행하는 CopyEngineTransport를 도입했습니다.

다만 그 구현에는 제약이 있었습니다.

  • TP = 1일 때만 동작 (TP > 1이면 auto가 NCCL로 fallback)
  • 한 노드 안에서만 동작 (CUDA IPC 기반)
  • PCP = 1 필요

이번 PR은 이 세 제약을 모두 걷어냅니다. 결과적으로 GB300에서 TP=2 PP=2, MiniMax-M3.1-Flash 기준 포화 근처(44 req/s)에서 p50 TTFT가 NCCL 대비 28~34% 감소했고, 두 GB300 tray에 걸친 PP=2 구성에서도 27~29% 감소했습니다. 경부하와 decode ITL은 ±1% 수준으로 변화가 없습니다.

코드 분석

1. copy_engine.py — 설계: (PCP, TP) 위치마다 독립 chain

모듈 docstring의 변경이 설계 요지를 가장 잘 요약합니다.

Before

"""PP transport on CUDA copy engines, synchronized on the GPU (one node).

Each rank shares one CUDA IPC buffer holding its flags and a receive region
laid out like its persistent intermediate tensors. ...

After

"""PP transport on CUDA copy engines, synchronized on the GPU (one NVLink
domain).

Each rank shares one buffer holding its flags and a receive region ...

With TP or PCP > 1, each (PCP, TP) position's PP chain is its own transport,
sending to the same position in the next stage: a stage's TP ranks hold the
same outputs and each sends all of them, and each PCP rank sends its own
tokens.

핵심 아이디어는 단순합니다. 한 stage의 TP rank들은 동일한 출력을 갖고 있습니다(NCCL 경로도 이를 이용해 tensor의 1/TP만 보내고 receiver에서 all-gather합니다). 그러므로 TP rank i가 다음 stage의 TP rank i에게 전체 텐서를 직접 보내면, all-gather 없이도 모든 rank가 데이터를 받습니다. NVLink 대역폭이 충분한 환경에서는 1/TP 전송 + all-gather보다 단순하고 SM을 쓰지 않는다는 이점이 큽니다. "하나의 거대한 transport" 대신 "TP 개수만큼의 독립적인 PP chain"으로 문제를 분해한 셈입니다.

2. Cross-TP 합의: 모두 같은 선택을 해야 한다

각 chain이 독립적이면 새로운 위험이 생깁니다. TP rank 0의 chain은 copy engine 셋업에 성공하고, TP rank 1의 chain은 실패해 NCCL로 fallback한다면? NCCL의 receive는 TP 그룹에 걸쳐 all-gather를 수행하므로 transport가 섞이면 hang이 발생합니다.

PR은 각 setup 단계의 결과를 TP 그룹 전체에 공유해 모든 chain이 같은 결정을 내리게 합니다. 또한 "한 노드 안인가" 검사를 첫 합의 단계로 옮겼습니다. 어떤 chain은 한 노드에 들어가고 다른 chain은 두 노드에 걸칠 수 있기 때문입니다.

이 합의가 실제로 필요하다는 것을 증명하는 테스트가 추가됐습니다.

@_multi_gpu(num_gpus=4)
def test_one_tp_chain_failing_setup_gives_the_same_choice_everywhere():
    """Only TP rank 1's chain fails (at its last stage, global rank 3), so TP
    rank 0's chain must fall back with it."""
    _run_scenario("run_one_rank_failing", 2, tp_size=2, fail_rank=3)

PR 설명에 따르면 cross-TP 합의 없이는 이 테스트가 DID NOT RAISE로 실패합니다. 실패 주입 조건도 PP 그룹 내부 rank에서 전역 rank로 바뀌었습니다.

# Before
if pp_group.rank_in_group == 1:
# After
if self.rank == fail_rank:

GB200/GB300 NVL72에서는 여러 tray(노드)가 하나의 NVLink 도메인에 묶여 있습니다. 하지만 CUDA IPC handle은 프로세스 간·노드 내에서만 유효합니다. 그래서 노드를 넘는 chain은 receive buffer를 cuMem(VMM) 할당 + FABRIC handle로 공유하고, 이를 위해 IMEX channel이 필요합니다. 한 노드 chain은 그대로 CUDA IPC를 씁니다.

흥미로운 점은 "NVLink로 연결됐는가"를 검사하는 방식입니다. 노드 간에는 로컬 NVLink 토폴로지 검사를 할 수 없으므로, peer의 FABRIC 메모리를 map하는 시도 자체를 검사로 사용합니다. FABRIC 매핑은 같은 NVLink 도메인 안에서만 성공하기 때문입니다.

4. 노드 간 flag 쓰기: cuStreamWriteValue64의 한계 우회

단일 노드 구현은 데이터 copy 후 같은 stream에서 cuStreamWriteValue64로 peer의 flag를 직접 썼습니다. 그런데 다른 노드 메모리에 대해서는 CUDA_ERROR_INVALID_VALUE가 납니다. NVSHMEM 문서도 "cuStreamWriteValue64 ... is not supported for MNNVL"이라고 명시합니다.

해결책은 NCCL(ncclPrepUCSync)과 NVSHMEM이 쓰는 방식 그대로입니다.

Stream memory ops cannot write another node's memory, so there a flag is written to local staging and peer-copied, after the data on the same stream.

즉 flag를 로컬 staging 버퍼에 쓰고, 이를 cudaMemcpyAsync로 peer에 복사합니다. 같은 stream에서 data copy 뒤에 enqueue되므로 순서가 보장됩니다.

5. Ordering 가정

#65896과 마찬가지로 receive 측 wait에는 CU_STREAM_WAIT_VALUE_FLUSH가 없고, "같은 stream에서 data copy가 그 뒤의 flag보다 먼저 도착한다"는 NVLink 특성에 의존합니다. NCCL의 copy-engine RMA도 노드 간에 같은 가정을 합니다. 저자는 2만 번의 back-to-back 노드 간 step을 GPU에서 전수 검사해 mismatch 0을 확인했고, GB300처럼 CU_DEVICE_ATTRIBUTE_CAN_FLUSH_REMOTE_WRITES가 설정된 환경에서 flush를 추가하는 것을 후속 과제로 남겼습니다.

6. test_pp_transport.py — chain이 꼬이면 드러나는 테스트

TP rank마다 다른 값을 흘려보내, chain이 엇갈리면 즉시 실패하도록 설계했습니다.

# Small integers, exact in bf16.
base = 120 * get_tp_group().rank_in_group
...
h = torch.full((_rows(step), WIDTH), base + step % 100, ...)
...
sent = base + step % 100
want = sent + pp_size - 2
assert (received["hidden_states"] == want).all(), step
assert (received["residual"] == want - 2 * sent).all(), step

bf16에서 정확히 표현되는 작은 정수만 사용한 점도 세심합니다. 멀티노드 경로는 CI에 멀티노드 NVLink가 없으므로, in_the_same_node_as를 monkeypatch해 한 노드에서 FABRIC 경로를 강제로 탑니다.

if fabric:
    parallel_state.in_the_same_node_as = lambda *args, **kwargs: [
        rank == 0 for rank in range(pp_size)
    ]

왜 이게 좋은가

성능 수치 (GB300, MiniMax-M3.1-Flash)

구성 부하 p50 TTFT 변화
TP=2 PP=2, 1노드 1.5–2.5K new, 44 req/s −28% / −34%
TP=2 PP=2, 1노드 6–10K new, 10 req/s −16% / −20%
TP=2 × 2 tray, PP=2 1.5–2.5K new, 44 req/s −27% ~ −29%
위 동일 decode ITL 거의 동일

이득이 포화 근처에 집중된다는 점이 중요합니다. 경부하에서는 NCCL 커널이 쓰는 SM이 문제가 되지 않지만, prefill이 몰리면 통신 커널과 연산이 SM을 다투게 됩니다. Copy engine은 SM을 전혀 쓰지 않으므로 큐잉이 쌓이는 구간에서 효과가 두드러집니다. 노드 간 0.2GB step이 330–390 GB/s로 전송된 것도 NVL72의 MNNVL 대역폭을 잘 활용하고 있음을 보여줍니다.

다만 한 라운드에서 원인 불명의 약 5초 stall로 p99가 +355% 튄 사례가 있었고, 재현은 되지 않았습니다. PCP는 가드만 제거했을 뿐 E2E 검증이 없으며, CI의 L4에는 NVLink가 없어 테스트가 skip된다는 한계도 저자가 정직하게 밝히고 있습니다.

일반적 교훈

  1. 분해로 확장하라: TP 차원을 "독립 chain 여러 개"로 분해해 기존 단일 chain 로직을 그대로 재사용했습니다.
  2. 분산 fallback은 반드시 합의하라: 일부 rank만 fallback하면 collective에서 hang이 납니다. 셋업 결과를 그룹 전체에 공유하는 것은 필수입니다.
  3. 기존 라이브러리의 해법을 참고하라: MNNVL에서의 flag 전송은 NCCL·NVSHMEM과 같은 "local staging + memcpy" 패턴을 차용했습니다. 검증된 선례가 있는 설계는 리스크가 낮습니다.
  4. 기능 검사를 시도로 대체하라: 노드 간 NVLink 여부를 토폴로지 조회 대신 FABRIC 매핑 성공 여부로 판정한 것은 간결하고 정확합니다.

리뷰 스레드에서는 주로 maintainer(njhill)의 CI 실행 요청이 오갔으며, 별도의 설계 논쟁은 없었습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글