본문으로 건너뛰기

[flashinfer] 듀얼 다이 GPU에서 '내 다이의 메모리부터 읽기': Cake FP8 Grouped GEMM의 Locality-Domain 최적화

PR 링크: flashinfer-ai/flashinfer#9660 상태: Merged | 변경: +8863 / -103

들어가며

NVIDIA Rubin 세대(sm_107a) GPU는 하나의 패키지 안에 두 개의 die가 있고, 이번 측정 환경에서는 합쳐서 212개의 SM을 가집니다. 소프트웨어에서는 GPU 한 장으로 보이지만, 물리적으로는 각 die가 자기 쪽 HBM을 따로 가지고 있습니다. 그래서 die 0의 SM이 die 1에 붙은 메모리를 읽으면 die 간 interconnect를 거쳐야 하고, 그만큼 대역폭과 지연에서 손해를 봅니다. CPU의 NUMA 문제가 GPU 안으로 들어온 셈입니다.

MoE 서빙의 decode 단계에서 쓰는 masked grouped FP8 GEMM은 이 문제에 특히 약합니다. expected_m이 1~16 정도로 작으면 연산량은 적고, 실행 시간 대부분이 expert weight(B 행렬)를 HBM에서 읽어오는 데 쓰이기 때문입니다. 예를 들어 G=64, N=4096, K=7168이면 FP8 weight만 약 1.8GB입니다. 이 데이터를 die 경계를 무시하고 아무 SM이나 읽게 두면, 읽기 중 상당 부분이 원격 메모리로 향합니다.

이 PR은 FlashInfer의 batch_deepgemm_fp8_nt_groupwise에 있는 Cake backend에 locality-domain 형태의 serving program을 추가합니다. 핵심은 세 가지입니다.

  1. B를 두 die의 메모리에 나눠 배치합니다(homing). API는 localize_weights(b)입니다.
  2. 커널은 한 번만 launch해서 두 die 전체를 쓰고, 각 die의 SM은 자기 die에 home된 expert부터 처리합니다.
  3. expected_m <= 1과 expected_m >= 2에 각각 전용 program을 둡니다.

코드 분석

1. 생성된 바인딩: 커널 시그니처의 변화

이 PR의 커널은 Cake 코드 생성기가 만듭니다. 새로 생성된 바인딩에 선언된 커널 시그니처를 보면 설계 의도가 그대로 드러납니다.

extern "C" __global__ void kernel_cake_batch_deepgemm_fp8_0166ddf470f84c0cfe4f(
    const __grid_constant__ CUtensorMap A,
    const __grid_constant__ CUtensorMap B,
    const __grid_constant__ CUtensorMap C_tma,
    const __grid_constant__ CUtensorMap SFA_packed,
    const __grid_constant__ CUtensorMap SFB_packed,
    int* __restrict__ masked_m, unsigned int num_groups, unsigned int shape_m,
    unsigned int N, unsigned int K,
    int g_cut, int* __restrict__ counters0, int* __restrict__ counters1,
    const CakeParamArray<int, 256> sm_table);

기존 whole-GPU 프로그램과 비교해 새로 생긴 인자는 다음과 같습니다.

  • g_cut: expert group을 두 domain으로 나누는 경계입니다. [0, g_cut) 구간은 die 0에, [g_cut, G) 구간은 die 1에 home되어 있다는 뜻으로 읽힙니다.
  • counters0 / counters1: domain마다 따로 두는 work-stealing 카운터입니다. 각 die의 CTA는 먼저 자기 domain의 카운터에서 tile을 가져갑니다. 카운터 자체도 각 domain에 homing되어 있어서, atomic 연산도 die 경계를 넘지 않습니다.
  • sm_table: CakeParamArray<int, 256> 형태로 by-value 전달되는 SM→domain 매핑 테이블입니다. 측정에 쓴 8개 GPU 중 3개는 die별 SM 수가 서로 달랐습니다. 그래서 "앞쪽 106개는 die 0" 같은 하드코딩이 통하지 않고, 런타임에 probe한 테이블이 필요합니다.
template <typename T, int N>
struct CakeParamArray {
    T v[N];
    __device__ __forceinline__ const T& operator[](int i) const { return v[i]; }
};

이 테이블은 kernel parameter로 그대로 들어가므로 constant bank에서 읽힙니다. 따로 global memory를 읽는 비용이 없습니다.

2. TMA descriptor와 oversized shared memory

B 행렬에는 128×128×2 box의 TMA descriptor를 씁니다. swizzle은 128B, L2 promotion은 256B입니다.

cuuint32_t box_dim[4] = {128u, 128u, 2u, 1u};
...
CheckCu(cuTensorMapEncodeTiled(&map, CU_TENSOR_MAP_DATA_TYPE_UINT8, 4, address, global_dim, global_strides,
                               box_dim, elem_strides, CU_TENSOR_MAP_INTERLEAVE_NONE, CU_TENSOR_MAP_SWIZZLE_128B,
                               CU_TENSOR_MAP_L2_PROMOTION_L2_256B, CU_TENSOR_MAP_FLOAT_OOB_FILL_NONE),
        "cuTensorMapEncodeTiled of B");

A 쪽 box는 {128u, 16u, 2u, 1u}입니다. M 방향을 16행으로 잡은 것인데, decode처럼 M이 작은 상황에 맞춘 tile입니다. 그리고 다음 가드가 있습니다.

// Shared memory above the 232448 B opt-in needs CUDA 13.4's oversized mode.
#if CUDA_VERSION < 13040
#error "oversized shared memory requires a CUDA 13.4 or newer toolkit"
#endif

이 가드를 보면 기존 opt-in 한도(227KB)를 넘는 shared memory로 pipeline stage를 더 깊게 쌓았다는 것을 알 수 있습니다. memory-bound 커널에서는 in-flight 로드를 많이 유지하는 것이 대역폭을 다 쓰는 데 필수입니다.

3. 호스트 측 방어 코드

생성된 바인딩은 CheckedMul, CDiv, CMod로 int64 overflow와 0 나눗셈을 막습니다. TMA box가 global extent를 넘으면 원인과 해결 방법까지 담은 에러 메시지를 냅니다. 커널 내부에서 터지는 illegal address 대신 Python 레벨의 ValueError로 문제를 드러내겠다는 설계입니다.

4. csrc/cake_locality.cu: 분할 할당(SplitAlloc)

weight를 두 die에 나누려면 CUDA VMM API가 필요합니다. 가상 주소 범위 하나를 예약하고, 앞쪽 절반은 die 0 메모리에, 뒤쪽 절반은 die 1 메모리에 매핑합니다. 리뷰에서 이 부분의 견고성을 두고 꽤 깊은 논의가 오갔습니다.

  • context 수명 문제: SplitAlloc은 할당 시점의 context와 함께 cuCtxGetId를 기록합니다. free할 때는 handle이 아니라 id를 비교합니다. 파괴된 context의 handle은 재사용될 수 있기 때문입니다. 저자는 VMM 메모리가 cuCtxDestroy로 해제되지 않는다는 점도 sm_107a에서 512MiB split으로 직접 확인했습니다.
  • 예외 안전성: Splits().emplace(...)가 std::bad_alloc을 던져도 이미 매핑된 두 조각을 unmap하고 예약 범위를 해제하도록 고쳤습니다.
  • 스레드 CUDA 상태 보존: GC 스레드처럼 current context가 없는 스레드에서 free가 호출되는 경우가 있습니다. 이때 cudaSetDevice를 쓰지 않고 driver API로 primary context를 retain해서 사용합니다. runtime이 device 0의 primary context를 엉뚱하게 바인딩하는 일을 막기 위해서입니다.

5. flashinfer/cake_locality.py: 카운터 풀과 CUDA Graph

domain별 카운터 쌍은 homed pool에서 가져옵니다. 리뷰를 반영해 다음이 개선되었습니다.

  • _CaptureReserve.taken을 capture id별로 세도록 바꿨습니다. 크기는 64개로 제한된 LRU map입니다. 그래서 여러 graph capture가 interleave되어도 서로의 카운트를 덮어쓰지 않습니다.
  • 진짜 CUDA_ERROR_OUT_OF_MEMORY일 때만 일시적 실패로 보고 unhomed pair를 반환합니다. 다음 호출에서는 pool 할당을 다시 시도합니다. 이 경우에도 결과는 바뀌지 않고 성능만 whole-GPU 수준으로 떨어집니다.
  • torch.set_default_device("cuda") 환경에서도 sm_table이 CPU에 머물도록 device="cpu"를 명시했습니다.

왜 이게 좋은가

B를 homing한 G64 N4096 K7168 결과를 정리하면 다음과 같습니다.

expected_m Cake whole-GPU this PR vs Cake vs DeepGEMM
1 18.61us 16.93us 1.10x 1.83x
2~8 ~140-143us ~106.5us 1.32-1.34x 1.52x
16 142.04us 114.68us 1.24x 1.42x
4096 8542.60us 7937.52us 1.08x 0.47x

memory-bound 구간(expected_m 216)에서 25% 넘게 지연이 줄었습니다. 1.8GB weight 스트리밍이 대부분 local HBM에서 끝나기 때문으로 해석됩니다. 반대로 compute-bound 구간(64 이상)에서는 이득이 58%로 줄어듭니다. 그래서 DeepGEMM이 여전히 빠른 이 구간에서는 PR이 그 사실을 감추지 않고 그대로 보고합니다. homing하지 않은 나머지 shape는 1.00x로, 의도대로 회귀가 없습니다.

일반적 교훈

  1. "하나의 GPU"라는 추상화가 새기 시작했습니다. 멀티 die GPU에서는 CPU NUMA와 똑같이 데이터 배치와 스케줄링을 함께 설계해야 합니다. weight처럼 오래 사는 데이터는 한 번 homing해 두면 매 호출마다 이득을 봅니다.
  2. locality는 데이터뿐 아니라 동기화 객체에도 적용됩니다. 카운터를 domain별로 나누고 homing해서 atomic 트래픽도 die 안에 가둡니다.
  3. 하드웨어 토폴로지는 하드코딩하지 말고 probe해야 합니다. die별 SM 수가 서로 다른 GPU가 실제로 8개 중 3개나 있었습니다.
  4. opt-in과 fallback을 같이 설계해야 합니다. 기본 backend는 deepgemm으로 유지합니다. homing이 안 됐거나 OOM이 나면 기존 경로로 조용히 내려가므로 정확성은 항상 보장됩니다.
  5. 저수준 메모리 관리는 리뷰로 단단해집니다. context id 비교, 예외 경로 정리, 스레드 CUDA 상태 보존은 벤치마크로는 드러나지 않습니다. 하지만 프로덕션 서빙에서는 장애로 이어지는 부분이라, 이 PR 리뷰의 가치가 특히 컸습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글