본문으로 건너뛰기

[flashinfer] SM120 FP8 Groupwise GEMM에 Swap-AB 소형 타일 도입: 디코드 구간 최대 1.9× 가속

PR 링크: flashinfer-ai/flashinfer#9464 상태: Merged | 변경: +310 / -7

들어가며

LLM 디코드 단계에서 linear layer의 GEMM은 m(토큰 수)이 132 정도로 매우 작고, n/k(weight 차원)는 수천수만입니다. 그런데 SM120/SM121(RTX PRO 6000, RTX 50 시리즈, DGX Spark의 GB10)에서 FlashInfer의 gemm_fp8_nt_groupwise는 모든 m에 대해 128×128×128 타일 하나만 사용하고 있었습니다.

m = 1이면 128행짜리 타일 중 127행이 비어 있는 셈입니다. 텐서 코어 연산은 낭비되고, CTA 수는 ceil(n/128)에 묶여 메모리 대역폭을 충분히 끌어내지 못합니다. 이슈 #8702에 따르면 1~32 토큰에서 swap-AB 커널보다 1.59–1.88× 느렸습니다.

이 PR은 per-token scale(scale_granularity_mnk = (1, 128, 128))일 때 다음과 같이 타일을 고릅니다.

m Tile
≤ 32 swap-AB 128×32×128
33–192 swap-AB 128×64×128 (wave 수가 128×128보다 많지 않을 때만)
그 외 기존 128×128×128

코드 분석

1. gemm_groupwise_sm120.cuh — 기존 커널은 이름만 변경

기존 128×128 커널 본문은 그대로 두고 이름만 Default로 바꿨습니다. 공개 진입점 이름은 dispatcher가 넘겨받습니다.

// Before
cudaError_t CutlassGroupwiseScaledGEMMSM120(void* float_buffer, ...);

// After
cudaError_t CutlassGroupwiseScaledGEMMSM120Default(void* float_buffer, ...);

리뷰어 @AbdullahMadoun의 지적으로 workspace 부족 시의 에러 코드도 바뀌었습니다. 드라이버 문제처럼 읽히던 코드를 원인에 맞게 고쳤습니다.

// Before
if (workspace_size > float_buffer_size_in_bytes) {
  return cudaErrorInsufficientDriver;
}
// After
if (workspace_size > float_buffer_size_in_bytes) {
  return cudaErrorInvalidValue;
}

2. Swap-AB 커널: Dᵀ = Bᵀ·Aᵀ

핵심 아이디어는 행렬 곱의 전치 항등식입니다. D = A·Bᵀ(A: 토큰, B: weight)를 그대로 계산하면 토큰 축이 타일의 M(128 고정)에 놓입니다. 반대로 Dᵀ = B·Aᵀ를 계산하면 weight가 M 축(128), 토큰이 N 축(32 또는 64)으로 가므로 빈 행이 사라집니다.

template <int TileN, typename EpilogueTileShape, int ScaleGranularityM, ...>
cudaError_t CutlassGroupwiseScaledGEMMSM120SwapAB(...) {
  std::swap(m, n);
  std::swap(A_ptr, B_ptr);
  std::swap(SFA_ptr, SFB_ptr);
  ...
  using LayoutD = cutlass::layout::ColumnMajor;
  using MmaTileShape_MNK = Shape<_128, Int<TileN>, _128>;

출력을 ColumnMajor (n, m)로 쓰면 메모리상으로는 원래의 row-major (m, n)과 완전히 동일하므로, 호출자 입장에서 별도 전치가 필요 없습니다.

Scale도 피연산자와 함께 바뀌어야 합니다. granularity 순서를 (N, M, K)로 넘기는 것이 포인트입니다.

using ScaleConfig = std::conditional_t<
    ScaleMajorK,
    cutlass::detail::Sm120BlockwiseScaleConfig<ScaleGranularityN, ScaleGranularityM,
                                               ScaleGranularityK, UMMA::Major::K, UMMA::Major::K>,
    cutlass::detail::Sm120BlockwiseScaleConfig<ScaleGranularityN, ScaleGranularityM,
                                               ScaleGranularityK, UMMA::Major::MN,
                                               UMMA::Major::MN>>;

SFA와 SFB가 같은 공식으로 만들어지기 때문에 "MN", "K" 두 scale layout 모두 기존과 같은 메모리를 읽습니다. SM100의 CutlassGroupwiseScaledGEMMSM100LowLatency와 같은 변환입니다.

또 하나: beta = 0이므로 epilogue를 ElementC = void로 빌드합니다. C operand를 아예 읽지 않으니 불필요한 메모리 트래픽이 없습니다(작성자에 따르면 mainloop stage 수는 동일: 128×32는 4 stage, 128×64는 3 stage).

using CollectiveEpilogue = typename cutlass::epilogue::collective::CollectiveBuilder<
    cutlass::arch::Sm120, cutlass::arch::OpClassTensorOp, MmaTileShape_MNK, ClusterShape_MNK,
    EpilogueTileShape, ElementAccumulator, ElementCompute, void, LayoutD, AlignmentD, ElementD,
    LayoutD, AlignmentD, cutlass::epilogue::collective::EpilogueScheduleAuto>::CollectiveOp;

3. Dispatcher와 wave gate

if constexpr (ScaleGranularityM == 1) {
  if (m <= 32) {
    return CutlassGroupwiseScaledGEMMSM120SwapAB<32, EpilogueTileAuto, ...>(...);
  }
  if (m <= 192) {
    ...cudaDeviceGetAttribute(&num_sms, cudaDevAttrMultiProcessorCount, device);
    int64_t weight_tiles = static_cast<int64_t>(ceil_div(n, 128)) * l;
    int64_t waves_tile_64 = ceil_div(weight_tiles * ceil_div(m, 64), num_sms);
    int64_t waves_tile_128 = ceil_div(weight_tiles * ceil_div(m, 128), num_sms);
    if (waves_tile_64 <= waves_tile_128) {
      return CutlassGroupwiseScaledGEMMSM120SwapAB<64, cute::Shape<cute::_128, cute::_32>, ...>(...);
    }
  }
}
return CutlassGroupwiseScaledGEMMSM120Default<...>(...);

if constexpr로 per-token scale일 때만 새 경로가 컴파일되므로 (128,128,128) granularity 경로는 전혀 영향받지 않습니다. 고정 cutoff 192만 썼다면 n ≥ 14336, m = 112–128에서 64폭 타일이 wave를 하나 더 필요로 해 최대 1.17× 느려졌습니다. 그래서 wave 수가 늘지 않을 때만 128×64를 택합니다. cudaGetDevice/cudaDeviceGetAttribute는 host-only 호출이라 CUDA graph capture 중에도 안전하며, 이는 새 CUDA graph 테스트로 검증되었습니다.

4. 테스트

경계값 m = 1, 4, 17, 31, 32, 33, 64, 65, 128, 129, 192, 193, 256 × n = 256, 4096, 16384 × 두 scale layout을 돌리고, 각 케이스를 1000번 반복해 bit-for-bit 비교합니다. SM100 swap-AB 경로에서 cp.async scale load race가 1% 미만 확률로 발생했던 #4409를 의식한 것입니다. 리뷰어 @jimmyzho가 CI 시간을 우려했지만, 작성자는 재측정으로 반복 비용이 2.4초에 불과하고 시간 대부분이 JIT 빌드임을 보여 유지했습니다.

왜 이게 좋은가

성능 수치

RTX PRO 6000(188 SM, 300 W 제한)에서 모델 전체 FP8 linear GEMM 시간 합:

m Qwen3.8-27B Muse-Glimmer-30B
1 27.9 → 15.8 ms (1.76×) 33.8 → 17.8 ms (1.90×)
32 1.67× 1.81×
64 1.46× 1.55×
128 1.12× 1.18×

SGLang end-to-end에서는 concurrency 1에서 출력 tokens/s가 1.61× 증가했고, GSM8K 정확도는 사실상 동일했습니다. 1~32 토큰에서 weight를 1.28–1.56 TB/s로 읽어, 메모리 바운드 영역에서 대역폭 한계에 근접합니다.

리뷰에서 드러난 논점

  • 작은 GPU에서의 wave gate: @sunboaooo-blip은 36 SM인 RTX 5060 Ti에서 gate가 m=96–192 전부 128×64를 거부하는데, 강제로 128×64를 쓰면 1.31–1.61× 빠르다는 데이터를 제시했습니다. 128×64 wave는 128×128 wave의 절반 일만 하므로 "wave 수 동일 비용" 가정이 틀렸다는 지적입니다. 약 0.58의 가중치를 주자는 제안은 follow-up으로 넘어갔습니다.
  • 128×32를 1 wave 안이면 더 오래 쓰기: @AbdullahMadoun의 제안에 대해 작성자는 자체 sweep으로 m=112–128에서는 오히려 10–16% 손해임을 보여 보류했습니다.
  • DGX Spark(GB10, 48 SM): @carmenlok 측정상 N=256에서 2.63×, 나머지는 1.00–1.17×. 이미 대역폭의 ~80%를 쓰던 shape은 여유가 적습니다.
  • Stream-K 도입 시 initialize()에 stream을 넘겨야 graph capture 밖 memset이 안 생긴다는 지적도 follow-up 항목으로 기록되었습니다.

일반적 교훈

  1. 작은 차원은 타일의 "넓게 조절 가능한 축"으로 보내라. Hardware MMA가 M=128을 강제한다면, 작은 쪽을 N에 두는 swap-AB는 공짜에 가까운 전치 트릭입니다.
  2. Heuristic cutoff는 측정으로, 회귀 방지는 모델로. 32/192는 sweep에서, wave gate는 wave quantization 모델에서 나왔습니다. 다만 리뷰에서 보듯 그 모델은 GPU SM 수에 따라 틀릴 수 있으니 가중치나 autotuner tactic으로 진화할 여지가 있습니다.
  3. 범위를 좁게 유지하라. Split-K/Stream-K를 묶지 않고 타일 선택만 바꿔, 기존 커널 본문·csrc/·JIT 인스턴스화를 건드리지 않았기에 리뷰와 검증이 명확했습니다.
  4. 비결정적 race는 반복 bit-exact 테스트로 지켜라. 1% 미만 확률의 버그는 단일 reference 비교로는 잡히지 않습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글