[flashinfer] SM120 FP8 Groupwise GEMM에 Swap-AB 소형 타일 도입: 디코드 구간 최대 1.9× 가속
PR 링크: flashinfer-ai/flashinfer#9464 상태: Merged | 변경: +310 / -7
들어가며
LLM 디코드 단계에서 linear layer의 GEMM은 m(토큰 수)이 132 정도로 매우 작고, 수만입니다. 그런데 SM120/SM121(RTX PRO 6000, RTX 50 시리즈, DGX Spark의 GB10)에서 FlashInfer의 n/k(weight 차원)는 수천gemm_fp8_nt_groupwise는 모든 m에 대해 128×128×128 타일 하나만 사용하고 있었습니다.
m = 1이면 128행짜리 타일 중 127행이 비어 있는 셈입니다. 텐서 코어 연산은 낭비되고, CTA 수는 ceil(n/128)에 묶여 메모리 대역폭을 충분히 끌어내지 못합니다. 이슈 #8702에 따르면 1~32 토큰에서 swap-AB 커널보다 1.59–1.88× 느렸습니다.
이 PR은 per-token scale(scale_granularity_mnk = (1, 128, 128))일 때 다음과 같이 타일을 고릅니다.
m |
Tile |
|---|---|
| ≤ 32 | swap-AB 128×32×128 |
| 33–192 | swap-AB 128×64×128 (wave 수가 128×128보다 많지 않을 때만) |
| 그 외 | 기존 128×128×128 |
코드 분석
1. gemm_groupwise_sm120.cuh — 기존 커널은 이름만 변경
기존 128×128 커널 본문은 그대로 두고 이름만 Default로 바꿨습니다. 공개 진입점 이름은 dispatcher가 넘겨받습니다.
// Before
cudaError_t CutlassGroupwiseScaledGEMMSM120(void* float_buffer, ...);
// After
cudaError_t CutlassGroupwiseScaledGEMMSM120Default(void* float_buffer, ...);
리뷰어 @AbdullahMadoun의 지적으로 workspace 부족 시의 에러 코드도 바뀌었습니다. 드라이버 문제처럼 읽히던 코드를 원인에 맞게 고쳤습니다.
// Before
if (workspace_size > float_buffer_size_in_bytes) {
return cudaErrorInsufficientDriver;
}
// After
if (workspace_size > float_buffer_size_in_bytes) {
return cudaErrorInvalidValue;
}
2. Swap-AB 커널: Dᵀ = Bᵀ·Aᵀ
핵심 아이디어는 행렬 곱의 전치 항등식입니다. D = A·Bᵀ(A: 토큰, B: weight)를 그대로 계산하면 토큰 축이 타일의 M(128 고정)에 놓입니다. 반대로 Dᵀ = B·Aᵀ를 계산하면 weight가 M 축(128), 토큰이 N 축(32 또는 64)으로 가므로 빈 행이 사라집니다.
template <int TileN, typename EpilogueTileShape, int ScaleGranularityM, ...>
cudaError_t CutlassGroupwiseScaledGEMMSM120SwapAB(...) {
std::swap(m, n);
std::swap(A_ptr, B_ptr);
std::swap(SFA_ptr, SFB_ptr);
...
using LayoutD = cutlass::layout::ColumnMajor;
using MmaTileShape_MNK = Shape<_128, Int<TileN>, _128>;
출력을 ColumnMajor (n, m)로 쓰면 메모리상으로는 원래의 row-major (m, n)과 완전히 동일하므로, 호출자 입장에서 별도 전치가 필요 없습니다.
Scale도 피연산자와 함께 바뀌어야 합니다. granularity 순서를 (N, M, K)로 넘기는 것이 포인트입니다.
using ScaleConfig = std::conditional_t<
ScaleMajorK,
cutlass::detail::Sm120BlockwiseScaleConfig<ScaleGranularityN, ScaleGranularityM,
ScaleGranularityK, UMMA::Major::K, UMMA::Major::K>,
cutlass::detail::Sm120BlockwiseScaleConfig<ScaleGranularityN, ScaleGranularityM,
ScaleGranularityK, UMMA::Major::MN,
UMMA::Major::MN>>;
SFA와 SFB가 같은 공식으로 만들어지기 때문에 "MN", "K" 두 scale layout 모두 기존과 같은 메모리를 읽습니다. SM100의 CutlassGroupwiseScaledGEMMSM100LowLatency와 같은 변환입니다.
또 하나: beta = 0이므로 epilogue를 ElementC = void로 빌드합니다. C operand를 아예 읽지 않으니 불필요한 메모리 트래픽이 없습니다(작성자에 따르면 mainloop stage 수는 동일: 128×32는 4 stage, 128×64는 3 stage).
using CollectiveEpilogue = typename cutlass::epilogue::collective::CollectiveBuilder<
cutlass::arch::Sm120, cutlass::arch::OpClassTensorOp, MmaTileShape_MNK, ClusterShape_MNK,
EpilogueTileShape, ElementAccumulator, ElementCompute, void, LayoutD, AlignmentD, ElementD,
LayoutD, AlignmentD, cutlass::epilogue::collective::EpilogueScheduleAuto>::CollectiveOp;
3. Dispatcher와 wave gate
if constexpr (ScaleGranularityM == 1) {
if (m <= 32) {
return CutlassGroupwiseScaledGEMMSM120SwapAB<32, EpilogueTileAuto, ...>(...);
}
if (m <= 192) {
...cudaDeviceGetAttribute(&num_sms, cudaDevAttrMultiProcessorCount, device);
int64_t weight_tiles = static_cast<int64_t>(ceil_div(n, 128)) * l;
int64_t waves_tile_64 = ceil_div(weight_tiles * ceil_div(m, 64), num_sms);
int64_t waves_tile_128 = ceil_div(weight_tiles * ceil_div(m, 128), num_sms);
if (waves_tile_64 <= waves_tile_128) {
return CutlassGroupwiseScaledGEMMSM120SwapAB<64, cute::Shape<cute::_128, cute::_32>, ...>(...);
}
}
}
return CutlassGroupwiseScaledGEMMSM120Default<...>(...);
if constexpr로 per-token scale일 때만 새 경로가 컴파일되므로 (128,128,128) granularity 경로는 전혀 영향받지 않습니다. 고정 cutoff 192만 썼다면 n ≥ 14336, m = 112–128에서 64폭 타일이 wave를 하나 더 필요로 해 최대 1.17× 느려졌습니다. 그래서 wave 수가 늘지 않을 때만 128×64를 택합니다. cudaGetDevice/cudaDeviceGetAttribute는 host-only 호출이라 CUDA graph capture 중에도 안전하며, 이는 새 CUDA graph 테스트로 검증되었습니다.
4. 테스트
경계값 m = 1, 4, 17, 31, 32, 33, 64, 65, 128, 129, 192, 193, 256 × n = 256, 4096, 16384 × 두 scale layout을 돌리고, 각 케이스를 1000번 반복해 bit-for-bit 비교합니다. SM100 swap-AB 경로에서 cp.async scale load race가 1% 미만 확률로 발생했던 #4409를 의식한 것입니다. 리뷰어 @jimmyzho가 CI 시간을 우려했지만, 작성자는 재측정으로 반복 비용이 2.4초에 불과하고 시간 대부분이 JIT 빌드임을 보여 유지했습니다.
왜 이게 좋은가
성능 수치
RTX PRO 6000(188 SM, 300 W 제한)에서 모델 전체 FP8 linear GEMM 시간 합:
| m | Qwen3.8-27B | Muse-Glimmer-30B |
|---|---|---|
| 1 | 27.9 → 15.8 ms (1.76×) | 33.8 → 17.8 ms (1.90×) |
| 32 | 1.67× | 1.81× |
| 64 | 1.46× | 1.55× |
| 128 | 1.12× | 1.18× |
SGLang end-to-end에서는 concurrency 1에서 출력 tokens/s가 1.61× 증가했고, GSM8K 정확도는 사실상 동일했습니다. 1~32 토큰에서 weight를 1.28–1.56 TB/s로 읽어, 메모리 바운드 영역에서 대역폭 한계에 근접합니다.
리뷰에서 드러난 논점
- 작은 GPU에서의 wave gate: @sunboaooo-blip은 36 SM인 RTX 5060 Ti에서 gate가 m=96–192 전부 128×64를 거부하는데, 강제로 128×64를 쓰면 1.31–1.61× 빠르다는 데이터를 제시했습니다. 128×64 wave는 128×128 wave의 절반 일만 하므로 "wave 수 동일 비용" 가정이 틀렸다는 지적입니다. 약 0.58의 가중치를 주자는 제안은 follow-up으로 넘어갔습니다.
- 128×32를 1 wave 안이면 더 오래 쓰기: @AbdullahMadoun의 제안에 대해 작성자는 자체 sweep으로 m=112–128에서는 오히려 10–16% 손해임을 보여 보류했습니다.
- DGX Spark(GB10, 48 SM): @carmenlok 측정상 N=256에서 2.63×, 나머지는 1.00–1.17×. 이미 대역폭의 ~80%를 쓰던 shape은 여유가 적습니다.
- Stream-K 도입 시
initialize()에 stream을 넘겨야 graph capture 밖 memset이 안 생긴다는 지적도 follow-up 항목으로 기록되었습니다.
일반적 교훈
- 작은 차원은 타일의 "넓게 조절 가능한 축"으로 보내라. Hardware MMA가 M=128을 강제한다면, 작은 쪽을 N에 두는 swap-AB는 공짜에 가까운 전치 트릭입니다.
- Heuristic cutoff는 측정으로, 회귀 방지는 모델로. 32/192는 sweep에서, wave gate는 wave quantization 모델에서 나왔습니다. 다만 리뷰에서 보듯 그 모델은 GPU SM 수에 따라 틀릴 수 있으니 가중치나 autotuner tactic으로 진화할 여지가 있습니다.
- 범위를 좁게 유지하라. Split-K/Stream-K를 묶지 않고 타일 선택만 바꿔, 기존 커널 본문·
csrc/·JIT 인스턴스화를 건드리지 않았기에 리뷰와 검증이 명확했습니다. - 비결정적 race는 반복 bit-exact 테스트로 지켜라. 1% 미만 확률의 버그는 단일 reference 비교로는 잡히지 않습니다.
참고 자료
- CUTLASS GitHub repository — CollectiveBuilder, GemmUniversalAdapter, Sm120 blockwise scale config 등을 제공하는 라이브러리
- CUDA Runtime API: Device Management — cudaGetDevice, cudaDeviceGetAttribute(cudaDevAttrMultiProcessorCount) 공식 문서
- std::swap — swap-AB에서 m/n, 포인터 교환에 사용
- std::conditional — ScaleMajorK에 따른 ScaleConfig 선택
- FlashInfer GitHub repository — gemm_fp8_nt_groupwise가 포함된 라이브러리
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [flashinfer] FlashInfer: NVIDIA Blackwell(SM120)을 위한 고성능 FP8 MoE GEMM 최적화
- [onnxruntime] CUDA GEMV 최적화: M=8 Narrow Tile 확장을 통한 GPU 점유율 극대화 (A100/H200 대응)
- [vllm] RDNA4에서 Sparse 명령어로 Dense Skinny GEMM 가속하기: vLLM의 SWMMAC N=5~8 커널 분석
- [flashinfer] SM120 VSA 커널의 마지막 Partial Wave 패킹: 호스트 플래너만으로 평균 4.3% 가속
- [flashinfer] SM107에서 mm_mxfp8 autotuner가 CUTLASS·CuTe-DSL·cuDNN을 함께 경쟁시키도록 만들기
PR Analysis 의 다른글
- 이전글 [flashinfer] FlashInfer Sage FP8 Block-Sparse Attention: double-S + 분리된 epilogue warpgroup로 타일 겹치기
- 현재글 : [flashinfer] SM120 FP8 Groupwise GEMM에 Swap-AB 소형 타일 도입: 디코드 구간 최대 1.9× 가속
- 다음글 없음
댓글