[flashinfer] SM100/SM103 Sage FP8 Block-Sparse Attention: 타일 에필로그 오버랩과 Tail Split 병렬 폴딩으로 최대 6.9% 가속
PR 링크: flashinfer-ai/flashinfer#9605 상태: Merged | 변경: +11659 / -2150
들어가며
FlashInfer의 cake_sage_block_sparse_attention은 FP8 E4M3 Q/K/V(Q는 per-token, K는 16-token 단위, V는 per-channel scale)를 사용하고, KV 블록을 block-sparse하게 선택하는 Sage 계열 attention 커널입니다. Blackwell(SM100 B200, SM103 GB300)에서 동작하며 persistent grid 위에서 여러 타일을 순차 처리합니다.
문제는 타일 하나가 끝날 때의 epilogue입니다. 한 타일의 attention 계산이 끝나면 출력 accumulator를 merge하고, softmax 정규화 scale을 적용한 뒤 global memory에 store해야 합니다. 행당 선택된 KV 블록 수(sel)가 많으면 메인 루프가 길어 epilogue 비용이 묻히지만, sel이 6~23 정도인 중간 sparsity 행에서는 메인 루프가 짧아 epilogue가 전체 시간에서 차지하는 비중이 커집니다. 이 시간 동안 Tensor Core는 놀게 되죠.
이 PR은 세 가지를 바꿉니다.
- p3 빌드: 다섯 번째 warpgroup이 타일 출력의 merge/scale/store를 전담하여, 다음 타일 계산과 overlap.
- 32-byte sector 단위 store: 출력을 온전한 32B sector로 기록.
- Tail split 병렬 폴딩: 마지막 partial wave를 2-CTA로 쪼갤 때, 두 CTA가 타일을 절반씩 동시에 fold.
출력 비트는 변경되지 않습니다.
코드 분석
1. __init__.py — p3 빌드 라우팅
커널 본체 diff는 생성된 .cu로 잘려 있지만, 어떤 조건에서 새 빌드가 선택되는지는 Python 라우터에서 명확히 볼 수 있습니다.
_TAIL_SPLIT_ROLE = "attention_sd_tsplit"
_TAIL_SPLIT = {"sm_100a": 24, "sm_103a": 32}
#: The ``p3`` build (a fifth warpgroup merges, scales and stores each tile while the
#: next tile runs) ...
_P3_ROLE = "attention_p3"
_P3_BANDS = {"sm_100a": (6, 23), "sm_103a": (16, 23)}
아키텍처별로 p3가 이득인 sel 밴드를 다르게 둡니다. SM103은 하한이 16인데, 이는 SM103에서 짧은 행에 대해 이미 다른 경로가 더 유리했다는 측정 기반 결정으로 보입니다.
def _p3(arch: str, block_sparse_num: int, tiles: int, sms: int) -> bool:
band = _P3_BANDS.get(arch)
return (
band is not None
and band[0] <= block_sparse_num <= band[1]
and tiles >= 2 * sms
and _P3_ROLE in _loader.MODULES
)
핵심 조건은 tiles >= 2 * sms입니다. epilogue를 다음 타일과 겹치려면 각 CTA가 최소 두 개의 타일을 처리해야 합니다. 타일이 SM 수보다 적으면 CTA당 타일이 하나뿐이라 겹칠 "다음 타일"이 없고, 추가 warpgroup은 레지스터/스케줄링 오버헤드만 늘립니다. 또 _P3_ROLE in _loader.MODULES로 해당 AOT 모듈이 없는 환경에서는 안전하게 fallback합니다.
라우터 변경은 다음과 같습니다.
# Before
grid = max(1, min(total_tiles, _loader.sm_count(device_index)))
# After
sms = _loader.sm_count(device_index)
grid = max(1, min(total_tiles, sms))
...
if role == "attention_sd":
...
elif _p3(arch, block_sparse_num, total_tiles, sms):
role = _P3_ROLE
sms를 한 번만 조회해 grid 계산과 p3 판정에 재사용합니다. 또한 tail split(attention_sd)과 p3는 elif로 상호 배타적이어서, 기존 라우트를 침범하지 않고 "other rows keep their route"가 보장됩니다. 결과는 _ROUTES dict에 캐시되므로(CUDA graph capture 중이 아닐 때) 반복 호출은 dict lookup 한 번으로 끝나며, 주석도 _P3_BANDS 변경 시 캐시를 비우도록 갱신되었습니다.
2. 커널 .cu — 32B store, SM103 레지스터 스필 제거
build.json에서 sm_100a/sm_103a의 여러 kernel 소스 해시와 closure 해시가 갱신되고, p3용 새 엔트리가 추가되었습니다. PR 설명 기준 커널 측 변화는:
- 32-byte sector store: GPU 메모리 트랜잭션의 최소 단위는 32B sector입니다. 16B store 두 번 대신 한 번에 sector를 채우면 LSU 명령 수와 partial-sector write가 줄어듭니다.
- SM103 p3에서 16-column 4분할 rescale: 128-column 출력 전체를 한 번에 rescale하면 레지스터 압박으로 nvcc 13.3에서 24-byte spill이 발생했습니다. 16열씩 네 번에 나누어 live register 수를 줄여 spill 없이 컴파일됩니다.
- Tail split 병렬 fold: 2-CTA로 쪼갠 타일에서 이전에는 한 CTA가 전체를 fold했지만, 이제 두 CTA가 절반씩 동시에 fold하여 마지막 wave의 직렬 구간을 줄입니다.
리뷰에서 드러난 정합성 이슈
리뷰 과정에서 중요한 버그가 발견됐습니다. out 텐서 view가 32B 경계에서 16B 떨어진 위치에서 시작하면, 32B store를 쓰는 모든 빌드가 cudaErrorMisalignedAddress로 실패했습니다. 공개 API의 alignment 계약은 16B였기 때문에 이는 회귀입니다.
수정 방식은 이렇습니다.
Each 32-byte store in this kernel is now predicated on
(out & 31) == 0. Any otherouttakes two predicated 16-byte stores of the same registers, so the bits are the same.
즉 런타임에 주소 정렬을 확인해 fast path(32B)와 fallback(16B×2)을 분기합니다. 같은 레지스터를 쓰므로 결과 비트는 동일하고, 공개 계약도 바뀌지 않습니다. 이를 위해 test_attention_builds_write_the_same_bits_to_a_16_byte_aligned_out 테스트가 추가되어, 모든 라우트 빌드와 기본 빌드를 PDL 유무로 돌려 정렬된 out과 비트 일치 여부, view 바깥 메모리 미변경까지 검증합니다.
또 하나, p3 커널에서 16-entry fragment zero fill이 범위를 넘는 인덱스까지 쓰던 문제도 0~15만 쓰도록 수정되었습니다. 리뷰어는 SASS 레벨에서 STL/LDL이 없고 stack 0임을 확인해 실제 local memory 접근이 없었음도 함께 보고했습니다. 벡터화 최적화를 할 때 정렬 가정이 공개 계약보다 강해지지 않는지 반드시 확인해야 한다는 좋은 사례입니다.
왜 이게 좋은가
CUDA graph replay 16회 paired median 기준 main 대비 speedup:
| shape | sel | B200 | GB300 |
|---|---|---|---|
| B1/H32/Hkv8/S4096 | 6 | 1.069 | 1.062 |
| B8/H32/Hkv32/S4096 | 6 | 1.048 | 1.049 |
| B1/H8/Hkv8/S4096 | 32 | 1.029 | 1.045 |
| B1/H40/Hkv40/S32768 | 51 | 1.031 | 1.018 |
| B8/H32/Hkv32/S4096 | 58 | 0.994 | 1.006 |
가장 큰 이득은 sel=6처럼 메인 루프가 짧아 epilogue 비중이 큰 행에서 나옵니다. 반대로 sel=256처럼 계산 지배적인 행은 노이즈 범위(0.993~1.004)입니다. 정확히 예상대로의 분포입니다. 또 PR은 "느려짐"의 기준(median ratio가 노이즈를 초과하고 16라운드 중 14회 이상 느릴 것)을 명시하고 경계 케이스(GB300 0.991)를 다른 장비에서 재측정(0.996)하는 등 측정 방법론이 매우 엄격합니다.
일반적 교훈
- Warp specialization으로 epilogue를 숨겨라: 계산 warpgroup과 store warpgroup을 분리하면, persistent kernel에서 타일 간 직렬 구간을 파이프라인화할 수 있습니다. CUTLASS/FA3 계열의 일반적 패턴입니다.
- 최적화는 조건부로: overlap은 CTA당 타일이 2개 이상일 때만 의미가 있습니다.
tiles >= 2 * sms같은 명확한 휴리스틱으로 적용 범위를 제한하세요. - 레지스터 압박은 분할로 해결: 큰 fragment를 한 번에 처리하지 말고 열 단위로 나누면 spill을 피할 수 있습니다.
- 넓은 벡터 store는 정렬 계약을 확인: 32B store는 빠르지만, 사용자 view가 16B 정렬만 보장한다면 predicated fallback이 필수입니다.
참고 자료
- CUDA C++ Programming Guide - Device Memory Accesses — 32B sector 및 정렬된 메모리 접근 관련 공식 문서
- CUDA Graphs - CUDA C++ Programming Guide — 벤치마크에 사용된 CUDA graph replay
- torch.cuda.is_current_stream_capturing — 라우트 캐시 조건에 사용된 API
- FlashInfer GitHub — 해당 PR의 레포지토리
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드
- [flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention
- [flashinfer] SM120 VSA 커널의 마지막 Partial Wave 패킹: 호스트 플래너만으로 평균 4.3% 가속
- [flashinfer] Hopper(SM90)의 잠재력을 깨우는 Attention 최적화: FlashInfer 'Cake' 백엔드 분석
PR Analysis 의 다른글
- 이전글 [flashinfer] NVFP4 KV 캐시를 키당 한 번만 FP8로: Token-Sparse Attention 변환 경로 최적화
- 현재글 : [flashinfer] SM100/SM103 Sage FP8 Block-Sparse Attention: 타일 에필로그 오버랩과 Tail Split 병렬 폴딩으로 최대 6.9% 가속
- 다음글 [loki] Loki LogQL: 파서 뒤 label filter를 미리 검사해 통과할 수 없는 로그 라인의 파싱 건너뛰기
댓글