[flashinfer] FlashInfer Sage FP8 Block-Sparse Attention: double-S + 분리된 epilogue warpgroup로 타일 겹치기
PR 링크: flashinfer-ai/flashinfer#9648 상태: Merged | 변경: +22473 / -608
들어가며
FlashInfer의 cake_sage_block_sparse_attention은 FP8 E4M3 Q/K/V를 받아(Q는 per-token scale, K는 16-token 단위 scale, V는 per-channel scale) KV 블록을 block-sparse하게 골라 attention을 계산하는 Sage 계열 커널입니다. Blackwell(sm_100a B200, sm_103a GB300)용으로 이미 여러 빌드가 있었습니다.
- default 빌드
attention_qs: S가 로드되자마자 다음 QK^T를 시작attention_sd: softmax group당 S 버퍼 두 개(double-S)를 두어, 다음 QK^T가 이전 P·V를 기다리지 않음attention_p3: 다섯 번째 warpgroup이 각 타일의 merge/scale/store를 맡아 다음 타일과 겹침attention_sd_tsplit: persistent grid의 마지막 partial wave를 2-CTA cluster로 쪼개 처리
남은 문제는 두 가지였습니다. 첫째, double-S 빌드는 타일마다 끝나는 epilogue(출력 merge와 store)를 여전히 같은 warpgroup이 직렬로 수행했습니다. 선택 블록 수(sel)가 많은 행일수록 메인 루프 효율은 좋지만, 타일 경계마다 생기는 epilogue 비용은 그대로 남습니다. 둘째, SM103에서는 tail-split 임계값이 32라서 24~31 블록 구간의 마지막 wave가 SM을 놀게 했습니다.
이 PR은 double-S와 p3 epilogue를 합친 attention_sdp3 빌드를 추가하고, SM103 전용으로 **같은 epilogue를 쓰는 tail-split 빌드 attention_sd_tsplit_p3**를 추가합니다. 여기에 맞춰 라우팅 테이블도 촘촘하게 다시 짰습니다.
코드 분석
1. __init__.py: 라우팅 임계값 조정
먼저 double-S가 이득을 내기 시작하는 지점을 24에서 23으로 한 칸 내렸습니다.
# Before
_ATTENTION_ROUTES = {
"sm_100a": (("attention_sd", 24), ("attention_qs", 10)),
"sm_103a": (("attention_sd", 24),),
}
# After
_ATTENTION_ROUTES = {
"sm_100a": (("attention_sd", 23), ("attention_qs", 10)),
"sm_103a": (("attention_sd", 23),),
}
벤치마크에서 가장 큰 개선을 보인 B200의 B8/H32/Hkv32/S4096 sel 23(1.099x)이 바로 이 경계에 있습니다.
2. p3 band의 일반화: 고정 2 wave에서 band별 wave 수로
# Before
_P3_BANDS = {"sm_100a": (6, 23), "sm_103a": (16, 23)}
...
and tiles >= 2 * sms
# After
_P3_BANDS = {"sm_100a": (6, 10, 5), "sm_103a": (8, 22, 2)}
...
and tiles >= band[2] * sms
이전에는 "CTA당 최소 2 타일"이라는 조건이 모든 아키텍처에 하드코딩되어 있었습니다. 이제는 band마다 (lo, hi, waves) 형태로 필요한 wave 수를 따로 지정합니다. 그동안 p3가 맡던 상당 부분은 새 sdp3로 넘어갔기 때문에, SM100의 p3 band는 6~10, 5 wave 이상으로 좁아졌습니다.
3. 새 _SDP3_BANDS와 _sdp3()
_SDP3_ROLE = "attention_sdp3"
_SDP3_BANDS = {
"sm_100a": (
(6, 10, 0, 5),
(9, 9, 5, 42),
(10, 10, 5, 12),
(11, 22, 0, None),
(23, 127, 1, None),
),
"sm_103a": (
(5, 6, 0, 0.5),
...
(23, 127, 1, None),
),
}
def _sdp3(arch, block_sparse_num, tiles, sms) -> bool:
if _SDP3_ROLE not in _loader.MODULES:
return False
return any(
lo <= block_sparse_num <= hi
and tiles >= min_waves * sms
and (max_waves is None or tiles < max_waves * sms)
for lo, hi, min_waves, max_waves in _SDP3_BANDS.get(arch, ())
)
각 window는 "선택 블록 수 구간 × SM당 타일 수(wave) 구간"이라는 2차원 영역입니다. 0.5, 2.5처럼 분수 wave를 허용한다는 점이 눈에 띕니다. persistent grid에서 마지막 wave가 얼마나 차는지가 성능을 좌우하기 때문에, 정수 단위 wave로는 경계를 충분히 정밀하게 잡을 수 없습니다. 이 window들은 경험적으로 측정한 값으로 보이고, 주석에 따르면 "It writes the default bits", 즉 결과 비트가 default 빌드와 동일합니다. 그래서 라우팅을 바꿔도 수치 결과는 달라지지 않습니다.
4. _tail_split()의 p3 분기
# Before
name, min_sel = _TAIL_SPLIT_ROLE, _TAIL_SPLIT.get(arch)
if min_sel is None or block_sparse_num < min_sel or name not in _loader.MODULES:
return None
# After
if p3:
name, band = _TAIL_SPLIT_P3_ROLE, _TAIL_SPLIT_P3.get(arch)
if (
band is None
or block_sparse_num < band[0]
or (band[1] is not None and block_sparse_num > band[1])
or tiles < _loader.sm_count(device_index)
):
return None
else:
...
if name not in _loader.MODULES:
return None
_TAIL_SPLIT_P3 = {"sm_103a": (24, 64)}이므로, SM103에서만 2464 블록 구간의 split 행이 새 빌드로 갑니다. 기존 31 블록 행이 새로 tail-split 대상이 됩니다. GB300의 _TAIL_SPLIT["sm_103a"] = 32보다 하한이 낮기 때문에, 24B1/H5/Hkv5 sel 24(1.078x)와 B1/H8/Hkv8 sel 24(1.061x)가 이 효과를 그대로 보여줍니다.
5. _route(): 우선순위 정리
# Before
if role == "attention_sd":
plan = _tail_split(arch, total_tiles, block_sparse_num, device_index)
if plan is not None:
role = _TAIL_SPLIT_ROLE
...
elif _p3(arch, block_sparse_num, total_tiles, sms):
role = _P3_ROLE
# After
if role == "attention_sd":
for p3, name in ((True, _TAIL_SPLIT_P3_ROLE), (False, _TAIL_SPLIT_ROLE)):
plan = _tail_split(arch, total_tiles, block_sparse_num, device_index, p3)
if plan is not None:
role = name
...
break
if not split:
if _sdp3(...):
role = _SDP3_ROLE
elif _p3(...):
role = _P3_ROLE
결정 순서는 tail-split p3 → tail-split → sdp3 → p3입니다. 이전 코드는 elif였기 때문에 attention_sd로 분류된 행은 p3 계열로 갈 수 없었습니다. 이제는 split이 걸리지 않은 경우(if not split)라면 어떤 role이든 sdp3를 검사합니다. 덕분에 23~127 블록의 double-S 행도 epilogue 겹치기의 이득을 얻습니다. 결과는 _ROUTES dict에 캐시되므로 반복 호출에서 추가 비용은 거의 없습니다.
6. 커널 쪽 변경 (diff 생략분)
커널 diff는 잘려 있어 직접 인용하지 못했습니다. PR 설명에 따르면 다음과 같은 미세 최적화가 함께 들어갔습니다.
- running row max를 분기 대신 select로 갱신
- double-S 빌드에서 소비한 S 버퍼를 한 단계 늦게 release하여 동기화 압력 완화
- sm_103a의 double-S/p3 빌드에서 K/V pipeline stage를 6 → 8로 늘림
build.json에는 SM103 전용 binding(..._sm_103a_binding.cu)과 새 sm_100a 모듈이 추가되었습니다.
리뷰에서 나온 논의
리뷰어 yzh119의 지적에 따라 _TAIL_SPLIT 주석에 "SM103에서는 24~64 블록 split 행을 attention_sd_tsplit_p3가 가져간다"는 설명이 추가되었습니다. 라우팅 테이블이 여러 dict로 흩어져 있는 만큼, 주석의 정확성이 유지보수에서 중요합니다.
테스트에서도 의미 있는 지적이 있었습니다. 라우팅 window가 SM 수에 비례하는 wave 단위로 정의되어 있어서, SM이 적은 디바이스에서는 같은 shape라도 다른 빌드로 갈 수 있습니다. 예를 들어 32 SM에서는 80 타일이 2.5 wave가 되어 SM103의 6블록 행이 attention_sdp3로 라우팅됩니다. 그래서 테스트가 2 * tiles < sms 같은 wave 범위를 assert하고, 조건을 맞출 수 없는 디바이스에서는 skip하도록 고쳐졌습니다. occupancy 기반 라우팅을 테스트할 때는 shape가 아니라 wave 수를 고정해야 한다는 좋은 교훈입니다.
왜 이게 좋은가
- 성능: B200에서 0.999x
1.099x, GB300에서 0.998x1.083x입니다. 36개 shape 모두에서 통계적으로 느려진 행은 없습니다. 판정 기준은 16 라운드 paired 측정 중 14회 이상 느리고 노이즈를 넘는 경우입니다. - 수치 동일성: SM103의 24~31 블록 tail-split 행을 제외하면 main과 bit-identical입니다. 예외인 행도 결정론적이며 tolerance 안에 있습니다.
일반적인 교훈은 다음과 같습니다.
- Epilogue도 파이프라인에 넣어라. 메인 루프를 아무리 겹쳐도 타일 경계의 store/merge가 직렬이면 타일 수가 많을수록 손해가 누적됩니다. warp specialization으로 별도 warpgroup에 맡기면 다음 타일과 겹칠 수 있습니다.
- Persistent kernel은 wave quantization이 핵심이다. 같은 커널도 SM당 타일 수(분수 포함)에 따라 최적 빌드가 달라집니다. 2차원 window 라우팅과 tail-split은 이 문제에 대한 실용적인 해법입니다.
- 벤치마크는 paired·반복 측정으로 판정하라. median ratio와 "N 라운드 중 몇 번 느렸는가"를 함께 보면 0.4% 수준의 노이즈를 회귀로 오인하지 않습니다.
참고 자료
- CUDA C++ Programming Guide — Thread Block Clusters — tail-split에서 사용하는 2-CTA cluster 개념
- CUDA Graphs — 벤치마크에 사용된 graph replay
- torch.cuda.is_current_stream_capturing — 라우팅 캐시 저장 여부 판단에 사용
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [flashinfer] SM100/SM103 Sage FP8 Block-Sparse Attention: 타일 에필로그 오버랩과 Tail Split 병렬 폴딩으로 최대 6.9% 가속
- [flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드
- [flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention
- [flashinfer] FlashInfer Blackwell(SM103) 최적화: Sage 커널 및 Block-Sparse 성능 개선
- [flashinfer] SM120 VSA 커널의 마지막 Partial Wave 패킹: 호스트 플래너만으로 평균 4.3% 가속
PR Analysis 의 다른글
- 이전글 [flashinfer] 듀얼 다이 GPU에서 '내 다이의 메모리부터 읽기': Cake FP8 Grouped GEMM의 Locality-Domain 최적화
- 현재글 : [flashinfer] FlashInfer Sage FP8 Block-Sparse Attention: double-S + 분리된 epilogue warpgroup로 타일 겹치기
- 다음글 [flashinfer] SM120 FP8 Groupwise GEMM에 Swap-AB 소형 타일 도입: 디코드 구간 최대 1.9× 가속
댓글