[flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드
PR 링크: flashinfer-ai/flashinfer#9438 상태: Merged | 변경: +16739 / -1351
들어가며
FlashInfer의 Cake 백엔드는 FP8 Sage block-sparse attention 변형 하나를 제공합니다. 이 변형에서 Q/K/V는 FP8 E4M3이고, Q/K는 per-token scale, V는 per-channel scale을 씁니다. 입출력은 BF16이고 layout은 BSHD입니다. 지금까지는 quantize 커널 → attention 커널 순서로 실행되었습니다.
이 PR은 이 경로를 여러 층에서 다듬습니다.
- 커널 레벨: 아키텍처와
sel(query block당 선택된 KV block 수)에 따라 두 번째 attention 빌드를 고릅니다. - 런치 레벨: quantizer와 attention의 PDL(Programmatic Dependent Launch) 빌드를 추가하고, 작은 shape를 위한 one-launch quantizer를 둡니다.
- 호스트 레벨: Python 디스패치 경로의 마이크로초 단위 오버헤드를 줄입니다.
- API 레벨:
backend="auto"를 기본값으로 바꾸고, 결합 APIbsa_attn_sm100_sage_quantize_fwd_cake를 추가합니다.
가장 효과가 큰 구간은 eager 모드의 작은 shape입니다. GB300 기준 B1/H8/S4096, sel=6에서 main은 116.8µs, 결합 API는 30.6µs로 3.78배 빨라졌습니다. 이 구간에서는 GPU 연산 시간보다 호스트 오버헤드와 런치 수가 지연을 좌우하기 때문입니다.
코드 분석
1. 호스트 오버헤드 제거: _capability 캐싱
Before
device = torch.device("cuda") if device is None else torch.device(device)
if device.type != "cuda":
return None
major, minor = torch.cuda.get_device_capability(device)
return (int(major), int(minor))
After
return _device_capability(_device_index(device))
@functools.cache
def _device_capability(device_index: int) -> tuple[int, int]:
major, minor = torch.cuda.get_device_capability(device_index)
return (int(major), int(minor))
get_device_capability는 호출마다 드라이버 속성을 조회합니다. device index를 키로 functools.cache를 걸면 이후 호출은 dict lookup 한 번으로 끝납니다. 같은 이유로 _pdl_supported(device_index)에도 @functools.cache가 붙었습니다. 결과가 프로세스 수명 동안 변하지 않는 값은 캐시하는 것이 맞습니다.
2. tvm-ffi stream context 생략
def _ffi_takes_torch_stream() -> bool:
if getattr(torch.Tensor, "__c_dlpack_exchange_api__", None) is None:
return False
try:
version = tuple(int(x) for x in tvm_ffi.__version__.split(".")[:3])
except (AttributeError, ValueError):
return False
return version >= (0, 1, 16)
_FFI_TAKES_TORCH_STREAM = _ffi_takes_torch_stream()
def _launch(*calls) -> None:
if _FFI_TAKES_TORCH_STREAM:
for run, args in calls:
run(*args)
return
with tvm_ffi.use_torch_stream():
for run, args in calls:
run(*args)
apache-tvm-ffi 0.1.16부터는 torch DLPack exchange API로 넘어온 CUDA 텐서가 있으면, FFI가 torch의 current stream을 자동으로 사용합니다. 그래서 use_torch_stream() context manager는 필요 없어졌습니다. docstring에 따르면 이 context 하나가 호출당 수 µs의 호스트 시간을 씁니다. 판단은 import 시점에 한 번만 하고, 런타임 분기는 bool 체크 하나로 줄였습니다. _launch(*calls)가 여러 런치(quantize + attention)를 한 블록에서 처리하므로, 구버전 FFI에서도 context 진입은 한 번이면 됩니다.
3. sel 기반 attention 빌드 선택
_SECOND_ATTENTION = {
"sm_100a": ("attention_qs", 10),
"sm_103a": ("attention_per_tile", 192),
}
def _attention_role(arch: str, block_sparse_num: int) -> str:
role, min_sel = _SECOND_ATTENTION.get(arch, ("", 0))
if role and block_sparse_num >= min_sel and role in _loader.MODULES:
return role
return "attention"
두 아키텍처는 서로 다른 전략을 씁니다.
- SM100 (
qk_split): S가 로드되자마자 다음 QK^T를 시작해 MMA와 softmax를 더 많이 겹칩니다. 파이프라인이 채워질 만큼 row가 길어야 이득이 있어서, 기준값을 sel ≥ 10으로 잡았습니다. - SM103 (
cross_tile=False): 긴 row에서는 cross-tile stream보다 per-tile step schedule이 낫기 때문에 sel ≥ 192에서만 전환합니다.
role in _loader.MODULES 조건 덕분에 빌드가 없는 환경에서는 기본 빌드로 안전하게 돌아갑니다. 하나의 커널 설정이 모든 워크로드에 최적일 수는 없다는 점을, 측정으로 얻은 기준값 테이블로 코드에 반영한 것입니다.
4. PDL 빌드 레코드
def _record(role: str, pdl: bool) -> Tuple[str, Tuple[int, ...]]:
name = f"{role}_pdl"
if pdl and name in _loader.MODULES:
return name, (1,)
return role, ()
PDL을 쓰면 다음 커널(attention)의 prologue(TMA descriptor 준비, smem 초기화 등)가 이전 커널(quantizer)의 꼬리와 겹칩니다. 그래서 quantize → attention 사이의 런치 갭이 줄어듭니다. 함수는 PDL 빌드가 있으면 enable_pdl 플래그를 인자 끝에 붙이고, 없으면 일반 빌드를 반환합니다. 여기에 _ONE_LAUNCH_RECORD = "quantize_qkv_c8w16"(8-CTA cluster, 16 warps)가 더해져, eager 소형 shape에서는 Q/K/V quantize가 런치 한 번으로 끝납니다.
5. 검증 재사용: operands_checked
기존 bsa_attn_sm100_sage_fwd_cake 본체는 _attention_operands로 분리되었고, 두 플래그가 추가되었습니다.
if not operands_checked:
for name, t in (("q", q), ("k", k), ("v", v)):
if not isinstance(t, torch.Tensor) or t.ndim != 4:
raise ValueError(f"{name} must be a rank-4 BSHD tensor")
결합 API에서는 quantizer가 Q/K/V와 scale을 정해진 layout으로 직접 할당합니다. 따라서 그 텐서들의 shape와 dtype 검사는 중복이고, operands_checked=True로 건너뜁니다. 작은 shape에서는 Python 검증 코드도 지연의 일부이므로, 이 결정이 eager 결합 API의 큰 개선폭에 기여합니다.
6. 정렬 검사: 빠른 경로와 친절한 에러
if (
check_addresses
and (q.data_ptr() | k.data_ptr() | v.data_ptr() | v_scale.data_ptr())
% ATTENTION_ALIGNMENT
):
for name, t in (("q", q), ("k", k), ("v", v), ("v_scale", v_scale)):
_check_aligned(name, t, ATTENTION_ALIGNMENT)
네 포인터를 bitwise OR로 합친 뒤 modulo를 한 번만 계산합니다. 하나라도 정렬이 어긋나면 OR 결과의 하위 비트가 켜지기 때문입니다. 정상 경로에서는 연산 한 번으로 끝나고, 실패할 때만 개별 텐서를 확인해 원인을 정확히 알려줍니다. ATTENTION_ALIGNMENT는 TMA base와 16-byte store 때문에 16, quantizer 입력용 QUANTIZE_INPUT_ALIGNMENT는 ld.global.v8.b32 32-byte load 때문에 32입니다.
리뷰에서 나온 논의
- auto 판정 로직 (yzh119): 처음에는 별도 predicate
_cake_sage_accepts가 head_dim 같은 Cake 전용 제약을 놓쳤습니다. 수정 후sm100_sage_fwd_cake_dispatch(..., fallback=True)가 Cake 자체 검사를 예외 없이 실행합니다. Cake가 거부할 호출(head_dim 64, 정렬 불량, strided K, 2**31 원소 초과 등)은 모두 CuTe-DSL로 넘어갑니다. 판정 로직이 두 곳에 있으면 결국 어긋나므로, 하나로 통일한 좋은 수정입니다. - 정렬 버그: quantizer의 32-byte vector load는
x[1:]같은 storage offset 뷰에서 깨질 수 있었습니다. 이제.clone()을 제안하는 에러를 냅니다. - Fake mode:
auto는is_fake_mode()에서 CuTe 경로를 유지합니다. 명시적cake는 런치 없이 출력만 할당합니다. - 벤치마크 오염: 기본값이
auto로 바뀌면서 CuTe 기준선 호출이 실제로는 Cake 커널을 돌고 있었습니다(1.00x).backend="cute"를 명시한 뒤 CuTe-DSL 40.8µs vs Cake 14.8µs(sel 6)라는 실제 차이가 드러났습니다. 기본값을 바꿀 때는 벤치마크의 기준선도 함께 점검해야 한다는 교훈입니다.
왜 이게 좋은가
| 환경 | shape / sel | main | default | 결합 API |
|---|---|---|---|---|
| B200 eager | B1/H8/S4096, 6 | 73.6µs | 58.1µs (1.27x) | 28.8µs (2.56x) |
| GB300 eager | B1/H8/S4096, 6 | 116.8µs | 83.3µs (1.40x) | 30.6µs (3.78x) |
| B200 graph | B8/H32/S4096, 6 | 544.4µs | 496.6µs (1.10x) | 496.0µs |
| B200 graph | B1/H40/S32768, 256 | 10232.8µs | 9913.4µs (1.03x) | 9914.1µs |
- CUDA graph에서는 호스트 오버헤드가 사라지므로, 커널 개선분인 2~10%만 보입니다.
- eager 소형 shape에서는 결합 API가 2.5~3.8배 빠릅니다. 런치 수, Python 검증, FFI context 비용이 모두 줄어든 결과입니다.
- GB300의 큰 shape(sel 128/256)는 0.99~1.00x로 사실상 변화가 없습니다. per-tile 빌드의 기준값을 192로 보수적으로 잡은 이유가 여기서 보입니다.
일반적 교훈
- µs 단위 커널에서는 Python 호스트 경로가 지연의 절반 이상일 수 있습니다. 캐싱, context 제거, 중복 검증 제거가 커널 튜닝보다 큰 효과를 낼 수 있습니다.
- 커널 변형은 워크로드 파라미터(
sel)와 아키텍처별 기준값으로 디스패치합니다. - 연속된 커널은 PDL이나 단일 런치로 묶어 갭을 줄입니다.
auto백엔드의 판정 로직은 실제 백엔드 검증과 같은 코드를 써야 합니다.- 측정 방법론도 함께 공개해야 합니다. 이 PR은 cold L2, CUPTI, round 순서 회전, min..max 범위를 모두 밝혀 수치의 신뢰도를 높였습니다.
참고 자료
- functools.cache — device capability / PDL 지원 여부 캐싱에 사용
- torch.cuda.get_device_capability — 캐싱 대상 API
- torch.Tensor.data_ptr — 정렬 검사에 사용
- CUDA Programming Guide - Programmatic Dependent Launch — PDL 빌드의 기반 기능
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention
- [flashinfer] FlashInfer Blackwell(SM103) 최적화: Sage 커널 및 Block-Sparse 성능 개선
- [flashinfer] FlashInfer의 SM100/SM103 최적화: CAKE 기반 블록 희소 어텐션(VSA) 도입
- [flashinfer] Blackwell 시대를 위한 최적화: FlashInfer의 SM120 Block-Sparse Attention 백엔드 도입기
- [flashinfer] FlashInfer Blackwell 블록 희소 어텐션 커널 최적화 분석
PR Analysis 의 다른글
- 이전글 [flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention
- 현재글 : [flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드
- 다음글 없음
댓글