[flashinfer] NVFP4 KV 캐시를 키당 한 번만 FP8로: Token-Sparse Attention 변환 경로 최적화
PR 링크: flashinfer-ai/flashinfer#9527 상태: Merged | 변경: +2506 / -1
들어가며
NVFP4로 압축된 KV cache 위에서 token-sparse attention을 수행하려면, 각 query row가 선택한 top-k 토큰을 trtllm-gen token-sparse FMHA가 읽을 수 있는 FP8 E4M3 row로 풀어 workspace에 써 두어야 합니다. 기존 방식(#9321)은 row마다 선택 토큰을 gather하고 변환했습니다.
문제는 같은 요청에 속한 row들이 대부분 같은 키를 선택한다는 점입니다. Speculative decoding의 1 + k개 verify 토큰, 또는 prefill chunk의 토큰들이 그렇습니다. PR 설명에 따르면 200K context에서 3K 토큰 chunk는 선택된 키 하나를 약 30번 재사용합니다. Row 단위 변환은 같은 키를 30번 디코딩하는 셈입니다.
이 PR은 두 가지 경로를 추가합니다.
gather_nvfp4_kv_cache_by_position: row가 적을 때(batch 1 등) position → slot → FP8 row를 한 번의 launch로 처리compact_nvfp4_kv_cache: 요청(group) 단위로 선택된 키를 한 번만 변환하고, 각 row의 K/V index list가 그 영역을 가리키게 함
둘 다 CUDA graph safe이며 host 동기화가 없습니다.
코드 분석
1. _token_sparse_nvfp4.py — 공통 디코딩 헬퍼
모든 경로가 같은 FP8 비트를 쓰도록 디코딩을 하나의 헬퍼로 모았습니다. E2M1 쌍은 Blackwell 전용 PTX로 디코딩합니다.
@triton.jit
def _e2m1x2_value(packed):
return tl.inline_asm_elementwise(
asm="""{
.reg .b8 code;
.reg .b32 pair;
.reg .b16 h0, h1;
cvt.u8.u32 code, $2;
cvt.rn.f16x2.e2m1x2 pair, code;
mov.b32 {h0, h1}, pair;
cvt.f32.f16 $0, h0;
cvt.f32.f16 $1, h1;
}""",
constraints="=f,=f,r",
args=[packed],
dtype=(tl.float32, tl.float32),
is_pure=True,
pack=1,
)
lookup table 대신 하드웨어 명령 cvt.rn.f16x2.e2m1x2를 쓰므로 한 바이트(두 E2M1 코드)를 한 번에 디코딩합니다. 모든 E2M1 값은 FP16에서 정확히 표현되므로(코드 8의 -0.0 포함) 손실이 없습니다.
FP8_NORMALIZATION_FACTOR = tl.constexpr(E2M1_MAGNITUDES.value[-1]) # 6.0
@triton.jit
def _e2m1x2_to_fp8(packed, sf, TOKENS, DIM, out_dtype):
low, high = _e2m1x2_value(packed)
value = tl.reshape(tl.join(low, high), (TOKENS, DIM))
return (value * sf / FP8_NORMALIZATION_FACTOR).to(out_dtype)
여기서 중요한 설계가 6으로 나누기입니다. E2M1 최대값 6 × E4M3 block scale은 FP8 E4M3 범위를 넘어 saturation될 수 있습니다. 미리 6으로 나눠 저장하고, 호출자가 BMM1의 K scale과 BMM2의 V scale에 6을 곱해 복원합니다. 정밀도 손실 없이 범위 문제를 attention scale로 떠넘기는 깔끔한 트릭입니다.
2. Union group: mark → number → remap
같은 요청의 row들이 선택한 키의 합집합을 비트맵으로 구합니다. 첫 단계 compact_mark_kernel은 row마다 live 키의 비트를 atomic_or로 세웁니다.
bit = tl.full((TOP_K,), 1, tl.uint32) << (pos & (BITMAP_WORD_BITS - 1)).to(tl.uint32)
tl.atomic_or(
bitmap + (tl.maximum(pos, 0) >> BITMAP_WORD_SHIFT),
bit.to(tl.int32, bitcast=True),
mask=live,
sem="relaxed",
)
end = tl.max(tl.where(live, pos + 1, 0), 0)
tl.atomic_max(bitmap + WORDS, end, sem="relaxed")
순서가 상관없는 OR/MAX이므로 sem="relaxed"로 충분합니다. 두 번째 단계 compact_number_kernel은 word별 popcount의 exclusive prefix sum을 구해 각 키의 region 내 column을 결정합니다.
counts = _popcount(tl.load(bitmap + word, mask=inside, other=0))
below = total + tl.cumsum(counts, 0) - counts
tl.store(Prefix + group * WORDS + word, below, mask=inside)
_popcount는 SWAR 방식으로 구현되어 Triton interpreter에서도 동작합니다. 마지막 compact_remap_kernel은 below + popcount(word & lower)로 각 키의 최종 위치를 계산하고, dead 엔트리는 ZERO_ROW를 가리키게 합니다.
column = below + _popcount(word & lower.to(tl.int32, bitcast=True))
tl.store(UnionKeys + offset + column, pos, mask=live)
...
index = tl.where(live, offset + column, ZERO_ROW).to(tl.int32)
주목할 점은 비트맵을 memset하지 않는다는 것입니다. compact_number_kernel이 key end 워드를 end * 0으로 지우고, 나머지 워드는 convert 커널이 정리합니다. 매 호출이 비트맵을 0으로 되돌려 놓으므로 CUDA graph replay 사이에 별도 memset 노드가 필요 없습니다.
3. Dense group과 grid 전략
Row들이 선택한 키 수가 context 길이를 넘는 prefill chunk는 비트맵조차 생략하고, 마지막 선택 키 아래의 모든 키를 p → p로 변환합니다(if dense: column = pos). 어차피 거의 다 쓰이므로 numbering 비용이 더 비쌉니다.
또한 grid가 SM당 1024 program을 넘으면 SM당 256 program이 각 group의 tile을 순회하도록 바꿉니다. GB300에서 긴 dense group 1개 + 짧은 union group 50개 케이스가 378 → 97 µs로 줄었습니다. 작은 group이 idle program을 띄우는 낭비를 없앤 것입니다.
4. 특수화 제어
@triton.jit(do_not_specialize=["GROUP_BASE", "GROUPS", "MAX_KEYS"])
group_base로 여러 launch가 서로 다른 group 범위를 처리하므로, 이 값들이 바뀔 때마다 재컴파일되지 않도록 Triton의 정수 specialization을 꺼 두었습니다.
왜 이게 좋은가
GB300, head_dim 256, top_k 2048, 200K context 기준(L2 flush, CUDA graph replay median):
| case | per-row gather | this PR |
|---|---|---|
| decode 1×3 rows | 19.6 µs | 9.4 µs |
| decode 128×3 rows | 794 µs | 94 µs |
| decode 128×6 rows | 1574 µs | 133 µs |
| prefill 2816-row chunk | 5695 µs | 56 µs |
모든 결과는 baseline과 bit 단위로 일치했고, vLLM 서빙 벤치마크(TP4, 64 동시 long-context 세션)에서 throughput이 22%(824.7 → 1008.9 tok/s/GPU) 올랐습니다.
일반적 교훈:
- 중복 작업은 데이터의 구조에서 찾아라. 같은 요청의 row들은 키를 공유한다는 도메인 지식이 100배 개선을 만들었습니다.
- Deduplication은 비트맵 + prefix sum으로. 정렬 없이 atomic OR, popcount, cumsum만으로 안정적인 compaction이 가능합니다.
- CUDA graph에서는 커널이 스스로 상태를 원복하게 하라. 다음 replay를 위한 memset 제거가 graph 친화적 설계의 핵심입니다.
- 수치 범위 문제는 scale로 넘겨라. ÷6 정규화로 FP8 saturation을 피하고 복원은 BMM scale에서 공짜로 처리합니다.
- 결정론적 정확성 보장. 모든 경로가 같은 헬퍼를 써서 bit-exact 결과를 내므로 경로 선택이 순수한 성능 결정이 됩니다.
리뷰 측면에서는 maintainer(aleozlx, saltyminty)가 sdsa/trace/trtllm-gen token-sparse 테스트를 지정해 CI를 돌렸고, API check 경고는 false positive로 판단되었습니다. amitz-nv의 지적 사항들은 token_sparse.py, trace 템플릿, 커널 파일에서 모두 반영되었습니다.
참고 자료
- triton.language.inline_asm_elementwise — E2M1 디코딩 PTX 삽입에 사용
- triton.language.atomic_or — 비트맵 마킹에 사용
- triton.language.atomic_max — group key end 갱신
- triton.language.cumsum — popcount prefix sum 계산
- triton.jit — do_not_specialize 옵션
- CUDA Graphs (CUDA C++ Programming Guide) — graph-safe launch 설계 배경
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [flashinfer] FlashInfer의 NVFP4 KV 캐시 성능 최적화: FP4 연산의 병목 현상 해소
- [flashinfer] DeepSeek-V4.1 Sparse MLA Decode를 위한 Prims-TS 백엔드: FP4 캐시에서 바로 E4M3 MMA까지
- [vllm] Blackwell에서 fp8 KV 캐시 기반 QSA sparse attention을 2.6배 빠르게: split-K를 대체하는 single-pass 커널
- [flashinfer] FlashInfer, Blackwell GPU를 위한 DeepSeek-V4 NVFP4 Sparse-MLA 디코드 최적화: Cake 백엔드 도입
- [flashinfer] GB300 NVFP4 Context Attention: scale slot 조기 반납과 8단 packed K/V ring으로 최대 1.26x 가속
PR Analysis 의 다른글
- 이전글 [vllm] vLLM PP 전송을 Copy Engine으로: TP>1, PCP>1, 멀티노드 NVLink(GB300 NVL72)까지 확장하기
- 현재글 : [flashinfer] NVFP4 KV 캐시를 키당 한 번만 FP8로: Token-Sparse Attention 변환 경로 최적화
- 다음글 [flashinfer] SM100/SM103 Sage FP8 Block-Sparse Attention: 타일 에필로그 오버랩과 Tail Split 병렬 폴딩으로 최대 6.9% 가속
댓글