본문으로 건너뛰기

[flashinfer] NVFP4 KV 캐시를 키당 한 번만 FP8로: Token-Sparse Attention 변환 경로 최적화

PR 링크: flashinfer-ai/flashinfer#9527 상태: Merged | 변경: +2506 / -1

들어가며

NVFP4로 압축된 KV cache 위에서 token-sparse attention을 수행하려면, 각 query row가 선택한 top-k 토큰을 trtllm-gen token-sparse FMHA가 읽을 수 있는 FP8 E4M3 row로 풀어 workspace에 써 두어야 합니다. 기존 방식(#9321)은 row마다 선택 토큰을 gather하고 변환했습니다.

문제는 같은 요청에 속한 row들이 대부분 같은 키를 선택한다는 점입니다. Speculative decoding의 1 + k개 verify 토큰, 또는 prefill chunk의 토큰들이 그렇습니다. PR 설명에 따르면 200K context에서 3K 토큰 chunk는 선택된 키 하나를 약 30번 재사용합니다. Row 단위 변환은 같은 키를 30번 디코딩하는 셈입니다.

이 PR은 두 가지 경로를 추가합니다.

  • gather_nvfp4_kv_cache_by_position: row가 적을 때(batch 1 등) position → slot → FP8 row를 한 번의 launch로 처리
  • compact_nvfp4_kv_cache: 요청(group) 단위로 선택된 키를 한 번만 변환하고, 각 row의 K/V index list가 그 영역을 가리키게 함

둘 다 CUDA graph safe이며 host 동기화가 없습니다.

코드 분석

1. _token_sparse_nvfp4.py — 공통 디코딩 헬퍼

모든 경로가 같은 FP8 비트를 쓰도록 디코딩을 하나의 헬퍼로 모았습니다. E2M1 쌍은 Blackwell 전용 PTX로 디코딩합니다.

@triton.jit
def _e2m1x2_value(packed):
    return tl.inline_asm_elementwise(
        asm="""{
        .reg .b8 code;
        .reg .b32 pair;
        .reg .b16 h0, h1;
        cvt.u8.u32 code, $2;
        cvt.rn.f16x2.e2m1x2 pair, code;
        mov.b32 {h0, h1}, pair;
        cvt.f32.f16 $0, h0;
        cvt.f32.f16 $1, h1;
        }""",
        constraints="=f,=f,r",
        args=[packed],
        dtype=(tl.float32, tl.float32),
        is_pure=True,
        pack=1,
    )

lookup table 대신 하드웨어 명령 cvt.rn.f16x2.e2m1x2를 쓰므로 한 바이트(두 E2M1 코드)를 한 번에 디코딩합니다. 모든 E2M1 값은 FP16에서 정확히 표현되므로(코드 8의 -0.0 포함) 손실이 없습니다.

FP8_NORMALIZATION_FACTOR = tl.constexpr(E2M1_MAGNITUDES.value[-1])  # 6.0

@triton.jit
def _e2m1x2_to_fp8(packed, sf, TOKENS, DIM, out_dtype):
    low, high = _e2m1x2_value(packed)
    value = tl.reshape(tl.join(low, high), (TOKENS, DIM))
    return (value * sf / FP8_NORMALIZATION_FACTOR).to(out_dtype)

여기서 중요한 설계가 6으로 나누기입니다. E2M1 최대값 6 × E4M3 block scale은 FP8 E4M3 범위를 넘어 saturation될 수 있습니다. 미리 6으로 나눠 저장하고, 호출자가 BMM1의 K scale과 BMM2의 V scale에 6을 곱해 복원합니다. 정밀도 손실 없이 범위 문제를 attention scale로 떠넘기는 깔끔한 트릭입니다.

2. Union group: mark → number → remap

같은 요청의 row들이 선택한 키의 합집합을 비트맵으로 구합니다. 첫 단계 compact_mark_kernel은 row마다 live 키의 비트를 atomic_or로 세웁니다.

bit = tl.full((TOP_K,), 1, tl.uint32) << (pos & (BITMAP_WORD_BITS - 1)).to(tl.uint32)
tl.atomic_or(
    bitmap + (tl.maximum(pos, 0) >> BITMAP_WORD_SHIFT),
    bit.to(tl.int32, bitcast=True),
    mask=live,
    sem="relaxed",
)
end = tl.max(tl.where(live, pos + 1, 0), 0)
tl.atomic_max(bitmap + WORDS, end, sem="relaxed")

순서가 상관없는 OR/MAX이므로 sem="relaxed"로 충분합니다. 두 번째 단계 compact_number_kernel은 word별 popcount의 exclusive prefix sum을 구해 각 키의 region 내 column을 결정합니다.

counts = _popcount(tl.load(bitmap + word, mask=inside, other=0))
below = total + tl.cumsum(counts, 0) - counts
tl.store(Prefix + group * WORDS + word, below, mask=inside)

_popcount는 SWAR 방식으로 구현되어 Triton interpreter에서도 동작합니다. 마지막 compact_remap_kernel은 below + popcount(word & lower)로 각 키의 최종 위치를 계산하고, dead 엔트리는 ZERO_ROW를 가리키게 합니다.

column = below + _popcount(word & lower.to(tl.int32, bitcast=True))
tl.store(UnionKeys + offset + column, pos, mask=live)
...
index = tl.where(live, offset + column, ZERO_ROW).to(tl.int32)

주목할 점은 비트맵을 memset하지 않는다는 것입니다. compact_number_kernel이 key end 워드를 end * 0으로 지우고, 나머지 워드는 convert 커널이 정리합니다. 매 호출이 비트맵을 0으로 되돌려 놓으므로 CUDA graph replay 사이에 별도 memset 노드가 필요 없습니다.

3. Dense group과 grid 전략

Row들이 선택한 키 수가 context 길이를 넘는 prefill chunk는 비트맵조차 생략하고, 마지막 선택 키 아래의 모든 키를 p → p로 변환합니다(if dense: column = pos). 어차피 거의 다 쓰이므로 numbering 비용이 더 비쌉니다.

또한 grid가 SM당 1024 program을 넘으면 SM당 256 program이 각 group의 tile을 순회하도록 바꿉니다. GB300에서 긴 dense group 1개 + 짧은 union group 50개 케이스가 378 → 97 µs로 줄었습니다. 작은 group이 idle program을 띄우는 낭비를 없앤 것입니다.

4. 특수화 제어

@triton.jit(do_not_specialize=["GROUP_BASE", "GROUPS", "MAX_KEYS"])

group_base로 여러 launch가 서로 다른 group 범위를 처리하므로, 이 값들이 바뀔 때마다 재컴파일되지 않도록 Triton의 정수 specialization을 꺼 두었습니다.

왜 이게 좋은가

GB300, head_dim 256, top_k 2048, 200K context 기준(L2 flush, CUDA graph replay median):

case per-row gather this PR
decode 1×3 rows 19.6 µs 9.4 µs
decode 128×3 rows 794 µs 94 µs
decode 128×6 rows 1574 µs 133 µs
prefill 2816-row chunk 5695 µs 56 µs

모든 결과는 baseline과 bit 단위로 일치했고, vLLM 서빙 벤치마크(TP4, 64 동시 long-context 세션)에서 throughput이 22%(824.7 → 1008.9 tok/s/GPU) 올랐습니다.

일반적 교훈:

  1. 중복 작업은 데이터의 구조에서 찾아라. 같은 요청의 row들은 키를 공유한다는 도메인 지식이 100배 개선을 만들었습니다.
  2. Deduplication은 비트맵 + prefix sum으로. 정렬 없이 atomic OR, popcount, cumsum만으로 안정적인 compaction이 가능합니다.
  3. CUDA graph에서는 커널이 스스로 상태를 원복하게 하라. 다음 replay를 위한 memset 제거가 graph 친화적 설계의 핵심입니다.
  4. 수치 범위 문제는 scale로 넘겨라. ÷6 정규화로 FP8 saturation을 피하고 복원은 BMM scale에서 공짜로 처리합니다.
  5. 결정론적 정확성 보장. 모든 경로가 같은 헬퍼를 써서 bit-exact 결과를 내므로 경로 선택이 순수한 성능 결정이 됩니다.

리뷰 측면에서는 maintainer(aleozlx, saltyminty)가 sdsa/trace/trtllm-gen token-sparse 테스트를 지정해 CI를 돌렸고, API check 경고는 false positive로 판단되었습니다. amitz-nv의 지적 사항들은 token_sparse.py, trace 템플릿, 커널 파일에서 모두 반영되었습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글