본문으로 건너뛰기

[flashinfer] Batch-invariant attention을 Rubin에 맞춰 재배치하기: 결과 비트는 그대로 두고 decode launch grid, PDL, 하드웨어 row max 손보기

PR 링크: flashinfer-ai/flashinfer#9622 상태: Merged | 변경: +1350 / -294

들어가며

FlashInfer의 batch-invariant attention(batch_invariant=True)은 배치 구성과 관계없이 같은 요청에 대해 비트 단위로 같은 출력을 보장하는 커널 클래스입니다. 대상은 paged decode, paged prefill, ragged prefill wrapper이고 지원 head dim은 64, 128, 256입니다. 결정론적 추론이나 RL 학습과 추론 사이의 정합성 검증처럼 재현성이 핵심인 곳에서 씁니다.

이런 커널을 최적화할 때는 제약이 하나 걸립니다. 수치 연산의 순서(numeric term)는 하나도 바꾸면 안 된다는 점입니다. 리덕션 순서가 바뀌면 결과 비트가 달라지고, 그러면 invariance가 깨집니다. 이 PR은 그 제약 안에서 작업했습니다. warp role, 메모리, launch shape, planner 선택처럼 작업의 배치(placement)만 옮겼고, Vera Rubin(sm_107, 212 SMs)에서 성능을 끌어올렸습니다. 검증 결과 decode, prefill, ragged 그리드 전체에서 55개 출력 덤프 55개가 main과 byte-identical이었습니다.

코드 분석

1. plan.py: makespan 모델 기반 decode launch grid

기존 planner는 unit 종류별 규칙으로 split과 fuse를 정했습니다. 이 PR은 그 규칙들을 하나의 makespan 모델로 바꿨습니다. 모델에 들어가는 head-dim별 상수는 "경험적으로 측정한 값"이라고 명시해 두었습니다. 핵심은 두 가지입니다.

  • persistent walk를 정수 개의 wave로 launch합니다(Plan.grid). AttnConfig.grid가 지정돼 있으면 그 값을 씁니다.
  • all-fused와 all-split을 비교할 때 fixup 커널의 비용까지 모델에 포함합니다.

이 결정의 근거는 측정치입니다. 동시에 도는 CTA가 96128개일 때 HBM 대역폭은 12.012.3 TB/s였습니다. SM 수만큼 212 CTA를 다 채우면 오히려 11.111.9 TB/s로 떨어지고, 마지막 wave가 일부만 채워진 채(part-filled tail) 남습니다. "SM을 꽉 채우면 빠르다"는 직관이 메모리 바운드 decode에서는 틀린 셈입니다. 그 결과 요청 1016개짜리 배치는 split하지 않고 fuse하게 됩니다. 이 결정은 device 없이 도는 테스트가 212, 148, 1000 SMs 각각에 대해 고정해 둡니다.

리뷰어 saltyminty는 이 planner의 비용을 지적했습니다. 후보 split chunk를 거부하기 전에 전부 펼쳐보기 때문에 plan 단계에서 CPU 오버헤드가 생기고, Q64 KV128K에서는 최대 25 ms까지 걸립니다. run()에는 오버헤드가 없어서 수용됐지만, plan을 자주 다시 호출하는 워크로드라면 기억해 둘 만한 trade-off입니다.

2. compile.py: 커널 identity에 hw_rowmax와 cap 추가

# Before
f"attn_d{D}_g{g}_p{page}_s{kv_slots}_w{n_wg}"
    + ("_q2" if q2 else "")
    + ("_rg" if ragged else "")
# After
f"attn_d{D}_g{g}_p{page}_s{kv_slots}_w{n_wg}"
    + ("_q2" if q2 else "")
    + ("_rg" if ragged else "")
    + ("_hwm" if hw_rowmax else "")
    + (f"_c{cap >> 10}" if cap else "")
cap = cap or arch_smem_cap()
name = kernel_name(D, g, page, kv_slots, n_wg, q2, ragged, hw_rowmax, cap)

이제 shared memory 용량(cap)이 커널 이름에 들어갑니다. smem plan은 실행 device의 용량에 맞춰 크기가 정해지는데, 이름에 용량이 없으면 다른 part에서 컴파일한 커널이 디스크 캐시에서 잘못 로드될 수 있습니다. 실행 장치에 의존하는 정적 파라미터는 반드시 캐시 키에 넣어야 한다는 원칙을 그대로 따른 변경입니다.

3. 하드웨어 row maximum (tcgen05.ld.red)

sm_103과 sm_107에서는 D <= 128일 때 TMEM load가 리덕션까지 함께 수행하는 tcgen05.ld.red로 tile row max를 구합니다. max는 정확하고 순서에 무관한 연산입니다. 그래서 레지스터 트리로 구하든 하드웨어로 구하든 결과 비트가 같고, invariance를 깨지 않습니다. 같은 리덕션이라도 덧셈은 이렇게 바꿀 수 없다는 점에서 이 구분이 중요합니다. PR은 유한값 row와 non-finite row 모두에 대해 이 동일성을 테스트로 고정했습니다.

4. kernel.py: SharedStorage 분리와 레지스터 예산 파라미터화

# Before
@cute.struct
class SharedStorage:
    q_mbar: cute.struct.MemRange[Int64, 2 * st.q_stages]
    ...
    s_r: cute.struct.MemRange[Float32, st.stats_slots * 4 * st.n_slices * Q_ROWS]
    s_p: cute.struct.Align[cute.struct.MemRange[Float32, self.n_wg * 3 * 32 * 16], 16]
    ...
self.shared_storage = SharedStorage
# After
self.shared_storage = shared_storage_struct(st)
...
s_p_all = storage.s_p.get_tensor(
    cute.make_layout((st.n_wg, 3, 32, 16) if st.rep_ok else (1, 1, 1, 4))
)  # a stub without the replicated placement

storage 정의를 operands.py의 shared_storage_struct(st)로 옮겼습니다. 덕분에 host 쪽에서도 같은 구조체로 smem 크기를 cap과 비교할 수 있습니다. replicated placement를 쓰지 않을 때는 s_p를 작은 stub으로 줄여 smem을 아낍니다.

# Before
cute.arch.setmaxregister_decrease(REGS_OTHER)
# After
cute.arch.setmaxregister_decrease(R.regs_other)

전역 상수로 박혀 있던 레지스터 예산을 role 객체에서 읽도록 바꿨습니다. 그래서 head dim별로 예산을 다르게 줄 수 있습니다. D = 64에서는 softmax 200 / correction 96으로 배분해 correction이 spill 없이 돌고, D = 128은 기존 192 / 128을 유지합니다.

5. correction.py: paired placement의 8-column piece

CT = 16  # ... 32 with one, 8 under the paired placement (StaticPlan.ct)
PIECE_BUFS = {
    80: 2,
    96: 2,
    ...

paired placement에서는 한 warpgroup이 Q tile 두 개의 chain을 96 레지스터로 처리해야 합니다. 이 때문에 ragged 컴파일에서 correction의 tile별 loop가 spill되고 있었습니다. TMEM 복사 단위를 8 column으로 줄여 레지스터 압력을 낮췄습니다. 같은 맥락에서 softmax instantiation도 warpgroup당 하나로 줄였습니다. 이전에는 replicated-row instantiation이 코드 영역을 공유하는 바람에 ptxas가 exponential 앞마다 7~10 cycle의 stall을 넣고 있었습니다.

6. PDL (Programmatic Dependent Launch)

load warp는 첫 TMA 직전에 griddepcontrol.wait를 호출하고, fixup 커널은 시작하자마자 trigger합니다. wrapper의 enable_pdl 기본값은 device를 보고 정합니다. fixup의 group 필드도 wait 이전에 읽어 두는데, 선행 커널이 끝나기를 기다리는 동안 prologue를 겹쳐 실행하기 위해서입니다. 이 효과는 커널을 연쇄 실행할 때만 드러납니다. D = 128 decode를 4-step CUDA graph chain으로 돌리면 step당 1.05~1.13배 빨라졌습니다. 리뷰 과정에서는 PDL을 제어하던 환경 변수가 제거됐습니다(bkryu 지적, ae221fd).

7. D = 128 paired placement는 왜 기본값이 아닌가

AttnConfig(q2=True, softmax_wgs=2, kv_slots=3)는 bit-identical이고 테스트도 통과했지만, 명시적으로 설정할 때만 쓰는 옵션으로 남겼습니다. SM107에서는 이 구성의 tile당 chain이 직렬로 실행됩니다. 반면 one-warpgroup body는 다음 QK를 softmax와 겹쳐 실행하므로 이쪽이 더 빠릅니다. 측정해서 느린 것으로 확인된 placement를 기본값으로 올리지 않은 판단입니다.

왜 이게 좋은가

regime main / PR (geomean)
D=128 paged decode 1.049 (B>=16, L>=8K: 1.07~1.15)
D=256 paged decode 1.046
D=64 paged decode 1.049 (최대 1.20)
D=128 ragged prefill 1.034
D=64 ragged prefill 1.665 (1.54~1.83)

D = 64 ragged prefill이 크게 빨라진 이유는 spill과 stall이 함께 사라졌기 때문입니다. D = 128 decode에서 B >= 16인 구간은 가장 빠른 non-invariant 백엔드 대비 0.95~1.03 수준까지 따라붙었습니다.

이 PR에서 일반화할 만한 교훈은 다음과 같습니다.

  1. 결정론을 지키는 최적화는 '무엇을 계산하느냐'가 아니라 '어디서, 언제 계산하느냐'를 바꾸는 일입니다. max처럼 결합법칙이 정확히 성립하고 순서에 무관한 연산만 하드웨어 경로로 옮길 수 있습니다.
  2. 메모리 바운드 커널에서는 SM을 전부 채우는 것이 최적이 아닐 수 있습니다. wave 양자화와 실측 대역폭을 반영한 makespan 모델이 휴리스틱 규칙보다 낫습니다.
  3. device 의존적인 정적 파라미터는 캐시 키에 넣어야 합니다. cap이 그 예입니다.
  4. 레지스터 예산은 head dim 같은 shape별로 조정할 대상입니다. spill 하나, stall 몇 cycle이 1.6배 차이를 만들 수 있습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글