[flashinfer] MoE prims-TS epilogue 최적화: NaN-aware min/max로 clamp 명령어를 절반으로, 그리고 host 입력 생성 기반 프로파일링
PR 링크: flashinfer-ai/flashinfer#9404 상태: Merged | 변경: +432 / -73
들어가며
MoE 레이어의 Batched GEMM epilogue는 매 출력 원소마다 실행됩니다. 여기에는 SwiGLU activation의 clamp, 그리고 NVFP4 같은 block-scaled 출력의 scale factor(SF) 계산이 들어갑니다. 원소 단위 연산은 명령어 하나만 줄여도 전체 타일에 곱해지므로, epilogue가 병목이 되는 작은 batch나 decode 구간에서는 체감 차이가 생길 수 있습니다.
이 PR(flashinfer-ai/flashinfer, perf(moe): prims-TS epilogue optimizations)은 세 가지를 줄입니다.
_clamp_f32_trt: 4개 명령어 → 2개 (max.NaN.f32,min.NaN.f32사용)_clamp_upper_f32_trt: 2개 → 1개- SF floor 계산에서 불필요한
max제거
부수적으로 Batched GEMM runner에 --profile, --host-input-gen 옵션을 추가하고, scale이 0인 특수 케이스에 대한 테스트를 보강했습니다.
참고: 제공된 diff는 중간에 잘려 있어 커널 쪽 clamp/SF 코드 원문은 확인할 수 없습니다. 아래 커널 부분은 PR 설명과 PTX 의미론을 바탕으로 설명하며, 코드 인용은 diff에 실제로 있는 runner 변경 위주로 합니다.
코드 분석
1. _clamp_f32_trt: NaN 처리를 명령어 수식자로 넘기기
TRT-LLM 계열의 SwiGLU clamp는 x를 [-limit, limit]으로 자르되, NaN이 들어오면 NaN을 그대로 전파해야 합니다. 일반 PTX min.f32/max.f32는 피연산자 하나가 NaN이면 NaN이 아닌 쪽을 반환합니다(IEEE 754 minNum/maxNum 의미론). 그래서 clamp 결과에서 NaN이 사라지고, 이를 막으려면 NaN 검사(setp)와 선택(selp)을 추가해야 합니다. 이렇게 되면 min + max + NaN 검사 + select로 4개 명령어가 됩니다.
sm_80 이상에서 쓸 수 있는 .NaN 수식자는 "입력 중 하나라도 NaN이면 canonical NaN을 반환"합니다. 그래서 NaN 전파가 하드웨어 명령어 안에서 처리됩니다. 개념적으로는 다음과 같습니다.
// 개념도 (PR 원문 아님)
max.NaN.f32 t, x, -limit;
min.NaN.f32 y, t, limit;
명령어가 2개로 줄고, 분기나 predicate 레지스터도 필요 없습니다. 상한만 자르는 _clamp_upper_f32_trt는 같은 원리로 min + NaN 보정 2개에서 min.NaN.f32 1개가 됩니다.
2. SF floor: 값의 범위를 근거로 max 제거
block-scaled 양자화에서 SF는 E4M3 같은 저정밀 포맷으로 저장됩니다. E4M3에서 0이 아닌 가장 작은 값(subnormal)은 2^-9입니다. 따라서 변환된 SF는 0이거나 2^-9 이상입니다. 기존 코드는 floor 단계에서 하한 보정용 max를 한 번 더 했지만, 0 케이스는 이미 별도 경로에서 처리되고 있었습니다. 남은 값은 모두 하한 이상이므로 이 max는 결과에 영향을 주지 않는 명령어였습니다.
이런 최적화는 "정말 0 케이스가 다른 곳에서 처리되는가"가 정확성의 전제입니다. 그래서 PR은 zero scale 테스트를 함께 추가했습니다. CodeRabbit 요약의 "Added coverage for zero-input ... cases"가 이 부분입니다.
3. Runner: host 입력 생성과 alias 보존 이동
커널을 Nsight Compute 같은 외부 프로파일러로 볼 때, 입력 생성용 랜덤/레이아웃 커널이 GPU에서 함께 돌면 트레이스가 지저분해집니다. 그래서 입력을 host에서 만들고 HtoD 복사만 수행하는 경로가 추가됐습니다.
핵심은 텐서를 한 번만, 그리고 동일 객체 alias를 유지한 채 옮기는 헬퍼입니다.
def _move_to_cuda_memo(
memo: dict[int, torch.Tensor], tensor: torch.Tensor | None
) -> torch.Tensor | None:
"""Move a tensor to CUDA once while preserving exact-object aliases."""
if tensor is None:
return None
key = id(tensor)
moved = memo.get(key)
if moved is None:
moved = tensor if tensor.is_cuda else tensor.to("cuda")
memo[key] = moved
return moved
activations_torch와 activation_compact_torch처럼 같은 객체를 가리키는 변수들이 각각 .to("cuda")되면 서로 다른 복사본이 생겨 aliasing 가정이 깨집니다. id() 기반 memo로 이를 막습니다. _build_launch_io에서는 여기에 stride 검증까지 더합니다.
def _move(tensor):
...
original_stride = tensor.stride()
moved = _move_to_cuda_memo(move_memo, tensor)
assert moved is not None and moved.is_cuda
assert moved.stride() == original_stride
return moved
커널은 data_ptr()과 레이아웃 가정으로 포인터를 만들기 때문에 stride가 바뀌면 조용히 잘못된 결과가 나옵니다. 이 assert는 그런 상황을 미리 잡아냅니다. 출력 view인 c_torch는 따로 옮기지 않고, 이동된 c_storage 위에 다시 만듭니다.
c_torch = torch.as_strided(
c_storage,
(logical_output_m, logical_output_n),
(1, logical_output_m),
)
weight cache 갱신 위치도 바뀌었습니다.
# Before: 디바이스 이동 전에 cache 저장
- if weight_cache_key is not None:
- weight_cache[weight_cache_key] = (kernel_weights, kernel_weight_sf)
# After: 이동이 끝난 CUDA 텐서를 저장, key에 input_device 포함
+ if weight_cache_key is not None and cached_weight_io is None:
+ kernel_weights = kernel_a if cfg.is_swap_ab else kernel_b
+ kernel_weight_sf = sf_a if cfg.is_swap_ab else sf_b
+ weight_cache[weight_cache_key] = (kernel_weights, kernel_weight_sf)
이전 위치에 그대로 두면 host 모드에서는 CPU 텐서가 캐시되어, 다음 호출에서 다시 HtoD 복사가 일어나거나 alias가 어긋납니다. 이동 이후에 저장하고 str(input_device)를 key에 넣어서 두 모드의 캐시가 섞이지 않게 했습니다.
그 밖에 FP8 SF 인덱싱을 uint8 view로 우회한 부분도 있습니다.
+ expanded_a_sf = a_sf.view(torch.uint8)[expanded_to_token[exp_rows]].view(
+ a_sf.dtype
+ )
float8 dtype은 CPU에서 advanced indexing 지원이 제한적일 수 있습니다. 비트 패턴이 같은 uint8로 reinterpret한 뒤 gather하고 다시 원래 dtype으로 돌리면, 값을 바꾸지 않고도 디바이스와 무관하게 동작합니다.
왜 이게 좋은가
PR에는 end-to-end 수치가 없지만, 명령어 수 감소가 분명합니다. clamp 4→2(-50%), upper clamp 2→1(-50%), SF floor에서 max 1개 제거입니다. 이 경로들은 epilogue에서 원소마다 실행되므로, 레지스터 압력과 issue slot이 그만큼 줄어듭니다.
일반적인 교훈은 다음과 같습니다.
- 의미론을 ISA에 맡기기: NaN 전파처럼 소프트웨어로 보정하던 동작이 하드웨어 수식자(
.NaN)로 제공되는지 확인하세요. - 값의 도메인을 증명하면 명령어를 지울 수 있습니다: "0 또는 ≥2^-9"라는 불변식이 있으면 방어용
max는 불필요합니다. 대신 그 불변식을 테스트로 고정해 두어야 합니다. - 프로파일링 하네스도 코드 품질의 일부입니다:
--profile --host-input-gen으로 커널만 정확히 한 번 실행하는 깨끗한 트레이스를 얻을 수 있습니다. 이때 alias와 stride, 캐시 디바이스 일관성을 assert로 보장하는 습관이 중요합니다.
리뷰에서는 메인테이너(aleozlx)가 tests/prims_ts와 MoE prims-TS 테스트 묶음으로 CI를 돌렸습니다. 커널 수학을 바꾸는 PR인 만큼, 기능 회귀 검증을 넓게 걸어둔 것입니다.
참고 자료
- PTX ISA: min (floating point) — min.NaN.f32 의미론
- PTX ISA: max (floating point) — max.NaN.f32 의미론
- torch.Tensor.to — host→CUDA 이동
- torch.as_strided — 이동된 c_storage 위 view 재구성
- torch.Tensor.view — FP8 SF의 uint8 reinterpret
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
PR Analysis 의 다른글
- 이전글 [ollama] Ollama MLX Runner: 동시 요청에서도 Speculative Decoding을 유지하는 배치 검증
- 현재글 : [flashinfer] MoE prims-TS epilogue 최적화: NaN-aware min/max로 clamp 명령어를 절반으로, 그리고 host 입력 생성 기반 프로파일링
- 다음글 없음
댓글