[onnxruntime] DeepSeek MLA를 위한 전용 연산자: ONNX Runtime MultiHeadLatentAttention CPU 커널 분석
PR 링크: microsoft/onnxruntime#33914 상태: Merged | 변경: +2065 / -0
들어가며
DeepSeek-V2/V3가 도입한 Multi-head Latent Attention(MLA) 은 KV 캐시를 head별 K/V 대신 하나의 저차원 latent 벡터(+ RoPE 채널)로 압축합니다. 추론 시에는 key up-projection을 query 쪽에, value up-projection을 output projection 쪽에 흡수(absorb)하여, 모든 query head가 하나의 latent 캐시를 key이자 value로 공유하는 형태가 됩니다.
문제는 ONNX Runtime에 이 형태를 표현할 전용 연산자가 없었다는 점입니다(issue #23925). 지금까지 exporter들은 GroupQueryAttention(GQA)을 이렇게 우회 사용했습니다.
kv_num_heads = 1value = key,past_value = past_key- 출력의 각 head를 slice해서 V 폭만 남김
이 방식은 두 가지 낭비가 있습니다.
- 캐시 이중 저장: 같은 latent row가 K 캐시와 V 캐시에 모두 들어가 DeepSeek-V2-Lite 기준 fp16에서 토큰·레이어당 1,152바이트면 될 것이 2,304바이트가 됩니다.
- 버려질 연산: V의 RoPE 채널(64개)까지 P·V를 계산한 뒤 slice로 버립니다.
게다가 GQA의 CPU 커널은 query head마다 단일 KV head를 다시 읽기 때문에, head 수만큼 캐시 메모리 대역폭을 반복 소비합니다. 이 PR은 com.microsoft.MultiHeadLatentAttention op을 새로 추가하고 fp32/fp16 CPU 커널을 구현해 이를 해결합니다.
왜 새 op인가
PR 설명은 대안을 검토한 이유를 명확히 밝힙니다.
PagedAttention의kv_cache_layout=LATENT는 paged serving(CUDA 전용, block table) 대상이라 edge/NPU의 static-shape 사전할당 캐시 계약과 맞지 않습니다.- ONNX 표준
Attention-23/24는 V를 별도 텐서로 유지하고 concat으로 캐시를 키웁니다. - GQA에 attribute를 추가하면 GQA를 이미 claim하는 모든 EP가 구현 여부와 무관하게 해당 노드를 가져가 버립니다. 새 op type이면 미지원 EP에서 자연스럽게 CPU로 fallback됩니다.
마지막 포인트는 연산자 설계에서 자주 간과되는 실무적 교훈입니다. 그리고 캐시 계약은 GQA(kv_num_heads=1)와 동일하게 유지해 exporter가 노드만 교체하면 되도록 했습니다.
코드 분석
1. 스키마: K와 V가 같은 row의 다른 창(window)
docs/ContribOperators.md에 추가된 스키마의 핵심은 V를 별도 입력으로 받지 않는다는 점입니다.
Each cached row (head_size wide) is the key for every head, and
channels [v_offset, v_offset + v_head_size) of the same row are the value.
...
In DeepSeek-V2 and DeepSeek-V3 a row is the 512-channel latent followed by the 64 RoPE channels:
head_size = 576, v_head_size = 512 and v_offset = 0.
입력도 GQA보다 간결합니다.
|MultiHeadLatentAttention|*in* query:**T**<br> *in* key:**T**<br> *in* past_kv:**T**<br>
*in* seqlens_k:**M**<br> *in* total_sequence_length:**M**<br>
*out* output:**T**<br> *out* present_kv:**T**|
value/past_value/present_value가 사라지고 past_kv/present_kv 하나만 남았습니다. 이것만으로 캐시 메모리가 절반이 됩니다. scale이 required인 점도 주목할 만합니다. absorption 이후 head_size(576)는 원래 모델의 qk head dim이 아니므로 1/sqrt(head_size)를 기본값으로 쓰면 틀린 결과가 나오기 때문입니다.
2. 파라미터 구조체
attention_parameters.h에서는 기존 AttentionParameters를 확장합니다.
struct MultiHeadLatentAttentionParameters : AttentionParameters {
int v_offset = 0;
int present_sequence_length = 0; // max(total_sequence_length, past_sequence_length)
bool is_first_prompt = false; // sequence_length == total_sequence_length
};
present_sequence_length = max(total, past)는 past/present가 하나의 max_sequence_length 버퍼를 공유하는 in-place 모드를 지원하기 위한 것으로, GQA와 동일한 계약입니다.
3. 커널: 모든 head를 하나의 GEMM M 차원으로
multihead_latent_attention.cc의 설계 주석이 이 PR의 핵심 아이디어를 요약합니다.
// The query rows of a batch entry, (token, head) pairs in BSNH order, form one (S * num_heads) x head_size matrix.
// With a single KV head every row attends over the same cache, so each tile of cached rows is read (and converted to
// fp32) once and multiplied against a whole block of query rows. V is the column window
// [v_offset, v_offset + v_head_size) of the same tile, used in place.
constexpr int kKvTile = 128; // cached rows per tile
constexpr int kMaxRowBlock = 128; // query rows per task
constexpr int kMinKvChunk = 512; // cached rows per split of the cache, at least
constexpr int kMergeRows = 8; // query rows per merge task
여기서 일어나는 최적화를 정리하면 다음과 같습니다.
- 타일 재사용: KV head가 1개이므로
(S × num_heads)개의 query row 전체가 같은 캐시를 봅니다. 이를 하나의 행렬로 묶어 128-row 캐시 타일과 MLAS SGEMM을 한 번 수행합니다. decode(S=1)에서도 M=16(head 수)이 되어 GEMV가 아닌 GEMM이 되고, 캐시 타일은 한 번만 메모리에서 읽고 fp16→fp32 변환됩니다. - V in-place: V를 별도로 복사하지 않고 K 타일의
[v_offset, v_offset+v_head_size)열을 stride를 두고 그대로 GEMM 입력으로 사용합니다. - Online softmax: 타일 단위로 running max/sum을 갱신해 전체 score 행렬을 만들지 않습니다(flash attention 방식).
- Causal skip: row block의 causal 한계를 넘는 타일은 아예 건너뜁니다.
- Split-KV decode: decode처럼 row block이 thread 수보다 적으면 캐시를 최소 512 row 단위 chunk로 나눠 병렬 처리하고, 부분 softmax 상태를 log-sum-exp로 merge합니다.
template <typename T>
struct LatentAttentionArgs {
const T* query; // (B, S, num_heads, head_size)
const T* cache; // rows of batch entry b start at cache + b * cache_batch_stride
size_t cache_batch_stride;
T* output; // (B, S, num_heads, v_head_size)
const int* past_rows; // per batch entry: rows cached before this step
const int* total_rows; // per batch entry: valid rows after this step
...
};
batch별 past_rows/total_rows로 ragged batch와 right padding을 처리합니다.
4. MLAS 공개 API 추가
ISA별 코드를 새로 작성하지 않고, MLAS 내부 softmax 커널을 MlasReduceMaximum, MlasComputeSumExp라는 얇은 public wrapper로 노출해 재사용했습니다. 이식성을 유지하면서 x64/aarch64 모두에서 벡터화된 경로를 얻는 현명한 선택입니다.
리뷰에서 나온 논의
32-bit overflow: Copilot은 32-bit 타깃에서 128 * head_size가 SafeInt 검사 전에 wrap되어, 극단적인 head_size에서 workspace 크기가 0이 되고 heap overflow가 날 수 있다고 지적했습니다. 작성자는 workspace 크기와 staged cache stride를 모두 SafeInt 곱으로 바꿔 할당 전에 throw하도록 수정했습니다. 크기 계산은 할당 이전 시점에 검증해야 한다는 기본 원칙이 다시 확인된 사례입니다.
Symbolic shape inference: Python symbolic_shape_infer.py에 핸들러가 없어 quant_pre_process()가 실패하는 문제도 지적되었고, 출력 폭(num_heads * v_head_size)과 present_kv = max(total, past)를 반영한 핸들러와 테스트가 추가되었습니다. 새 contrib op를 넣을 때 C++ 스키마 외에 Python 툴링까지 챙겨야 한다는 교훈입니다.
P·V 누적 overflow: 비정규화된 fp32 누적이 1e38 수준 값에서 inf가 될 수 있다는 지적에 대해, 작성자는 softmax 가중치가 ≤1이므로 fp16 입력에선 불가능하고, MLAS flash attention과 GQA도 같은 방식(마지막에 나눔)을 쓰므로 일관성을 유지하겠다고 답했습니다. 매 타일 정규화 비용과 비현실적 입력 범위 사이의 합리적 trade-off입니다.
왜 이게 좋은가
DeepSeek-V2-Lite 형태(16 heads, row 576, v_head_size 512), Xeon w5-2565X 4 threads 기준(ms/call):
| Decode 8K | Decode 32K | Prefill 8K | Prefill 32K | |
|---|---|---|---|---|
| GQA fp16 | 24.0 | 107.5 | 78.2 | 309.2 |
| GQA fp32 | 14.6 | 61.7 | 68.8 | 271.7 |
| MLA fp16 | 1.05 | 3.45 | 46.3 | 190.7 |
| MLA fp32 | 1.06 | 3.60 | 46.1 | 182.9 |
fp16 decode 32K에서 약 31배, prefill에서도 약 1.6배 빨라졌습니다. decode는 memory-bound이므로 캐시를 head 수(16)만큼 반복해 읽던 것을 한 번으로 줄인 효과가 거의 그대로 드러납니다. fp16과 fp32 성능이 비슷해진 점도 흥미로운데, 타일당 fp16→fp32 변환이 모든 head에 대해 한 번으로 amortize되기 때문입니다.
일반적 교훈
- 공유 데이터는 한 번 읽어라: 여러 consumer가 같은 데이터를 읽는다면 consumer를 GEMM의 M 차원으로 묶어 데이터 로드를 amortize하세요. MQA/MLA 계열에서 특히 큰 효과가 있습니다.
- 표현 우회는 비용을 숨긴다: "기존 op로 표현 가능"하다고 효율적인 것은 아닙니다.
value = key트릭은 정확하지만 메모리 2배, 연산 낭비를 초래했습니다. - Op 설계는 EP 디스패치까지 고려하라: 기존 op에 attribute를 추가하면 미지원 EP가 노드를 잘못 claim할 수 있습니다.
- 기존 계약을 재사용하라: GQA 캐시 계약을 그대로 따라 exporter 마이그레이션 비용을 최소화했습니다.
- 이식 가능한 빌딩 블록: ISA 전용 코드 없이 MLAS SGEMM과 softmax primitive만으로 큰 성능 향상을 얻었습니다.
참고 자료
- ONNX Runtime Contrib Operators — MultiHeadLatentAttention 스키마가 추가된 문서
- ONNX Runtime Operator Kernels — CPU 커널 등록 목록
- DeepSeek-V2 paper (arXiv:2405.04434) — Multi-head Latent Attention 원 논문
- FlashAttention (arXiv:2205.14135) — online softmax 타일링 기법
- ONNX Attention operator — PR에서 비교한 표준 Attention op
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
- [onnxruntime] ONNX Runtime의 CPU GQA 최적화: Flash Attention과 Flash Decoding 도입
- [vLLM] Multi-head Latent Attention: KV 캐시를 압축하는 DeepSeek의 어텐션
- [SGLang] Multi-head Latent Attention (MLA): KV 캐시 압축 어텐션
- [onnxruntime] ONNX Runtime CPU GQA 최적화: INT8/INT4 양자화 KV 캐시와 SIMD 가속
- [onnxruntime] [ONNX Runtime] CPU GQA 성능의 한계를 넘다: FP16 입력과 양자화된 KV 캐시 최적화 분석
PR Analysis 의 다른글
- 이전글 [flashinfer] FP8 Sage 블록 희소 어텐션 가속: SM100/SM103 Cake 커널, 결합 Quantize+Attention API, auto 백엔드
- 현재글 : [onnxruntime] DeepSeek MLA를 위한 전용 연산자: ONNX Runtime MultiHeadLatentAttention CPU 커널 분석
- 다음글 [vllm] RDNA4에서 Sparse 명령어로 Dense Skinny GEMM 가속하기: vLLM의 SWMMAC N=5~8 커널 분석
댓글