본문으로 건너뛰기

[sglang] Kimi K3 Prefill Context Parallelism: MLA만 토큰 샤딩하고 KDA/MoE는 TP로 유지하는 하이브리드 CP 설계

PR 링크: sgl-project/sglang#38344 상태: Merged | 변경: +118 / -252

들어가며

Kimi K3는 93개 레이어로 구성된 하이브리드 모델입니다. 69개는 KDA(linear attention, chunked delta rule), 24개는 MLA(softmax attention)이며, dense인 layer 0을 제외한 모든 레이어 뒤에 896개의 NVFP4 expert를 가진 latent MoE가 붙습니다.

Long-context prefill에서 Context Parallelism(CP)은 흔히 쓰이는 기법이지만, 이 구조에서는 단순하지 않습니다. 이 PR이 채택한 방식은 "full-sequence CP"입니다. MLA 레이어만 zigzag 방식으로 토큰을 샤딩하고(causal workload 균형), KDA와 MoE는 모든 rank에서 전체 시퀀스를 TP8 collective로 처리합니다. CP8이면 attention TP width가 A = tp / cp = 1이 되어, 각 rank가 자기 N/8 query row에 대해 96개 MLA head를 모두 들고 MLA o_proj all-reduce가 사라집니다.

PR 설명은 이 방식의 구조적 한계도 함께 밝힙니다. heads × queries는 보존되므로 CP는 rank당 attention/KDA/expert FLOPs를 줄이지 못하고, KDA/MoE collective도 건드리지 않습니다. 결국 CP 단독으로 얻는 건 "MLA all-reduce 제거 vs K/V expansion 복제 비용"의 교환뿐입니다. 그래서 CP8이 TP8보다 빨라지려면 추가 작업이 필요했습니다.

코드 분석

1. cp_tp_group_sharing_hook.py: Kimi Linear 계열 등록과 안전장치

먼저 CP-TP group sharing(CP group = TP group) 지원 모델 목록에 Kimi Linear 계열을 추가합니다.

# After
_KIMI_LINEAR_MODELS: set[str] = {
    "KimiLinearForCausalLM",
    "KimiK3LinearForCausalLM",
    "KimiK3ForConditionalGeneration",
}
_SUPPORTED_MODELS: set[str] = {
    "Glm5NextForConditionalGeneration",
    "Qwen4ExpForConditionalGeneration",
    "KimiK31ForConditionalGeneration",
} | _KIMI_LINEAR_MODELS

함수 초입의 early-return 조건도 분해했습니다. 이전에는 지원하지 않는 모델이면 조용히 return했는데, linear attention이 있는 모델이 목록에 없으면 이제 명시적으로 에러를 냅니다.

# Before
if (
    not cfg.enable_prefill_cp
    or view.attn_cp_size <= 1
    or model.hf_config.architectures[0] not in _SUPPORTED_MODELS
):
    return

# After
if not cfg.enable_prefill_cp or view.attn_cp_size <= 1:
    return
arch = model.hf_config.architectures[0]
if arch not in _SUPPORTED_MODELS:
    if mambaish_config(model) is not None:
        raise ValueError(
            f"Linear-attention prefill CP is not integrated with {arch}."
        )
    return

Linear attention은 recurrence 때문에 시퀀스를 임의로 샤딩하면 결과가 틀어집니다. "조용히 일반 CP 경로로 fallback"하는 대신 fail-fast하도록 바꾼 것은 정확성 측면에서 좋은 변경입니다. 반복되던 model.hf_config.architectures[0]를 arch 하나로 정리한 것도 가독성을 높입니다.

Kimi K3 전용 backend 검증도 추가됐습니다.

if arch in ("KimiK3LinearForCausalLM", "KimiK3ForConditionalGeneration"):
    prefill_backend, _ = attention_backends_of(view)
    if prefill_backend not in ("fa3", "fa4"):
        raise ValueError(...)
    if prefill_backend == "fa4":
        if not get_platform().is_sm100_or_sm110:
            raise ValueError(...)
        if (
            linear_config.kv_lora_rank != 512
            or linear_config.qk_rope_head_dim != 64
        ):
            raise ValueError(...)

CP 경로의 absorbed MLA는 FA3/FA4에서만 구현되어 있고, FA4는 SM100/SM110(Blackwell)과 특정 MLA shape(kv_lora_rank=512, qk_rope_head_dim=64)을 전제로 합니다. 이런 제약을 서버 기동 시점에 검사해 두면, 런타임 커널 에러나 잘못된 출력 대신 명확한 메시지를 받을 수 있습니다.

마지막으로 Qwen4Exp와 마찬가지로 prefill CUDA graph를 끕니다.

if arch == "Qwen4ExpForConditionalGeneration" or is_kimi_linear:
    # These sequence collectives still have batch-dependent sizes.
    fields["cuda_graph_config"] = with_phase(
        cfg.cuda_graph_config, Phase.PREFILL, backend=Backend.DISABLED
    )

Sequence collective의 크기가 batch에 따라 바뀌면 CUDA graph capture가 불가능하므로 합리적인 선택입니다. attn-dp-size > 1이나 disaggregation 모드도 unsupported로 명시해 조합 폭발을 막습니다.

2. model_overrides/kimi_k3.py: 차단 해제

# Before (제거됨)
if cfg.enable_prefill_cp:
    raise ValueError(
        "Kimi-K3 does not support --enable-prefill-cp yet (Kimi-K3.1 does)."
    )

검증 책임이 위 hook으로 이동했으므로 하드 차단을 제거했습니다.

3. kimi_linear.py: forward에서 split/gather, 레이어별 reduce group 선언

핵심은 모델 forward 양 끝에 CP split/gather를 끼우는 것입니다.

cp_active = get_parallel().enable_cp_tp_group_sharing and is_cp_active(
    forward_batch
)
if cp_active:
    hidden_states, positions = cp_split_before_forward(
        hidden_states, positions, forward_batch
    )
...
if cp_active:
    hidden_states = cp_gather_after_forward(hidden_states, forward_batch)
    aux_hidden_states = [
        cp_gather_after_forward(hidden, forward_batch)
        for hidden in aux_hidden_states
    ]

Residual stream은 CP 샤딩된 상태로 레이어를 흐르고, 마지막 norm 이후에야 gather됩니다. speculative decoding용 aux_hidden_states도 함께 gather해서 draft 모델이 전체 시퀀스를 받도록 처리한 점이 세심합니다.

레이어별 stage 선언도 바뀌었습니다.

# Before
declare_attn(),

# After
declare_attn(
    tp_group=(
        SumGroup.TP
        if config.is_kda_layer(layer_idx)
        and linear_attn_parallel_group() == "tp"
        else SumGroup.ATTN_TP
    ),
    in_token_order=config.is_kda_layer(layer_idx),
),

KDA 레이어는 전체 TP group으로 sum하고, 시퀀스 순서(in_token_order)가 필요하다고 선언합니다. MLA는 ATTN_TP group을 씁니다. Layer boundary 프레임워크가 이 선언을 보고 stage 경계에서 필요한 gather/reorder를 자동 삽입하는 구조입니다. KDA의 qkv_proj도 하드코딩된 "attn_tp" 대신 parallel_group 변수를 받도록 바뀌었습니다.

4. kimi_k3.py: zigzag일 때만 stage boundary가 순서 복원

declare_attn(
    **attn_ops,
    # Interleave KDA restores sequence order inside the attention;
    # zigzag delegates that transport to the stage boundary.
    in_token_order=config.is_kda_layer(layer_idx)
    and get_parallel().cp_strategy == "zigzag",
),

Zigzag 샤딩은 causal workload를 맞추려고 토큰 순서를 섞습니다. Delta rule recurrence는 순서에 의존하므로 KDA 앞에서 원래 순서로 되돌려야 하는데, interleave 전략에서는 attention 내부가 이를 처리하고 zigzag에서는 stage boundary에 위임합니다.

5. 테스트

TestKimiLinearPrefillCP가 Kimi-Linear-48B로 TP2 + CP2 설정에서 GSM8K 200문항, threshold 0.88로 정확도를 검증합니다.

왜 이게 좋은가

8x B200, 8-layer Kimi-K3-NVFP4 proxy, FA4 기준:

configuration 32K 64K
TP8 121.7 ms 244.5 ms
CP8, 이전 기본값 177.0 ms (+45%) 457.2 ms (+87%)
CP8, Phase 0 (이 PR) 122.1 ms (+0.3%) 250.4 ms (+2.4%)
CP8, Phase 0 + SP residual 101.5 ms (−16.6%) 207.0 ms (−15.4%)

흥미로운 점은 CP 단독(Phase 0)으로는 TP8과 거의 같다는 것입니다. 앞서 말한 구조적 이유 그대로입니다. 15~17% 개선은 SGLANG_K3_CP_SP_RESIDUAL=1로 residual stream을 sequence-parallel로 유지해 norm, residual add 같은 token-wise 중복 연산을 제거했을 때 나옵니다.

리뷰에서 Stone749990226은 바로 이 점을 짚었습니다. TP attention에서도 o_proj 출력을 reduce-scatter해 토큰 샤드로 MoE에 넣고, residual을 샤딩 상태로 유지하는 SP 최적화는 MLA CP 없이 가능하므로 TP8+SP vs CP8+SP 비교가 필요하다는 지적입니다. 작성자도 "대부분의 이득은 현재 sequence parallel에서 온다"고 인정했고, Ascend NPU 포팅 팀(Estrella-xx)도 CP-only가 long-context 고동시성에서 TP보다 오히려 느리고 SP를 얹어야 이득이 난다고 보고했습니다. 작성자는 full attention 구조상 K3에서는 TP + KV cache sharding만으로도 충분할 수 있다는 의견을 덧붙였습니다.

일반적 교훈

  1. 병렬화 전략은 FLOPs 보존 관계부터 따져라. heads × queries가 보존되면 CP는 연산량이 아니라 통신 패턴만 바꿉니다.
  2. Ablation을 분리하라. 복합 최적화의 이득이 어느 요소에서 오는지 맞춤 baseline으로 분리해야 올바른 설계 결정을 내릴 수 있습니다.
  3. 하이브리드 아키텍처에서는 레이어별로 병렬화를 선언적으로 다르게 가져가라. declare_attn(tp_group=..., in_token_order=...) 같은 선언 방식 덕분에 MLA/KDA/MoE가 각자 다른 샤딩을 유지하면서 경계 transport를 프레임워크에 맡길 수 있습니다.
  4. 제약 조건은 기동 시점에 fail-fast로 검사하라. Backend, 하드웨어, shape 제약을 hook에서 검증하는 패턴은 운영 안정성을 크게 높입니다.

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글