본문으로 건너뛰기

[ollama] Ollama MLX Runner: 동시 요청에서도 Speculative Decoding을 유지하는 배치 검증

PR 링크: ollama/ollama#19663 상태: Merged | 변경: +1188 / -153

들어가며

Speculative decoding(MTP, DFlash, DFlash2 등)은 작은 draft head가 여러 토큰을 먼저 제안하고, target 모델이 이를 한 번의 forward로 검증하는 기법입니다. 단일 클라이언트에서는 큰 속도 향상을 주지만, Ollama의 mlxrunner에서는 한 가지 제약이 있었습니다. 여러 요청이 동시에 decode 단계에 있으면 drafting을 꺼버린다는 점입니다.

기존 scheduler 로그가 이를 그대로 보여줍니다.

slog.Info("MLX request scheduler", "parallel", r.parallel, "drafting", "when-alone", "attention", "per-request")

when-alone, 즉 혼자일 때만 draft합니다. OLLAMA_NUM_PARALLEL=2 같은 환경에서 두 클라이언트가 겹치는 순간 MTP 모델은 평범한 1-token decode로 돌아가 speculative decoding의 이점을 잃었습니다. 이 PR은 drafting을 유지한 채 여러 요청의 후보 토큰을 하나의 shared verification forward로 묶어 검증합니다.

slog.Info("MLX request scheduler", "parallel", r.parallel, "drafting", "shared-verification", "attention", "per-request")

코드 분석

1. scheduler.go — step()에서 단일 경로 분기 제거

Before

if active == 1 {
    slot := ready[0]
    req := slot.request
    results, err := req.decoder.next(req.output.limit - req.output.generated)
    s.emit(slot, results, err)
    return true
}
if err := s.decode(ready); err != nil {

After

if err := s.decode(ready, active); err != nil {

단일/다중 분기가 decode 내부로 들어갔습니다. 여기서 active는 ready의 길이와 다를 수 있다는 점이 중요합니다. prefill 중이거나 backpressure로 멈춘 peer도 GPU 비용에 영향을 주기 때문에, "정말 혼자 도는 요청"만 자신의 isolated depth controller를 학습하도록 합니다.

// A prefilling or backpressured peer still affects decode costs. Only a
// request running alone may use and train its isolated depth controller.
if active == 1 {
    s.drafting.reset()
    ...
    return nil
}

리뷰어 pdevine은 "장기적으로는 single/multi 경로를 하나의 s.decode(ready)로 합치는 것이 읽기 쉬울 것"이라고 언급했습니다. 이번 변경으로 호출부는 하나가 되었지만, 내부에는 여전히 두 경로가 공존하므로 향후 리팩터링 여지가 남아 있습니다.

2. decode() — 같은 길이의 draft끼리 그룹화

핵심 로직은 각 요청이 독립적으로 후보를 제안(propose)한 뒤, draft 길이가 같은 요청끼리 그룹으로 묶어 acceptDrafts로 한 번에 검증하는 것입니다.

candidates := d.s.drafter.propose(d.current.Token, min(limit, remaining-1))
if candidates == nil {
    s.drafting.reset()
    plain = append(plain, slot)
    continue
}
mlx.AsyncEval(candidates.Arrays()...)
n := candidates.tokens.Dim(1)
...
i := slices.IndexFunc(groups, func(g group) bool { return g.rounds[0].candidates.tokens.Dim(1) == n })
if i < 0 {
    i = len(groups)
    groups = append(groups, group{})
}
groups[i].slots = append(groups[i].slots, slot)
groups[i].rounds = append(groups[i].rounds, draftRound{d.s, &d.position, d.current, candidates, d.grammar})

몇 가지 좋은 설계 포인트가 있습니다.

  • mlx.AsyncEval: draft 생성을 lazy graph로 비동기 평가해, 다음 요청의 propose와 GPU 작업이 겹치도록 합니다.
  • 길이별 그룹핑: 같은 shape의 텐서만 하나의 batch forward로 합칠 수 있으므로 padding 없이 그룹화합니다. 주석대로 "no request waits for a peer to choose the same depth" — 다른 길이의 요청을 기다리지 않습니다.
  • 요청별 격리: draftRound에 각 요청의 position, current, grammar가 그대로 들어가 sampling, output constraint, rollback은 요청마다 독립입니다.

검증 후에는 각 결과를 요청별로 반영합니다.

for _, g := range groups {
    outcomes := s.r.acceptDrafts(g.rounds)
    for i, out := range outcomes {
        d := g.slots[i].request.decoder.(*speculativeDecoder)
        if out.err == nil {
            d.s.recordRound(g.rounds[i].candidates.tokens.Dim(1), out.accepted)
            if controller != nil {
                controller.acc.observe(out.observed, out.accepted)
            }
            d.advance(out.results[len(out.results)-1])
        }
        s.emit(g.slots[i], out.results, out.err)
    }
}
err := s.decodePlain(plain)

drafting이 불가능한 요청(draft head가 parked이거나 sampling 옵션으로 비활성화)은 plain으로 빠져 기존 pipelined decoder 경로인 decodePlain을 탑니다.

또한 isolated controller의 타이밍이 peer 작업으로 오염되지 않도록 명시적으로 초기화합니다.

// Keep the isolated depth controller's timings free of peer work.
d.s.lastRoundStart = time.Time{}
d.s.prevDrafts, d.s.roundDrafts = -1, -1

3. batchDrafting — batch 형태별 adaptive depth

동시 실행 시 최적 draft 길이는 단일 실행과 다릅니다. 검증 forward가 커질수록 비용 곡선이 바뀌기 때문입니다. 그래서 (rows, drafting) 조합마다 별도의 depthController를 둡니다.

type draftBatchSize struct {
    rows, drafting int
}

c := b.depths[size]
if c == nil {
    c = newDepthController()
    c.plainTokens = float64(size.rows-size.drafting) / float64(size.drafting)
    c.drafterLimit = slots[0].speculation.drafter.draftLimit()
    b.depths[size] = c
}

plainTokens는 drafting하지 않는 peer가 라운드당 생성하는 토큰을 drafting 요청 하나당으로 환산한 값입니다. 처리량 계산에 plain 요청의 기여까지 반영해 depth를 고르는 셈이죠. 리뷰어도 바로 이 부분을 짚어, "non-drafting 요청의 작업량을 depth 선택에 반영하는지 테스트하라"며 c.cost.sampled(0), c.plainTokens != 1 같은 검증 코드를 제안했습니다.

비용 샘플의 신뢰성도 신경 썼습니다. 같은 요청 집합이 연속으로 같은 depth를 사용했을 때만 시간을 기록합니다.

if !b.started.IsZero() && slices.Equal(requests, b.requests) {
    if b.drafts == b.previousDrafts {
        c.cost.observe(b.drafts, now.Sub(b.started))
    }
    b.previousDrafts = b.drafts
} else {
    b.previousDrafts = -1
}

그리고 prefill, speech decode, ready 없음, shape 변화 등 측정을 왜곡하는 이벤트마다 s.drafting.reset()을 호출해 샘플을 끊습니다. DFlash2처럼 fixedDepth인 경우에는 controller를 아예 쓰지 않습니다.

4. 테스트 변경

기존 테스트는 "겹칠 때 drafting이 멈춘다"를 검증했는데, 이제 반대로 바뀌었습니다.

// Before
if second.spec.stats.drafted != before {
    t.Fatal("second request kept drafting while third was active")
}
// After
if second.spec.stats.drafted <= before {
    t.Fatal("second request stopped drafting while third was active")
}

또한 단순히 batch size 2가 존재하는지가 아니라, 2-row이면서 multi-token인 forward가 있었는지 확인해 shared verification을 직접 검증합니다.

for i, rows := range m.batches {
    sharedVerification = sharedVerification || rows == 2 && m.forwards[i].n > 1
}

recurrent 모델 mock도 SnapshotSplits로 다중 토큰 검증 중 rollback 경계별 state를 저장하도록 확장되었습니다.

왜 이게 좋은가

두 클라이언트 동시 실행 기준(p2048/g256) 결과:

Model Total TPS 둘 다 완료
Qwen 3.8 27B MTP (M4 Pro) 10.29 → 12.94 (+26%) 49.75 → 39.56 s
Gemma 4 26B-A4B MoE MTP (M5 Ultra) 164.1 → 249.4 (+52%) 3.12 → 2.05 s
Qwen 3.8 27B DFlash2 (M5 Pro) 20.35 → 38.82 (+91%) 25.16 → 13.19 s

첫 토큰 시점은 거의 변하지 않았고, 단일 클라이언트에서도 재현 가능한 성능 저하는 없었습니다. 대신 검증 forward가 커져 working memory가 늘어납니다. 32 GiB M2 Pro에서 4 클라이언트 시 피크가 약 300 MiB, depth 탐색 초기엔 약 1 GiB 증가했습니다.

일반적인 교훈:

  1. 두 최적화가 충돌할 때 하나를 끄지 말고 합성하라. batching과 speculative decoding은 둘 다 "GPU를 한 번 돌릴 때 더 많은 일을 시키는" 기법이라 결합 가능합니다.
  2. shape이 같은 것끼리 묶어라. padding이나 동기화 대기 없이 길이별로 그룹화하는 것이 단순하고 효율적입니다.
  3. adaptive 파라미터는 실행 컨텍스트별로 학습하라. batch 구성마다 비용 곡선이 다르므로 (rows, drafting) 키로 controller를 분리하고, 오염된 샘플은 과감히 버립니다.
  4. 공유 계산과 요청별 상태를 분리하라. forward만 공유하고 sampling·grammar·cache·rollback은 요청 소유로 남겨 격리성을 지켰습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글