[ollama] Ollama MLX Runner: 동시 요청에서도 Speculative Decoding을 유지하는 배치 검증
PR 링크: ollama/ollama#19663 상태: Merged | 변경: +1188 / -153
들어가며
Speculative decoding(MTP, DFlash, DFlash2 등)은 작은 draft head가 여러 토큰을 먼저 제안하고, target 모델이 이를 한 번의 forward로 검증하는 기법입니다. 단일 클라이언트에서는 큰 속도 향상을 주지만, Ollama의 mlxrunner에서는 한 가지 제약이 있었습니다. 여러 요청이 동시에 decode 단계에 있으면 drafting을 꺼버린다는 점입니다.
기존 scheduler 로그가 이를 그대로 보여줍니다.
slog.Info("MLX request scheduler", "parallel", r.parallel, "drafting", "when-alone", "attention", "per-request")
when-alone, 즉 혼자일 때만 draft합니다. OLLAMA_NUM_PARALLEL=2 같은 환경에서 두 클라이언트가 겹치는 순간 MTP 모델은 평범한 1-token decode로 돌아가 speculative decoding의 이점을 잃었습니다. 이 PR은 drafting을 유지한 채 여러 요청의 후보 토큰을 하나의 shared verification forward로 묶어 검증합니다.
slog.Info("MLX request scheduler", "parallel", r.parallel, "drafting", "shared-verification", "attention", "per-request")
코드 분석
1. scheduler.go — step()에서 단일 경로 분기 제거
Before
if active == 1 {
slot := ready[0]
req := slot.request
results, err := req.decoder.next(req.output.limit - req.output.generated)
s.emit(slot, results, err)
return true
}
if err := s.decode(ready); err != nil {
After
if err := s.decode(ready, active); err != nil {
단일/다중 분기가 decode 내부로 들어갔습니다. 여기서 active는 ready의 길이와 다를 수 있다는 점이 중요합니다. prefill 중이거나 backpressure로 멈춘 peer도 GPU 비용에 영향을 주기 때문에, "정말 혼자 도는 요청"만 자신의 isolated depth controller를 학습하도록 합니다.
// A prefilling or backpressured peer still affects decode costs. Only a
// request running alone may use and train its isolated depth controller.
if active == 1 {
s.drafting.reset()
...
return nil
}
리뷰어 pdevine은 "장기적으로는 single/multi 경로를 하나의 s.decode(ready)로 합치는 것이 읽기 쉬울 것"이라고 언급했습니다. 이번 변경으로 호출부는 하나가 되었지만, 내부에는 여전히 두 경로가 공존하므로 향후 리팩터링 여지가 남아 있습니다.
2. decode() — 같은 길이의 draft끼리 그룹화
핵심 로직은 각 요청이 독립적으로 후보를 제안(propose)한 뒤, draft 길이가 같은 요청끼리 그룹으로 묶어 acceptDrafts로 한 번에 검증하는 것입니다.
candidates := d.s.drafter.propose(d.current.Token, min(limit, remaining-1))
if candidates == nil {
s.drafting.reset()
plain = append(plain, slot)
continue
}
mlx.AsyncEval(candidates.Arrays()...)
n := candidates.tokens.Dim(1)
...
i := slices.IndexFunc(groups, func(g group) bool { return g.rounds[0].candidates.tokens.Dim(1) == n })
if i < 0 {
i = len(groups)
groups = append(groups, group{})
}
groups[i].slots = append(groups[i].slots, slot)
groups[i].rounds = append(groups[i].rounds, draftRound{d.s, &d.position, d.current, candidates, d.grammar})
몇 가지 좋은 설계 포인트가 있습니다.
mlx.AsyncEval: draft 생성을 lazy graph로 비동기 평가해, 다음 요청의 propose와 GPU 작업이 겹치도록 합니다.- 길이별 그룹핑: 같은 shape의 텐서만 하나의 batch forward로 합칠 수 있으므로 padding 없이 그룹화합니다. 주석대로 "no request waits for a peer to choose the same depth" — 다른 길이의 요청을 기다리지 않습니다.
- 요청별 격리:
draftRound에 각 요청의position,current,grammar가 그대로 들어가 sampling, output constraint, rollback은 요청마다 독립입니다.
검증 후에는 각 결과를 요청별로 반영합니다.
for _, g := range groups {
outcomes := s.r.acceptDrafts(g.rounds)
for i, out := range outcomes {
d := g.slots[i].request.decoder.(*speculativeDecoder)
if out.err == nil {
d.s.recordRound(g.rounds[i].candidates.tokens.Dim(1), out.accepted)
if controller != nil {
controller.acc.observe(out.observed, out.accepted)
}
d.advance(out.results[len(out.results)-1])
}
s.emit(g.slots[i], out.results, out.err)
}
}
err := s.decodePlain(plain)
drafting이 불가능한 요청(draft head가 parked이거나 sampling 옵션으로 비활성화)은 plain으로 빠져 기존 pipelined decoder 경로인 decodePlain을 탑니다.
또한 isolated controller의 타이밍이 peer 작업으로 오염되지 않도록 명시적으로 초기화합니다.
// Keep the isolated depth controller's timings free of peer work.
d.s.lastRoundStart = time.Time{}
d.s.prevDrafts, d.s.roundDrafts = -1, -1
3. batchDrafting — batch 형태별 adaptive depth
동시 실행 시 최적 draft 길이는 단일 실행과 다릅니다. 검증 forward가 커질수록 비용 곡선이 바뀌기 때문입니다. 그래서 (rows, drafting) 조합마다 별도의 depthController를 둡니다.
type draftBatchSize struct {
rows, drafting int
}
c := b.depths[size]
if c == nil {
c = newDepthController()
c.plainTokens = float64(size.rows-size.drafting) / float64(size.drafting)
c.drafterLimit = slots[0].speculation.drafter.draftLimit()
b.depths[size] = c
}
plainTokens는 drafting하지 않는 peer가 라운드당 생성하는 토큰을 drafting 요청 하나당으로 환산한 값입니다. 처리량 계산에 plain 요청의 기여까지 반영해 depth를 고르는 셈이죠. 리뷰어도 바로 이 부분을 짚어, "non-drafting 요청의 작업량을 depth 선택에 반영하는지 테스트하라"며 c.cost.sampled(0), c.plainTokens != 1 같은 검증 코드를 제안했습니다.
비용 샘플의 신뢰성도 신경 썼습니다. 같은 요청 집합이 연속으로 같은 depth를 사용했을 때만 시간을 기록합니다.
if !b.started.IsZero() && slices.Equal(requests, b.requests) {
if b.drafts == b.previousDrafts {
c.cost.observe(b.drafts, now.Sub(b.started))
}
b.previousDrafts = b.drafts
} else {
b.previousDrafts = -1
}
그리고 prefill, speech decode, ready 없음, shape 변화 등 측정을 왜곡하는 이벤트마다 s.drafting.reset()을 호출해 샘플을 끊습니다. DFlash2처럼 fixedDepth인 경우에는 controller를 아예 쓰지 않습니다.
4. 테스트 변경
기존 테스트는 "겹칠 때 drafting이 멈춘다"를 검증했는데, 이제 반대로 바뀌었습니다.
// Before
if second.spec.stats.drafted != before {
t.Fatal("second request kept drafting while third was active")
}
// After
if second.spec.stats.drafted <= before {
t.Fatal("second request stopped drafting while third was active")
}
또한 단순히 batch size 2가 존재하는지가 아니라, 2-row이면서 multi-token인 forward가 있었는지 확인해 shared verification을 직접 검증합니다.
for i, rows := range m.batches {
sharedVerification = sharedVerification || rows == 2 && m.forwards[i].n > 1
}
recurrent 모델 mock도 SnapshotSplits로 다중 토큰 검증 중 rollback 경계별 state를 저장하도록 확장되었습니다.
왜 이게 좋은가
두 클라이언트 동시 실행 기준(p2048/g256) 결과:
| Model | Total TPS | 둘 다 완료 |
|---|---|---|
| Qwen 3.8 27B MTP (M4 Pro) | 10.29 → 12.94 (+26%) | 49.75 → 39.56 s |
| Gemma 4 26B-A4B MoE MTP (M5 Ultra) | 164.1 → 249.4 (+52%) | 3.12 → 2.05 s |
| Qwen 3.8 27B DFlash2 (M5 Pro) | 20.35 → 38.82 (+91%) | 25.16 → 13.19 s |
첫 토큰 시점은 거의 변하지 않았고, 단일 클라이언트에서도 재현 가능한 성능 저하는 없었습니다. 대신 검증 forward가 커져 working memory가 늘어납니다. 32 GiB M2 Pro에서 4 클라이언트 시 피크가 약 300 MiB, depth 탐색 초기엔 약 1 GiB 증가했습니다.
일반적인 교훈:
- 두 최적화가 충돌할 때 하나를 끄지 말고 합성하라. batching과 speculative decoding은 둘 다 "GPU를 한 번 돌릴 때 더 많은 일을 시키는" 기법이라 결합 가능합니다.
- shape이 같은 것끼리 묶어라. padding이나 동기화 대기 없이 길이별로 그룹화하는 것이 단순하고 효율적입니다.
- adaptive 파라미터는 실행 컨텍스트별로 학습하라. batch 구성마다 비용 곡선이 다르므로
(rows, drafting)키로 controller를 분리하고, 오염된 샘플은 과감히 버립니다. - 공유 계산과 요청별 상태를 분리하라. forward만 공유하고 sampling·grammar·cache·rollback은 요청 소유로 남겨 격리성을 지켰습니다.
참고 자료
- MLX async_eval — draft 후보를 비동기 평가하는 데 사용된 MLX API
- MLX Lazy Evaluation — MLX의 lazy graph 평가 모델
- Go slices package — slices.IndexFunc, slices.Equal 사용
- Go log/slog — scheduler 로깅에 사용
- Fast Inference from Transformers via Speculative Decoding — speculative decoding 원 논문
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
PR Analysis 의 다른글
- 이전글 [loki] Loki logline 인덱스에 OR-aware 힌트 needle 도입: 불리언 구조를 보존하는 쿼리 플래닝
- 현재글 : [ollama] Ollama MLX Runner: 동시 요청에서도 Speculative Decoding을 유지하는 배치 검증
- 다음글 [flashinfer] MoE prims-TS epilogue 최적화: NaN-aware min/max로 clamp 명령어를 절반으로, 그리고 host 입력 생성 기반 프로파일링
댓글