[sglang] SGLang Unified Memory 스케줄러의 Admission 호스트 작업 줄이기: 같은 질문은 한 번만 묻는다
PR 링크: sgl-project/sglang#50311 상태: Merged | 변경: +561 / -63
들어가며
SGLang에서 --enable-unified-memory를 켜면 KV cache, SWA window, mamba state 등 여러 sub-pool이 하나의 연속 메모리(arena)를 "chain" 형태로 나눠 씁니다. 이 구조에서 스케줄러가 prefill 요청을 받아들일지(admission) 결정하려면 매번 "이 요청이 chain layout 위에 배치 가능한가?"라는 feasibility 질문을 ChainAllocator에 던져야 합니다.
문제는 이 질문이 같은 메모리 상태에서 반복적으로 던져진다는 점이었습니다. PR 설명에 따르면:
- 요청 하나가 admit될 때 한 pass 안에서 약 7번의 질문이 발생합니다.
budget_state는 admission 직후에 한 번, 그리고 다음 후보 앞에서 아무것도 바뀌지 않은 채 또 한 번 질문합니다.- 최종 shape check는 admission이 방금 가격을 매긴 질문을 다시 묻습니다.
- 각 질문마다 request demand를 새로 만들고, tree의 evictable size를 읽고, yes/no만 필요한데도 전체 take plan(layout)을 펼쳤습니다.
- 요청 도착 시에는
max_new_tokens_for_memory가 빈 pool 기준으로 decode 길이를 clip하는데, 같은 shape의 요청마다 동일한 계산을 반복했습니다.
이 PR은 처리량을 올리겠다는 PR이 아니라, prefill iteration당 호스트 시간을 줄이는 PR입니다. 결과적으로 allocator 질문 수가 c16에서 36 → 18, c256에서 52 → 26으로 정확히 절반이 되었습니다.
코드 분석
1. pricing.py: yes/no 질문에 layout을 펼치지 않기
가장 교과서적인 개선입니다. 기존 feasible은 plan()을 통째로 호출한 뒤 None인지만 확인했습니다.
Before
def feasible(snapshot: ChainSnapshot, demands: Dict[str, int]) -> bool:
if snapshot.held:
snapshot = msgspec.structs.replace(snapshot, held=())
return plan(snapshot, demands, RELAYOUT) is not None
plan()은 두 단계로 이뤄져 있었습니다. (1) 고정 band의 take를 정하고 segment별로 float band가 들어가는지 판정하는 walk, (2) 판정이 끝난 segment들에 실제 target 바이트 위치를 배치하는 layout 단계입니다. PR은 (1)을 _place_fixed_bands로 추출했습니다.
After
def _place_fixed_bands(
snapshot: ChainSnapshot,
demands: Dict[str, int],
step: str,
keep_ends: FrozenSet[str],
) -> Optional[Tuple[Dict[str, PlanTake], List[tuple]]]:
"""The walk that decides whether `plan` finds a layout ..."""
...
if not _segment_fits(frontier, movers_here, total, held):
return None
segments.append((frontier, movers_here, total, None))
return takes, segments
def plan(...):
placed = _place_fixed_bands(snapshot, demands, step, keep_ends)
if placed is None:
return None
takes, segments = placed
... # segment layout
def feasible(snapshot, demands) -> bool:
if snapshot.held:
snapshot = msgspec.structs.replace(snapshot, held=())
# `plan`'s own walk decides: laying the segments out never refuses.
return _place_fixed_bands(snapshot, demands, RELAYOUT, frozenset()) is not None
핵심은 주석 한 줄입니다: "laying the segments out never refuses". layout 단계는 거절할 수 없으므로, 판정 결과는 walk만으로 이미 결정됩니다. 그렇다면 feasibility 질문에서 layout을 만들 이유가 없습니다. 테스트(kv/test_chain_plan.py)도 feasible이 exhaustive search와 일치하며 layout을 절대 만들지 않음을 검증합니다.
2. chain.py: max_new_tokens_for_memory memoization과 질문 순서 변경
이 함수는 빈 pool을 대상으로 계산하므로 결과가 pool geometry에만 의존합니다. 따라서 질문의 모든 입력을 key로 묶어 캐싱합니다.
key = (
input_tokens, max_new_tokens, token_capacity,
tuple(windows.items()), state_slots,
bool(self.request_allocators),
chunk_size, chunk_align, prefill_retire_lag,
eviction_interval, checkpoint_interval, decode_retire_lag,
)
memo = self._max_new_tokens_memo
if key in memo:
return memo[key]
if len(memo) >= _MAX_NEW_TOKENS_MEMO_SIZE:
memo.clear()
캐시 무효화 지점도 명확합니다. geometry가 바뀌는 resize와 install_stage_capacity에서 _reset_geometry_memo()를 호출합니다. 크기 상한(_MAX_NEW_TOKENS_MEMO_SIZE = 4096)을 넘으면 LRU 같은 정교한 정책 없이 통째로 비웁니다. 질문 분포가 소수의 (prompt, decode) shape에 몰리는 서빙 워크로드에서는 이 단순함이 합리적입니다.
탐색 순서도 바뀌었습니다.
Before
if not fits(0):
return None
if fits(max_new_tokens):
return max_new_tokens
# binary search ...
After
# A request that fits with all of its decode fits with less of it.
if fits(max_new_tokens):
answer = max_new_tokens
elif max_new_tokens == 0 or not fits(0):
answer = None
else:
# binary search ...
단조성(monotonicity)을 이용한 것입니다. 전체 decode가 들어가면 0도 당연히 들어가므로, 흔한 경우(다 들어감)에는 질문이 2번에서 1번으로 줄어듭니다. max_new_tokens == 0일 때 같은 질문을 두 번 하는 것도 방지합니다.
3. chain.py: pricing_key() 공개
def pricing_key(self) -> int:
"""What every capacity answer depends on besides its question: the key
`pricing_snapshot` (and each stage's snapshot) is kept under."""
return self._snapshot_key_now()
이미 pricing_snapshot이 epoch 기반 key로 캐싱되고 있었는데, 그 key를 외부 캐시(ChainPrefillBudget._fits)가 재사용할 수 있게 노출했습니다. 새로운 무효화 개념을 만들지 않고 기존 버전 카운터를 재활용한 점이 좋습니다.
4. prefill_budget.py / schedule_policy.py: 한 결정, 한 번의 상태 읽기
budget_state는 두 개의 독립 질문을 하던 것을 하나로 묶었습니다.
Before
no_token = (
self.chunked_req_waits
or not self.memory_budget.has_capacity()
or self.memory_budget.state_slots_exhausted()
)
After
no_token = self.chunked_req_waits or not self.memory_budget.admits_more()
기본 PrefillBudget.admits_more는 단순히 두 메서드를 합친 것이지만, ChainPrefillBudget은 이를 override해 evictable credit을 한 번만 읽고 그 사이 메모리가 바뀌지 않음(_one_state, _held_evictable)을 전제로 여러 질문에 답할 수 있습니다. check_prefill, fit_chunk도 같은 방식입니다. 또한 request_demand는 pass 단위로 인자 전체를 key로 캐싱하며, 공유되는 demand의 window map은 MappingProxyType으로 read-only로 만들어 캐시 오염을 막습니다. _fits는 (질문, evictable credit, pricing_key())를 key로 allocator의 답을 재사용합니다.
왜 이게 좋은가
수치
- Allocator admission check / prefill iteration: c16 36 → 18, c256 52 → 26
- c16 host time / prefill iteration: 4.7 → 4.0 ms (default pool 2.6 ms)
- Request ingest: 1.09 → 0.72 ms, default pool과 동일 수준
- 처리량은 noise 범위 내 변화(-0.4% ~ -0.9%). 작성자도 throughput 이득을 주장하지 않으며, 절약된 호스트 시간은 overlap scheduler에 대부분 가려진다고 솔직하게 밝힙니다.
- GSM8K 정확도 0.87~0.875로 동일. Admission 결정 자체는 바뀌지 않았고, randomized pass 테스트로 reuse 유무에 따른 결정이 동일함을 확인합니다.
처리량이 그대로인데 왜 의미가 있을까요? overlap scheduler가 숨길 수 있는 호스트 시간에는 한계가 있습니다. GPU 연산이 더 빨라지거나 batch가 작아지면 호스트 오버헤드가 곧바로 critical path에 드러납니다. 호스트 headroom을 확보해 두는 것은 미래의 회귀를 예방하는 투자입니다.
일반적 교훈
- 결정과 구성을 분리하라. "가능한가?"와 "어떻게 할 것인가?"가 한 함수에 섞여 있으면 판정만 필요한 호출도 구성 비용을 냅니다.
plan→_place_fixed_bands분리가 그 예입니다. - 캐시 key는 기존 버전 카운터에 기대라.
pricing_key()처럼 이미 존재하는 epoch를 재사용하면 무효화 버그 위험이 크게 줄어듭니다. - 단조성을 활용해 흔한 경우를 먼저 확인하라.
fits(max)를 먼저 물으면 대부분의 요청이 질문 한 번으로 끝납니다. - 캐시 수명을 명시적으로 묶어라. budget은 admission pass 하나 동안만 살고, clip memo는 geometry 변경 시 지워집니다. 상한을 넘으면 통째로 비우는 단순한 정책도 bounded memory를 보장합니다.
- 정확성 테스트에 '질문 횟수' 검증을 넣어라. 이 PR의 count check는 이전 코드에서 실패하도록 설계되어, 최적화가 이후 리팩터링에서 조용히 사라지는 것을 막습니다.
참고 자료
- types.MappingProxyType — 공유 demand의 window map을 read-only로 만드는 데 사용
- msgspec.structs.replace — feasible에서 snapshot의 held를 비운 사본을 만드는 데 사용
- SGLang Documentation — SGLang 서버 및 스케줄러 공식 문서
⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.
관련 포스트
PR Analysis 의 다른글
- 이전글 [sglang] 커널 내부를 들여다보는 법: SGLang JIT 커널에 IKET/%clock 기반 In-kernel 이벤트 트레이싱 도입
- 현재글 : [sglang] SGLang Unified Memory 스케줄러의 Admission 호스트 작업 줄이기: 같은 질문은 한 번만 묻는다
- 다음글 [flashinfer] 작은 shape를 위한 TMA-ring Sage-FP8 Quantizer: CUDA Graph에서 최대 1.23배 빨라진 SM100 Block-Sparse Attention
댓글