본문으로 건너뛰기

[sglang] SGLang Unified Memory 스케줄러의 Admission 호스트 작업 줄이기: 같은 질문은 한 번만 묻는다

PR 링크: sgl-project/sglang#50311 상태: Merged | 변경: +561 / -63

들어가며

SGLang에서 --enable-unified-memory를 켜면 KV cache, SWA window, mamba state 등 여러 sub-pool이 하나의 연속 메모리(arena)를 "chain" 형태로 나눠 씁니다. 이 구조에서 스케줄러가 prefill 요청을 받아들일지(admission) 결정하려면 매번 "이 요청이 chain layout 위에 배치 가능한가?"라는 feasibility 질문을 ChainAllocator에 던져야 합니다.

문제는 이 질문이 같은 메모리 상태에서 반복적으로 던져진다는 점이었습니다. PR 설명에 따르면:

  • 요청 하나가 admit될 때 한 pass 안에서 약 7번의 질문이 발생합니다.
  • budget_state는 admission 직후에 한 번, 그리고 다음 후보 앞에서 아무것도 바뀌지 않은 채 또 한 번 질문합니다.
  • 최종 shape check는 admission이 방금 가격을 매긴 질문을 다시 묻습니다.
  • 각 질문마다 request demand를 새로 만들고, tree의 evictable size를 읽고, yes/no만 필요한데도 전체 take plan(layout)을 펼쳤습니다.
  • 요청 도착 시에는 max_new_tokens_for_memory가 빈 pool 기준으로 decode 길이를 clip하는데, 같은 shape의 요청마다 동일한 계산을 반복했습니다.

이 PR은 처리량을 올리겠다는 PR이 아니라, prefill iteration당 호스트 시간을 줄이는 PR입니다. 결과적으로 allocator 질문 수가 c16에서 36 → 18, c256에서 52 → 26으로 정확히 절반이 되었습니다.

코드 분석

1. pricing.py: yes/no 질문에 layout을 펼치지 않기

가장 교과서적인 개선입니다. 기존 feasible은 plan()을 통째로 호출한 뒤 None인지만 확인했습니다.

Before

def feasible(snapshot: ChainSnapshot, demands: Dict[str, int]) -> bool:
    if snapshot.held:
        snapshot = msgspec.structs.replace(snapshot, held=())
    return plan(snapshot, demands, RELAYOUT) is not None

plan()은 두 단계로 이뤄져 있었습니다. (1) 고정 band의 take를 정하고 segment별로 float band가 들어가는지 판정하는 walk, (2) 판정이 끝난 segment들에 실제 target 바이트 위치를 배치하는 layout 단계입니다. PR은 (1)을 _place_fixed_bands로 추출했습니다.

After

def _place_fixed_bands(
    snapshot: ChainSnapshot,
    demands: Dict[str, int],
    step: str,
    keep_ends: FrozenSet[str],
) -> Optional[Tuple[Dict[str, PlanTake], List[tuple]]]:
    """The walk that decides whether `plan` finds a layout ..."""
    ...
    if not _segment_fits(frontier, movers_here, total, held):
        return None
    segments.append((frontier, movers_here, total, None))
    return takes, segments

def plan(...):
    placed = _place_fixed_bands(snapshot, demands, step, keep_ends)
    if placed is None:
        return None
    takes, segments = placed
    ...  # segment layout

def feasible(snapshot, demands) -> bool:
    if snapshot.held:
        snapshot = msgspec.structs.replace(snapshot, held=())
    # `plan`'s own walk decides: laying the segments out never refuses.
    return _place_fixed_bands(snapshot, demands, RELAYOUT, frozenset()) is not None

핵심은 주석 한 줄입니다: "laying the segments out never refuses". layout 단계는 거절할 수 없으므로, 판정 결과는 walk만으로 이미 결정됩니다. 그렇다면 feasibility 질문에서 layout을 만들 이유가 없습니다. 테스트(kv/test_chain_plan.py)도 feasible이 exhaustive search와 일치하며 layout을 절대 만들지 않음을 검증합니다.

2. chain.py: max_new_tokens_for_memory memoization과 질문 순서 변경

이 함수는 빈 pool을 대상으로 계산하므로 결과가 pool geometry에만 의존합니다. 따라서 질문의 모든 입력을 key로 묶어 캐싱합니다.

key = (
    input_tokens, max_new_tokens, token_capacity,
    tuple(windows.items()), state_slots,
    bool(self.request_allocators),
    chunk_size, chunk_align, prefill_retire_lag,
    eviction_interval, checkpoint_interval, decode_retire_lag,
)
memo = self._max_new_tokens_memo
if key in memo:
    return memo[key]
if len(memo) >= _MAX_NEW_TOKENS_MEMO_SIZE:
    memo.clear()

캐시 무효화 지점도 명확합니다. geometry가 바뀌는 resize와 install_stage_capacity에서 _reset_geometry_memo()를 호출합니다. 크기 상한(_MAX_NEW_TOKENS_MEMO_SIZE = 4096)을 넘으면 LRU 같은 정교한 정책 없이 통째로 비웁니다. 질문 분포가 소수의 (prompt, decode) shape에 몰리는 서빙 워크로드에서는 이 단순함이 합리적입니다.

탐색 순서도 바뀌었습니다.

Before

if not fits(0):
    return None
if fits(max_new_tokens):
    return max_new_tokens
# binary search ...

After

# A request that fits with all of its decode fits with less of it.
if fits(max_new_tokens):
    answer = max_new_tokens
elif max_new_tokens == 0 or not fits(0):
    answer = None
else:
    # binary search ...

단조성(monotonicity)을 이용한 것입니다. 전체 decode가 들어가면 0도 당연히 들어가므로, 흔한 경우(다 들어감)에는 질문이 2번에서 1번으로 줄어듭니다. max_new_tokens == 0일 때 같은 질문을 두 번 하는 것도 방지합니다.

3. chain.py: pricing_key() 공개

def pricing_key(self) -> int:
    """What every capacity answer depends on besides its question: the key
    `pricing_snapshot` (and each stage's snapshot) is kept under."""
    return self._snapshot_key_now()

이미 pricing_snapshot이 epoch 기반 key로 캐싱되고 있었는데, 그 key를 외부 캐시(ChainPrefillBudget._fits)가 재사용할 수 있게 노출했습니다. 새로운 무효화 개념을 만들지 않고 기존 버전 카운터를 재활용한 점이 좋습니다.

4. prefill_budget.py / schedule_policy.py: 한 결정, 한 번의 상태 읽기

budget_state는 두 개의 독립 질문을 하던 것을 하나로 묶었습니다.

Before

no_token = (
    self.chunked_req_waits
    or not self.memory_budget.has_capacity()
    or self.memory_budget.state_slots_exhausted()
)

After

no_token = self.chunked_req_waits or not self.memory_budget.admits_more()

기본 PrefillBudget.admits_more는 단순히 두 메서드를 합친 것이지만, ChainPrefillBudget은 이를 override해 evictable credit을 한 번만 읽고 그 사이 메모리가 바뀌지 않음(_one_state, _held_evictable)을 전제로 여러 질문에 답할 수 있습니다. check_prefill, fit_chunk도 같은 방식입니다. 또한 request_demand는 pass 단위로 인자 전체를 key로 캐싱하며, 공유되는 demand의 window map은 MappingProxyType으로 read-only로 만들어 캐시 오염을 막습니다. _fits는 (질문, evictable credit, pricing_key())를 key로 allocator의 답을 재사용합니다.

왜 이게 좋은가

수치

  • Allocator admission check / prefill iteration: c16 36 → 18, c256 52 → 26
  • c16 host time / prefill iteration: 4.7 → 4.0 ms (default pool 2.6 ms)
  • Request ingest: 1.09 → 0.72 ms, default pool과 동일 수준
  • 처리량은 noise 범위 내 변화(-0.4% ~ -0.9%). 작성자도 throughput 이득을 주장하지 않으며, 절약된 호스트 시간은 overlap scheduler에 대부분 가려진다고 솔직하게 밝힙니다.
  • GSM8K 정확도 0.87~0.875로 동일. Admission 결정 자체는 바뀌지 않았고, randomized pass 테스트로 reuse 유무에 따른 결정이 동일함을 확인합니다.

처리량이 그대로인데 왜 의미가 있을까요? overlap scheduler가 숨길 수 있는 호스트 시간에는 한계가 있습니다. GPU 연산이 더 빨라지거나 batch가 작아지면 호스트 오버헤드가 곧바로 critical path에 드러납니다. 호스트 headroom을 확보해 두는 것은 미래의 회귀를 예방하는 투자입니다.

일반적 교훈

  1. 결정과 구성을 분리하라. "가능한가?"와 "어떻게 할 것인가?"가 한 함수에 섞여 있으면 판정만 필요한 호출도 구성 비용을 냅니다. plan → _place_fixed_bands 분리가 그 예입니다.
  2. 캐시 key는 기존 버전 카운터에 기대라. pricing_key()처럼 이미 존재하는 epoch를 재사용하면 무효화 버그 위험이 크게 줄어듭니다.
  3. 단조성을 활용해 흔한 경우를 먼저 확인하라. fits(max)를 먼저 물으면 대부분의 요청이 질문 한 번으로 끝납니다.
  4. 캐시 수명을 명시적으로 묶어라. budget은 admission pass 하나 동안만 살고, clip memo는 geometry 변경 시 지워집니다. 상한을 넘으면 통째로 비우는 단순한 정책도 bounded memory를 보장합니다.
  5. 정확성 테스트에 '질문 횟수' 검증을 넣어라. 이 PR의 count check는 이전 코드에서 실패하도록 설계되어, 최적화가 이후 리팩터링에서 조용히 사라지는 것을 막습니다.

참고 자료

⚠️ 알림: 이 분석은 AI가 실제 코드 diff를 기반으로 작성했습니다.

댓글

관련 포스트

PR Analysis 의 다른글