[vllm] Thinking Token Hard Limit - 추론 토큰 수 제한으로 리소스 제어

PR 링크: vllm-project/vllm#20859 상태: Merged | 변경: +702/-12

들어가며

DeepSeek-R1, Qwen3 등 reasoning 모델은 최종 답변 전에 "thinking" 단계에서 수백~수천 개의 토큰을 생성할 수 있다. 이는 latency와 연산 비용을 예측하기 어렵게 만든다. 이 PR은 thinking token에 hard limit을 설정하여, 제한에 도달하면 강제로 thinking을 종료하고 답변 생성으로 전환한다.

핵심 코드 분석

Thinking token limit의 동작 방식:

1. 토큰 카운팅: 생성된 토큰 중 thinking 구간의 토큰 수를 추적
2. Hard Limit 체크: 설정된 한계에 도달하면 thinking 종료 토큰을 강제 삽입
3. 답변 전환: 모델이 자연스럽게 답변 생성으로 전환되도록 유도

이 기능은 SamplingParams에 통합되어 요청별로 다른 thinking limit을 설정할 수 있다.

왜 이게 좋은가

1. 비용 제어: 무한히 "생각"하는 요청의 리소스 소비를 제한
2. SLA 준수: 응답 시간 SLA가 있는 서비스에서 최대 latency 보장
3. 공정한 스케줄링: 한 요청이 과도한 토큰을 생성하여 다른 요청을 지연시키는 것 방지
4. 요청별 설정: API 레벨에서 요청별로 다른 thinking budget 할당 가능

정리

Reasoning 모델의 프로덕션 서빙에서 필수적인 기능이다. Thinking token의 hard limit으로 리소스 사용을 예측 가능하게 만들어, 대규모 서비스에서의 안정적 운영을 지원한다.

참고 자료

• PR #20859

---

이 글은 AI(Claude)의 도움을 받아 작성되었습니다. 코드 분석 내용은 실제 PR diff를 기반으로 합니다.