[sglang] [AMD ROCm] GLM-5.x Prefill 성능을 66% 끌어올린 Top-K 커널 최적화 분석AMD ROCm 환경에서 GLM-5.x 모델의 Prefill Top-K 연산을 최적화하여 전체 처리량을 4.9% 향상시킨 사례를 분석합니다.#AMD#ROCm#SGLang#Top-K#GPU Optimization#LLM2026년 9월 21일댓글 수 로딩 중
[sglang] AMD MI355X에서 GLM-5.2 성능 극대화하기: 왜 다시 HIP Top-K인가?SGLang이 AMD MI355X 환경에서 GLM-5.2 모델의 P90 지연시간을 10% 개선하기 위해 Top-K 구현체를 최적화한 사례를 분석합니다.#AMD#ROCm#MI355X#SGLang#Top-K#Optimization#LLM2026년 9월 18일댓글 수 로딩 중
[sglang] ROCm DSA Indexer Top-K 최적화: 정확성과 성능을 동시에 잡다sglang의 ROCm DSA indexer top-k 커널을 fp32 정밀도와 오버플로우 재스캔으로 개선하여 정확성과 성능을 대폭 향상시킨 PR 분석.#ROCm#HIP#GPU 최적화#Top-K#SGLang#성능#정확성#컴퓨팅 커널2026년 9월 6일댓글 수 로딩 중
[SGLang] Sampling Parameters: 전체 샘플링 파라미터 정리SGLang의 전체 샘플링 파라미터를 분석한다. temperature, top_k, top_p, min_p, repetition_penalty 등 모든 파라미터의 역할과 상호작용을 코드와 함께 정리한다.#sglang#Sampling Parameters#Temperature#Top-K#Top-P2026년 4월 14일댓글 수 로딩 중
[SGLang] Sampler: logits에서 토큰까지의 샘플링 파이프라인SGLang의 Sampler를 분석한다. logits에서 최종 토큰을 선택하는 파이프라인, temperature/top-k/top-p 적용, 배치 샘플링 최적화를 코드와 함께 살펴본다.#sglang#Sampler#Token Sampling#Top-K#Top-P2026년 4월 14일댓글 수 로딩 중