[sglang] SGLang ReplaySSM: GDN 추론 최적화 및 메모리 효율 개선ReplaySSM 도입을 통해 GDN 추론 시 불필요한 SSM 상태 저장을 제거하고, Closed-loop Exact Fold로 정확도를 유지하며 메모리를 6.4배 절감했습니다.#SGLang#LLM#SpeculativeDecoding#SSM#Optimization2026년 7월 20일댓글 수 로딩 중
[sglang] SGLang 성능 최적화: Speculative Decoding의 H2D 병목 해결 및 코드 중복 제거Speculative Decoding 경로에서 발생하는 동기식 H2D 복사를 비동기 방식으로 최적화하고, 중복된 로직을 통합하여 성능을 개선했습니다.#SGLang#LLM#Performance#PyTorch#SpeculativeDecoding2026년 6월 17일댓글 수 로딩 중
[vllm] vLLM DeepSeek V4 ROCm MTP 지원: 하드웨어 최적화와 추론 성능 향상DeepSeek V4 모델의 ROCm MTP 지원을 통해 추론 성능을 크게 향상시킨 vLLM PR 분석.#vLLM#ROCm#DeepSeekV4#MTP#SpeculativeDecoding#Triton#FP8#Optimization2026년 5월 24일댓글 수 로딩 중
[sglang] SGLang에서 FA4(FlashAttention 4)와 Speculative Decoding의 완벽한 결합FA4를 Speculative Decoding 파이프라인에 통합하여 저지연 추론 성능을 극대화하는 최적화 기법을 분석합니다.#SGLang#FlashAttention4#SpeculativeDecoding#LLM#Optimization2026년 4월 4일댓글 수 로딩 중