[SGLang] BitsAndBytes: QLoRA와 NF4 동적 양자화SGLang의 BitsAndBytes 통합을 분석한다. NormalFloat4(NF4) 양자화의 원리, QLoRA 추론 지원, 동적 양자화/역양자화 과정을 코드와 함께 살펴본다.#sglang#BitsAndBytes#QLoRA#NF4#Dynamic Quantization2026년 4월 12일댓글 수 로딩 중
[SGLang] FP4: 4비트 부동소수점 양자화 (NVIDIA NF4)SGLang의 FP4 양자화를 분석한다. NVIDIA NF4 포맷, 4비트 극저정밀도에서의 정확도 유지 전략, FP8 대비 추가 메모리 절감을 코드와 함께 살펴본다.#sglang#FP4#NF4#4-bit Quantization2026년 4월 12일댓글 수 로딩 중