[SGLang] Block-wise INT8: 블록 단위 정수 양자화SGLang의 Block-wise INT8 양자화를 분석한다. 블록 단위 스케일링의 원리, 텐서별 vs 블록별 양자화 비교, INT8 GEMM 커널 활용을 코드와 함께 살펴본다.#sglang#INT8#Block-wise#Integer Quantization2026년 4월 12일댓글 수 로딩 중
[논문리뷰] INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization FormatsarXiv에 게시된 'INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats' 논문에 대한 자세한 리뷰입니다.#Review#Quantization#Low-bit Formats#Integer Quantization#Floating-Point Quantization#Large Language Models (LLMs)#Hardware Efficiency#Fine-Grained Quantization#MXINT82025년 11월 9일댓글 수 로딩 중