[llm-compressor] vLLM LLM-Compressor: CUDA OOM 문제 해결을 위한 메모리 핀닝 최적화CUDA OOM을 유발하던 무분별한 메모리 핀닝을 지연 핀닝 방식으로 변경하여 대규모 모델의 AWQ 최적화 안정성을 확보했습니다.#vLLM#LLM-Compressor#CUDA#Memory Management#AWQ#Optimization2026년 7월 23일댓글 수 로딩 중
[llm-compressor] AWQ: 활성화 인식 가중치 양자화 구현AWQ 논문의 salient weight 스케일링 아이디어가 llm-compressor에서 mappings와 dynamic_mappings를 통해 어떻게 구현되는지 분석#llm-compressor#AWQ#Quantization#PTQ2026년 4월 13일댓글 수 로딩 중
[SGLang] AWQ: 활성화 인식 가중치 양자화SGLang의 AWQ 구현을 분석한다. 활성화 분포를 고려한 가중치 양자화의 원리, 채널별 스케일링, GPTQ 대비 장점을 코드와 함께 살펴본다.#sglang#AWQ#Activation-aware#Weight Quantization2026년 4월 12일댓글 수 로딩 중