[SGLang] BitsAndBytes: QLoRA와 NF4 동적 양자화SGLang의 BitsAndBytes 통합을 분석한다. NormalFloat4(NF4) 양자화의 원리, QLoRA 추론 지원, 동적 양자화/역양자화 과정을 코드와 함께 살펴본다.#sglang#BitsAndBytes#QLoRA#NF4#Dynamic Quantization2026년 4월 12일댓글 수 로딩 중
[axolotl] Gemma 3 QLoRA 설정 개선: Vision Tower 동결과 model_type 제거Gemma 3 모델의 QLoRA 학습 설정에서 불필요한 model_type 명시를 제거하고, unfrozen_parameters로 Vision Tower를 동결하는 패턴을 분석합니다.#Axolotl#Gemma3#QLoRA#Fine-tuning#Configuration2026년 3월 20일댓글 수 로딩 중
[논문리뷰] Performance Trade-offs of Optimizing Small Language Models for E-Commerce본 논문은 대규모 상용 LLM의 높은 비용과 리소스 제약 문제를 해결하기 위해, 소규모 오픈-웨이트 모델이 특정 도메인 작업에서 효율적인 대안이 될 수 있는지 검증하는 것을 목표로 합니다.#Review#Small Language Models#E-commerce#Intent Recognition#Fine-tuning#QLoRA#Quantization#GPTQ#GGUF#Hardware-aware Optimization2025년 10월 31일댓글 수 로딩 중