[논문리뷰] SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions본 연구는 대규모 신경망의 추론 비용을 줄이기 위한 기존 pruning과 quantization 기법들이 서로 독립적으로 수행될 때 발생하는 성능 저하 문제를 해결하고자 합니다.#Review#DNN Compression#Bayesian Variational Learning#Weight Pruning#Low-bit Quantization#Spike-and-Slab Prior#Gaussian Mixture Models#Outlier-aware Windowing2026년 9월 8일댓글 수 로딩 중
[논문리뷰] BitNet Distillation본 논문은 기존의 풀-정밀도 LLM (예: Qwen )을 특정 다운스트림 태스크를 위해 1.58비트 정밀도 (삼진 가중치: {-1, 0, 1}) 로 미세 조정하여, 최소한의 계산 비용으로 풀-정밀도 모델에 필적하는 성능을 달성하는 것을 목표로 합니다.#Review#Low-bit Quantization#LLM Compression#Knowledge Distillation#Ternary Weights#Inference Optimization#Memory Efficiency#SubLN#Continual Pre-training2025년 10월 17일댓글 수 로딩 중
[논문리뷰] QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models본 논문은 대규모 언어 모델(LLM)의 효율적인 배포를 위해 양자화-인식(Quantization-Aware) PEFT (Parameter-Efficient Fine-Tuning) 방법을 개발하여, 양자화된 모델의 낮은 비트 환경에서 정확도를 높이고 동시에 훈련 효율성을 개선 하는 것을 목표로 합니다.#Review#LLM Fine-tuning#Quantization-Aware PEFT#Walsh-Hadamard Transform#Sparse Adaptation#Low-bit Quantization#Parameter-Efficient Learning2025년 9월 23일댓글 수 로딩 중