[llm-compressor] iMatrix Observer: 입력 채널 중요도 가중 MSEIMatrixMSEObserver가 forward pre-hook으로 입력의 E[x^2]를 수집해 채널별 중요도를 계산하고, 그 가중치로 MSE grid search를 수행하는 구조 분석#llm-compressor#Observer#iMatrix#Quantization2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Moving Average Observer: 지수 이동 평균 기반 온라인 관측자MovingAverageObserverBase가 여러 배치의 min/max를 지수 이동 평균으로 누적해서 안정적인 스케일을 제공하는 구조 분석#llm-compressor#Observer#MovingAverage2026년 4월 13일댓글 수 로딩 중
[llm-compressor] MSE Observer: Grid Search로 양자화 오차 최소화MemorylessMSEObserver와 MovingAverageMSEObserver가 min/max 범위를 점진적으로 줄여가며 양자화 MSE를 최소화하는 grid search 로직 분석#llm-compressor#Observer#MSE#Quantization2026년 4월 13일댓글 수 로딩 중
[llm-compressor] MinMax Observer: 세 가지 min/max 계산 정책MemorylessMinMaxObserver, StaticMinMaxObserver, MinMaxObserver 세 변형이 각각 어떻게 min/max를 집계하는지 코드 분석#llm-compressor#Observer#Quantization#MinMax2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Observers Base: 스케일/제로포인트 계산의 추상 기반Observer 베이스 클래스가 get_min_max 훅을 통해 스케일과 제로포인트를 계산하고, compressed-tensors의 calculate_qparams를 호출하는 구조 분석#llm-compressor#Observer#Quantization2026년 4월 13일댓글 수 로딩 중