[llm-compressor] iMatrix Weighted MSE Observer - 중요도 행렬 기반 양자화

PR 링크: vllm-project/llm-compressor#2473 상태: Merged | 변경: +1,561/-3

들어가며

양자화에서 모든 가중치를 동일하게 취급하면 모델 품질이 불필요하게 저하된다. llama.cpp에서 대중화된 Importance Matrix(iMatrix) 기법은 각 가중치의 모델 출력에 대한 중요도를 측정하여, 중요한 가중치의 양자화 오차를 최소화하는 방향으로 스케일을 조정한다.

핵심 코드 분석

이 PR은 두 가지 주요 컴포넌트를 추가한다:

IMatrixGatherer

캘리브레이션 데이터를 통과시키면서 각 가중치의 중요도를 수집한다. 활성화의 L2 norm이나 gradient 정보를 기반으로 중요도 행렬을 구축한다.

iMatrix Weighted MSE Observer

수집된 중요도 행렬을 활용하여, 중요한 가중치에 대해 MSE를 더 강하게 가중하여 양자화 스케일을 결정한다:

일반 MSE: min_scale Σ(w - Q(w))²
가중 MSE: min_scale Σ importance[i] * (w[i] - Q(w[i]))²

중요도가 높은 가중치의 양자화 오차가 더 큰 페널티를 받아, 이 부분의 정밀도가 우선 보존된다.

왜 이게 좋은가

1. 양자화 품질 향상: 동일 비트수에서 모델 성능 손실 감소
2. llama.cpp 호환: iMatrix 생태계와의 호환성으로 기존 도구 활용 가능
3. 데이터 기반: 실제 캘리브레이션 데이터에 기반한 중요도 측정
4. 범용 적용: GPTQ, AWQ 등 다양한 양자화 기법에 적용 가능

정리

1,561줄의 추가는 iMatrix 수집과 가중 MSE observer의 완전한 구현을 포함한다. 양자화 품질 향상의 핵심이 되는 기능으로, 특히 공격적인 양자화(4비트 이하)에서 품질 차이가 두드러진다.

참고 자료

• PR #2473
• llama.cpp iMatrix

---

이 글은 AI(Claude)의 도움을 받아 작성되었습니다. 코드 분석 내용은 실제 PR diff를 기반으로 합니다.