[llm-compressor] Quantization Calibration: update_weight_zp_scale와 observer 등록calibration.py의 update_weight_zp_scale, update_weight_global_scale 같은 헬퍼 함수들이 모듈 단위로 observer를 호출해 스케일을 결정하는 흐름 분석#llm-compressor#Quantization#Calibration2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Quantization Base: QuantizationModifier와 QuantizationMixinQuantizationModifier가 PTQ/QAT 라이프사이클을 어떻게 관리하고, QuantizationMixin이 observer 등록/calibration/종료를 어떻게 처리하는지 분석#llm-compressor#Quantization#Modifier2026년 4월 13일댓글 수 로딩 중
[llm-compressor] iMatrix Observer: 입력 채널 중요도 가중 MSEIMatrixMSEObserver가 forward pre-hook으로 입력의 E[x^2]를 수집해 채널별 중요도를 계산하고, 그 가중치로 MSE grid search를 수행하는 구조 분석#llm-compressor#Observer#iMatrix#Quantization2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Moving Average Observer: 지수 이동 평균 기반 온라인 관측자MovingAverageObserverBase가 여러 배치의 min/max를 지수 이동 평균으로 누적해서 안정적인 스케일을 제공하는 구조 분석#llm-compressor#Observer#MovingAverage2026년 4월 13일댓글 수 로딩 중
[llm-compressor] MSE Observer: Grid Search로 양자화 오차 최소화MemorylessMSEObserver와 MovingAverageMSEObserver가 min/max 범위를 점진적으로 줄여가며 양자화 MSE를 최소화하는 grid search 로직 분석#llm-compressor#Observer#MSE#Quantization2026년 4월 13일댓글 수 로딩 중
[llm-compressor] MinMax Observer: 세 가지 min/max 계산 정책MemorylessMinMaxObserver, StaticMinMaxObserver, MinMaxObserver 세 변형이 각각 어떻게 min/max를 집계하는지 코드 분석#llm-compressor#Observer#Quantization#MinMax2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Observers Base: 스케일/제로포인트 계산의 추상 기반Observer 베이스 클래스가 get_min_max 훅을 통해 스케일과 제로포인트를 계산하고, compressed-tensors의 calculate_qparams를 호출하는 구조 분석#llm-compressor#Observer#Quantization2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Modifier Interface: 추상 계약과 타입 체크ModifierInterface ABC가 정의하는 initialized/finalized 프로퍼티와 initialize/finalize/update_event 추상 메서드 분석#llm-compressor#Modifier#Interface#ABC2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Modifier Factory: 문자열 이름에서 Modifier 인스턴스 생성ModifierFactory가 패키지를 재귀 스캔해 Modifier 서브클래스를 등록하고, 레시피 YAML의 문자열 이름에서 실제 인스턴스를 만드는 메커니즘 분석#llm-compressor#Modifier#Factory#Registry2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Modifier Base: 모든 Modifier가 상속하는 기반 클래스Modifier 클래스의 라이프사이클 메서드(initialize/update_event/finalize), start/end 훅, should_start/should_end 조건 검사 분석#llm-compressor#Modifier#Base2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Intermediates Cache: 서브그래프 활성화 오프로드 캐시IntermediatesCache가 배치별 중간 활성화를 CPU/GPU 사이에서 오프로드/온로드하면서 메모리를 관리하는 구조와 prefetch 메커니즘 분석#llm-compressor#Pipeline#Memory#Offload2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Data-Free & Independent Pipeline: 데이터 없는 파이프라인과 Modifier별 개별 실행DataFreePipeline의 포워드 없는 구조와 IndependentPipeline의 Modifier별 파이프라인 자동 선택 로직 분석#llm-compressor#Pipeline#DataFree#Independent2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Sequential Pipeline: 레이어 단위 서브그래프 캘리브레이션SequentialPipeline이 모델을 서브그래프로 쪼개고 중간 활성화를 오프로드하며 GPTQ/SparseGPT를 수행하는 구조 분석#llm-compressor#Pipeline#Sequential#Calibration2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Basic Pipeline: 한 번의 forward로 끝내는 캘리브레이션BasicPipeline이 모델 전체를 단일 forward로 순회하며 캘리브레이션하는 구조와 loss mask, dispatch_model 처리 분석#llm-compressor#Pipeline#Calibration2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Pipeline Registry: Modifier 목록을 보고 파이프라인 자동 선택CalibrationPipeline 추상 클래스와 from_modifiers 디스패처가 basic/sequential/data_free/independent 중 어떤 파이프라인을 고를지 결정하는 로직 분석#llm-compressor#Pipeline#Registry2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Events: 배치 라이프사이클 훅과 에폭 계산 로직EventType enum과 Event dataclass가 정의하는 배치/에폭/옵티마이저 훅, should_update 조건 검사, epoch 계산 속성 분석#llm-compressor#Events#Core2026년 4월 13일댓글 수 로딩 중
[llm-compressor] State & ModelLayer: 압축 상태 저장소State/Data/Hardware/ModifiedState dataclass가 어떤 정보를 보관하는지와 update() 메서드의 데이터 복사 정책 분석#llm-compressor#State#Core2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Lifecycle: Modifier 초기화-이벤트-종료 상태 머신CompressionLifecycle 데이터클래스가 Recipe의 Modifier 리스트를 initialize/event/finalize 3단계로 어떻게 순회하는지와 이벤트 순서 검증 로직 분석#llm-compressor#Lifecycle#Core2026년 4월 13일댓글 수 로딩 중
[llm-compressor] CompressionSession: 전역 싱글톤 세션과 Lifecycle 래퍼llm-compressor의 CompressionSession 클래스와 active_session() 전역 디스패처가 어떻게 Lifecycle, State를 관리하는지 코드 분석#llm-compressor#Session#Core#Lifecycle2026년 4월 13일댓글 수 로딩 중
[llm-compressor] Recipe Metadata: 직렬화 헬퍼와 모델 메타데이터 구조Recipe YAML 직렬화/병합 헬퍼와 DatasetMetaData, ParamMetaData, LayerMetaData, ModelMetaData Pydantic 모델 분석#llm-compressor#Recipe#Metadata2026년 4월 13일댓글 수 로딩 중