본문으로 건너뛰기

[논문리뷰] The Noise Floor of a Quantization Comparison: Engine, restart, batch and kernel drift, measured against 8-bit and 4-bit effects in two decision models

링크: 논문 PDF로 바로 열기

저자: Aleks Blagojevich, Trevor Sunderland

1. Key Terms & Definitions (핵심 용어 및 정의)

  • Flip / Flip Rate: 두 configuration이 같은 record에서 서로 다른 top-1 option을 고르는 경우를 flip이라 하고, 그 비율을 flip rate라 한다. 이 논문의 primary metric이다. Decision model에서는 flip 하나가 곧 바뀐 business decision이다.
  • Noise Floor (Non-quantization Source): Quantization 없이도 생기는 decision 변화다. 저자들은 네 가지 source를 측정했다. 동일한 flag로 server를 다시 띄우는 restart, engine 변경(transformers / vLLM / llama.cpp), batch size 변경, 그리고 kernel selection이다.
  • Silent Kernel Selection (GDN Kernel): transformers 5.16.1은 Gated DeltaNet layer를 실행할 때 hub kernel, fla package, PyTorch fallback 중 하나를 고른다. 어떤 것을 쓸지는 package import 성공 여부로만 정해지며, 실제로 무엇이 실행됐는지 보고하지 않는다.
  • Clef-flash (9B) / Clef (27B): Cloudflare가 공개한 decision model이다. Qwen3.5 hybrid architecture(full-attention layer와 Gated DeltaNet layer를 혼합)에 joint schema head를 붙인 구조다.
  • Weight Formats: 비교 대상 format은 BF16, FP8 W8A8, NVFP4 W4A4(이상 vLLM), GGUF Q8_0, Q4_K_M(이상 llama.cpp)이다.

2. Motivation & Problem Statement (연구 배경 및 문제 정의)

이 논문은 quantization 비교에 섞여 있는 비(非)quantization 변동을 분리해 측정하고, 이를 기준으로 quantization effect의 실제 크기를 밝히려 한다. 흔히 quantized build는 다른 serving engine과 다른 server instance에서 한 번 실행한 뒤 BF16 원본과 비교한다. 이때 생긴 차이는 모두 quantization 탓으로 돌린다. 그러나 실제로는 weight 외에도 engine, instance, batching, kernel이 함께 바뀐다. 기존 연구에도 공백이 있다.

  • Dutta et al. 등은 flip을 metric으로 제안했지만, quantization이 없을 때 flip이 얼마나 생기는지는 측정하지 않았다.
  • Backend variability 연구는 주로 generation task를 다뤘고, restart나 quantization은 다루지 않았다.
  • Lu and Ni는 의도적으로 바꾼 reduction order를 floor로 삼았다. 동일 flag로 server를 restart했을 때의 decision flip은 측정하지 않았다.

Accuracy만으로는 이런 변화가 보이지 않는다. 예를 들어 Clef Q4_K_M은 accuracy 순변화가 6문항에 불과했지만, 그 이면에서 436개 decision이 악화됐다(exploratory).

3. Method & Key Results (제안 방법론 및 핵심 결과)

저자들은 고정된 record set 위에서 paired flip-rate difference와 bootstrap interval로 각 source를 분해하는 protocol을 제안한다.

실험 설정

  • 12개 public task(BANKING77, CLINC150, ANLI, MMLU, When2Call 등, 총 31,275 questions)를 사용했다.
  • Decomposition에는 각 task의 앞 200개, 총 2,400 records를 썼다.
  • 장비는 NVIDIA DGX Spark(GB10) 한 대이며, 모델별로 13개 configuration을 측정했다.
  • 통계는 2,000회 paired bootstrap으로 구한 95% CI를 쓰고, flip이 0인 pair에는 exact Clopper-Pearson interval(상한 0.15%)을 적용했다.
  • GDN kernel 선택은 fla import 차단과 counter 기반 assertion으로 명시적으로 관찰 가능하게 만들었다.
  • 다섯 가지 prediction(N1–N5)은 quantization 결과를 분석하기 전에 pre-register했다.

Non-quantization source는 decision의 0–0.92%를 움직였다.

  • llama.cpp restart는 두 모델 모두 2,400개 전 record에서 bit-identical이었다.
  • vLLM restart의 flip 수(BF16/FP8/NVFP4)는 Clef-flash가 0/5/20, Clef가 4/0/22였다. 즉 floor 크기는 format과 model에 따라 달랐고, 순서도 두 모델이 서로 달랐다.
  • Engine 변경은 6–16, batch size 변경은 8–15, GDN kernel 변경은 10–14 flip을 만들었다.

Quantization effect(동일 engine 내 BF16 대비)는 이보다 컸다. 아래는 Clef-flash / Clef 순이다.

Format Clef-flash (9B) Clef (27B)
Q8_0 0.88% 1.04%
FP8 2.12% 1.62%
Q4_K_M 5.79% 3.50%
NVFP4 5.79% 5.67%

4-bit effect는 두 모델 모두에서 모든 non-quantization source를 interval 수준에서 넘어섰다(Bonferroni 보정 후에도 유지).

Pre-registered prediction 중 두 개는 실패했다.

  • N1: FP8은 restart noise 범위 안에 있지 않았다(+2.12 pp).
  • N3: BF16에서 engine을 바꿔도 8-bit quantization보다 적은 decision만 움직였다.
  • 27B에서 다시 검증해도 같은 두 prediction이 실패했다.

Third instance 실험(exploratory)

  • Clef NVFP4의 restart floor는 어떤 두 instance를 비교하느냐에 따라 4–22 flips로 5배 이상 달랐다.
  • 이로써 start-up 시점의 kernel 선택이 두 가지 상태 중 하나로 갈린다는 가설은 기각됐다.
  • 반면 ref 대비 quantization effect는 세 instance에서 FP8이 33/33/33, NVFP4가 137/139/137로 거의 변하지 않았다.

Full-set에서의 accuracy 손실: NVFP4는 Clef-flash에서 0.95 points, Clef에서 0.65 points였다.

Flip은 source 간에 단순히 더해지지 않는다. Clef-flash FP8의 flip은 ref 대비 47, bf16-srv 대비 51이었다. Engine 변경과 quantization이 record에 따라 상쇄되기도, 누적되기도 한다는 뜻이다.

4. Conclusion & Impact (결론 및 시사점)

저자들의 결론은 두 가지다.

  • Quantization effect, 특히 4-bit effect는 측정 가능한 noise floor를 분명히 넘는다.
  • 하지만 engine을 바꾸고 단 한 번만 실행하는 비교는 quantization effect를 정확히 측정하지 못한다.

이에 따라 저자들은 다음과 같은 비교 protocol을 권고한다.

  1. 같은 engine 안에서 비교한다.
  2. Quantized build마다 restart를 여러 번 반복하고, 가장 큰 pair의 값을 보고한다.
  3. 실제로 실행된 kernel을 기록하고 고정한다.
  4. Accuracy 옆에 paired flip을 함께 보고하고, flip을 악화/개선/오답→오답으로 나눈다.
  5. Floor 대비 effect를 비율로 제시한다.
  6. Nondeterminism(고쳐야 할 결함)과 quantization(감수할 비용)을 분리한다.

이 연구는 decision model을 운영하는 쪽에 시사점이 크다. Accuracy 대신 바뀐 decision 수를 봐야 하고, vLLM의 restart nondeterminism과 transformers의 silent kernel selection이 실제 운영 리스크라는 점을 정량적으로 보여준다.

한계도 있다. 모델은 같은 계열 두 개뿐이고, 장비도 GB10 한 대다. Restart replicate가 적어서 일반화에는 추가 측정이 필요하다. vLLM restart floor의 원인도 여전히 명시되지 않았다.

참고로, 이 논문에서 유일한 Figure(Figure 1, source별 flip rate 비교 그래프)는 HTML 페이지에 <img> 태그가 없는 형태로 렌더링되어 있었습니다. 그래서 이미지 URL 규칙에 따라 Part 2는 빈 배열로 두었습니다.

⚠️ 알림: 이 리뷰는 AI로 작성되었습니다.

댓글

관련 포스트

Review 의 다른글