Quantization Algorithms 단권화

1 Quantization 정의 FP → INT + scale

• bit layout (FP8 E4M3 / E5M2 / FP4 E2M1) 상세 ↗ V09 §4
• 목적: memory ↓, bandwidth ↓, compute throughput ↑
• 대가: rounding error + clipping error

2 Uniform Symmetric ★

• 장점: matmul 시 zp 보정항 없음 → kernel 단순
• 용도: weight (대체로 평균 0 근방 분포)

3 Uniform Asymmetric ★

4 적용 granularity

group-wise는 outlier 흡수 ↔ scale 메모리 trade-off.

5 Sym · Asym 선택

6 Asymmetric matmul 전개

∴ weight symmetric + activation asymmetric 조합이 흔한 choice.

7 오차 분해

8 Signed ↔ Unsigned

• INT8: signed [−128, 127] / unsigned [0, 255]
• symmetric INT8은 [−127, 127] 만 사용 → −128 배제 (대칭 유지)
• INT4: signed [−8, 7] / asym unsigned [0, 15]

9 양자화 대상

1 Calibration 정의

• weight는 static → calibration 불필요 (직접 stat)
• activation은 batch마다 달라짐 → sample 기반 추정

2 Min-Max ★

3 Percentile

실무: activation INT8에 q=99.9% 이 기본값.

4 MSE-optimal ★ argmin‖x − x_dq‖²

• 분포가 long-tail일수록 min-max보다 유리
• per-channel로 독립 최적화 가능

5 KL-divergence (TensorRT)

TensorRT 기본 entropy calibrator의 수학적 근거.

6 Entropy / Percentile / MSE 비교

7 Running estimator activation

• EMA: amax_t = β · amax_t−1 + (1−β) · amax_batch
• delayed scaling: window 내 max 사용 (FP8 TE, §10)
• cold-start: 초기 N batch는 max 그대로, 이후 EMA

8 Calibration pipeline

for batch in calib_set:
  y = model(batch)              # FP forward
  for tensor t in acts:
    hist[t].update(t.values)
for t in tensors:
  s[t] = argmin_KL(hist[t])     # or MSE / minmax

sample 수 ~512면 LLM activation 분포 근사에 충분.

9 분포 주의

1 PTQ 정의

• 입력: FP weight + 수백 sample
• 출력: quantized weight + scale/zp 테이블
• 소요: 분~시간 (GPTQ, AWQ는 수시간~하루)

2 QAT 정의

• straight-through estimator: ∂round/∂x ≈ 1
• weight는 FP로 갱신, forward 직전 quant-dequant
• 상세 설계는 out-of-scope

3 PTQ vs QAT ★

4 오차 특성 비교

5 적용 시점 분류

6 Weight-only vs W+A

7 왜 LLM은 PTQ 주류인가

1. param ≥ 수십B → QAT compute 감당 불가
2. 체크포인트만 공개 · 학습 데이터 부재
3. PTQ+clever (GPTQ/AWQ)로 INT4 달성 가능
4. serving 쪽 요구 (↗ V16 §7)가 빠른 iteration 선호

8 Calibration-free

• RTN: round-to-nearest · weight stat만
• 장: 1분 내 완료 · 단: INT8 이하에서 accuracy drop
• baseline으로 항상 측정 → 다른 방법이 이걸 못 이기면 의미 없음

9 Hybrid 흐름

FP ckpt
  │
  ├─ RTN (baseline)
  │
  ├─ GPTQ      ← weight INT4
  │
  ├─ SmoothQ   ← act outlier migrate
  │
  └─ AWQ       ← scale per-channel
  ↓
W4A8 / W4A16 / W8A8 deploy

1 문제: emergent outlier ★

• outlier ch 수 ≈ 0.1% (hidden=12288에서 약 150개)
• transformer block을 타고 동일 ch에서 지속

2 핵심 아이디어 ★

X = X_reg  (대부분 ch, INT8)
  + X_out  (~0.1% ch, FP16)
Y = W_reg · X_reg   (INT8 GEMM)
  + W_out · X_out   (FP16 GEMM)

3 Outlier detection

4 Vector-wise INT8 식

• scale이 벡터이므로 per-tensor 대비 outlier-robust
• matmul 후 FP16 rescale 단계가 epilogue

5 Mixed decomposition

Dettmers et al. (2022) — bitsandbytes `int8_linear`.

6 속도 trade

소형 model은 outlier 없음 → PTQ INT8 그대로 OK.

7 장점

• zero-shot PTQ: 학습 불필요
• PPL 손실 ≈ 0 (13B+에서 검증)
• 기존 FP16 ckpt 즉시 변환

8 한계

• 두 GEMM 경로 → kernel overhead
• FP16 outlier 경로가 INT8 이득 일부 상쇄
• 4-bit로 밀지 못함 (outlier 비중 상승)
• 이후 AWQ/SmoothQuant가 outlier를 weight로 옮겨 single-path 회복

9 개념도

X (B·N·d)
 ├── ch∈outlier ──► FP16 path
 └── ch∈regular ──► INT8 (vec-scale)
         │              │
         ▼              ▼
      W_f16·X_f16 + Dq(W_q·X_q)
                ▼
               Y (FP16)

1 Layer-wise objective ★

• full model loss 대신 layer output reconstruction
• → layer 단위 병렬화 가능, gradient 불필요

2 Hessian 정의

dampening: H ← H + λ·diag(H) · I, λ=1% (수치 안정).

3 OBQ 기원

4 OBQ single-step 수식 ★★

5 GPTQ block-wise ★

6 알고리즘 개요

1. H = 2·X X^T + λ·diag
2. L = Cholesky(H^{-1})
3. for block B in columns (stride 128):
     for j in B:
       wq[j] = quant(w[j])
       err   = (w[j]-wq[j]) / L[j,j]
       W[:, j+1:B_end] -= err · L[j, j+1:B_end]
     W[:, rest] -= err_block · L[B, rest]

7 복잡도 / 비용

cf. RTN은 분 단위지만 INT4에서 PPL +3 이상.

8 설정 grid

• W4 group 128, sym · act-order: on
• act-order: |X|² 큰 col부터 양자화 → error 축적 ↓
• damp_percent: 0.01 (H diag에 추가)
• → W4A16 표준 (AutoGPTQ / ExLlama)

9 결과 (요약)

Frantar et al. (2022) · 값은 논문 표 기준, 세부는 버전 의존.

1 핵심 관찰

• weight 중 1% salient channel이 accuracy 대부분 결정
• salient 기준은 activation magnitude가 큰 ch (weight 자체가 아님)
• → 그 ch의 quant error만 줄이면 전체 PPL 유지

2 Naive 보호의 문제

3 Scale migration 아이디어 ★★ W·x = (W·s)·(x/s)

4 Scale s 선택 ★

5 Activation 흡수

6 Why it works

• quant error ∝ s · step · ‖x‖ → s가 salient ch 보호
• non-salient ch는 s 작음 → x/s로 처리 부담 ↑지만 FP 경로 (계산량 증가 없음)
• weight만 INT4, activation은 FP16 유지 가능

7 AWQ vs GPTQ

8 절차

1. calib forward → per-ch |x|_mean
2. α grid: {0, 0.1, …, 1.0}
3. for each α:
     s = |x|_mean^α / geomean
     W' = W·diag(s)
     loss = ‖W·X − Q(W')·(X/s)‖
4. α* = argmin
5. fuse s^{-1} into prev layer

9 결과 (요약)

Lin et al. (2023) · group=128, sym. vLLM 통합 ↗ V16 §7.

1 목표: W8A8 달성

• INT8 TC는 W8A8일 때만 이득 (W8A16은 GEMM dtype mix)

2 Migration 핵심 ★ 난이도 이전

3 α 파라미터 ★

• OPT / BLOOM: α ≈ 0.5
• LLaMA: α ≈ 0.75~0.85 (outlier 심함)
• layer별 개별 튜닝 가능

4 효과 시각화

before:
 X  : ───|▇▇▇|─── (outlier ch 극단)
 W  : ──▂▂▂▂▂──   (균일)

after (s fused):
 X' : ──▃▃▃▃▃──   (평탄화)
 W' : ──▃▅▅▅▃──   (약간 커짐)
 → 둘 다 INT8에 안전

5 Fuse 대상

out-proj 앞은 fuse 지점이 없어 작은 runtime overhead 발생.

6 AWQ와의 관계

7 PPL 결과 (요약)

Xiao et al. (2022) · 대형 model에서 효과 두드러짐.

8 결정 절차

1. FP16 forward on calib
2. per-ch:
     a_max[j] = max |X[:,:,j]|
     w_max[j] = max |W[j,:]|
3. sweep α:
     s(α) = a_max^α / w_max^{1-α}
     fuse s, quant W', quant X'
     eval loss
4. pick α* minimizing PPL

9 한계

• W4 로 내리면 weight 쪽이 못 견딤 (AWQ/GPTQ 필요)
• α 튜닝은 layer 단위 sweep 필요 — 전체 calib 시간 ↑
• attention softmax 출력은 별도 처리 (per-head range)

1 KV cache의 bandwidth 부담

• KV 메모리 = 2·L·H·d_head·seq·dtype · attention 상세 ↗ V07 §5
• FP16→INT8: 2× bandwidth·capacity, INT4: 4×

2 Quant 설정 패턴 ★

asym 선택 이유는 §4에서 설명.

3 Per-token scale 수식

4 asym 선택 이유 ★

1. K는 LayerNorm 직후 → 분포가 0 근처이지만 mild skew 있음
2. V는 activation (attention 가중합 입력) → 비대칭 분포
3. sym은 range 한쪽이 낭비 → clipping or step 팽창
4. per-token은 새 token마다 s,z 재계산 — cost 작음

5 Attention에서의 결합

dequant를 matmul에 fuse하면 extra load 없음 (load·dequant·mma).

6 INT4 group scheme

K[t, h, :] size d_head=128
group_size = 32 → 4 group/token
 s_K[t, h, g] × 4
 z_K[t, h, g] × 4
quant: K_q[t, h, g·32:(g+1)·32] ∈ [0,15]

group=32가 PPL-overhead 균형점 (Atom).

7 Per-channel vs per-token

8 Paged KV 적합성

• PagedAttention 블록 (16 tok) 경계에 scale block 정렬 → cache 친화
• scale 자체는 FP16 그대로 (small)
• vLLM의 kv-cache dtype: int8_e4m3, fp8 옵션
• vLLM quant 통합은 ↗ V16 §7

9 주의점

• prefill 단계의 KV도 함께 양자화 (불일치 시 drift)
• RoPE 적용 전 양자화는 회전 오차 유발 → 후에 양자화
• speculative decoding과 조합 시 rollback token도 재dequant 필요

1 K와 V의 분포 차이 ★

2 KIVI 공식

• K quant: s_K ∈ ℝ^d_head
• V quant: s_V ∈ ℝ^seq
• INT2/INT4 모두 가능 (논문은 INT2까지 검증)

3 수식

4 Atom 추가 설계 ★ W4A4 + mixed KV

• weight/activation INT4 (W4A4) + KV INT4
• activation도 outlier와 reg 분리 (LLM.int8() 계보)
• group=128, fused dequant
• FP16 baseline 대비 2.5~3× end-to-end

5 왜 per-channel K가 이득인가

per-token sym은 ch shift를 scale로 흡수 못 함.

6 왜 per-token V가 이득인가

• V는 attention 가중합의 input → 토큰별 magnitude 차이 큼
• 특정 token이 informative → magnitude ↑
• per-token scale이 그 가변성 흡수

7 Layout 관점

K tensor : [L, H, d_head, seq]
            ↑ scale 축

V tensor : [L, H, seq, d_head]
                   ↑ scale 축

→ K / V의 스토리지를 서로 다른
  stride로 유지하면 per-axis scale이
  coalesced load와 맞음.

8 정리 매트릭스

9 결과 (요약)

Liu et al. (2024) · WikiText-2 PPL.

1 FP8 vs INT8 차이

2 Per-tensor amax 기본 ★

3 Delayed Scaling ★★ window amax

hist = [amax_{t-N}, …, amax_{t-1}]
s_t  = max(hist) / FP8_max
amax_t = measure(x_t / s_t … )  ← 기록만, 다음에 씀
hist.shift_and_insert(amax_t)

4 왜 delayed인가

1. non-blocking: amax 계산 결과를 기다리지 않고 다음 kernel 실행
2. 이전 N step의 max가 현재와 비슷 → 안정성 확보
3. 통신·scheduling 비동기화 가능
4. 수렴 초기에는 fallback (current amax 사용)

5 TE (Transformer Engine) 흐름

forward:
 1. load s (from prev hist)
 2. x_fp8 = cast(x / s)
 3. y = GEMM_fp8(x_fp8, w_fp8, acc=fp32)
 4. amax_t = max|x|      (비동기)
 5. hist[t] = amax_t
 6. s_{t+1} = max(hist) / 448

backward:
 gradient는 E5M2 (range 넓음)

6 E4M3 vs E5M2 사용 방침

7 attention에서의 FP8

• FlashAttention-3: Q/K/V → FP8, softmax는 FP32
• P=softmax(S/√d) · FP8 clamp [0,1] · P·V matmul FP8
• incoherent processing으로 outlier 억제 (↗ V07 §8)

8 Kernel fusion 관점

load_fp16 → cast_fp8 → mma_fp8
                              │
  FP32 accumulator ←─────────┘
                              │
                     cast_fp16 or fp8 ← epilogue

WGMMA는 FP8 operand · FP32 acc (Hopper). 상세 ↗ V04 §8.

9 Block-scale (MX / NV FP4)

• MXFP8: G=32, scale UE8M0
• NVFP4: G=16, scale FP8 E4M3
• Blackwell 5th-gen TC가 group dot + scale 단일 명령

1 두 경로의 정의 ★

2 Fake quant 수식

3 Real quant 수식

4 왜 결과가 다른가 ★

1. fake는 dequant 결과를 FP32로 곱 · round error 1회
2. real은 INT 곱 · accumulator 폭 제한 (INT32)
3. real은 dequant 시점이 matmul 이후 → scaling fusion 오차
4. activation의 epilogue 조합 (bias, GeLU)이 경로마다 다름

5 Accumulator 폭

6 Epilogue fusion 차이

fake:
 FP(W·X) → +bias → GeLU → next quant

real:
 INT(W_q·X_q)
    ↓ dequant (s_w·s_x)
    ↓ +bias (FP)
    ↓ GeLU   (FP, approximated)
    ↓ quant (next layer)

7 GeLU / SiLU 근사

• fake: 정확한 tanh-based GeLU
• real kernel: piecewise LUT or 근사 polynomial → 미세 오차
• 이 오차가 깊은 layer를 거쳐 누적될 수 있음

8 검증 워크플로우

1. fake quant로 PPL 측정 (학습·디버깅)
2. real kernel로 동일 batch 재측정
3. 차이 > 0.1 PPL이면 epilogue / acc 조사
4. 주요 tensor에 FP32 tap 넣어 비교

9 STE 관점

1 Perplexity 정의 exp(−log p)

• 빠른 quant accuracy sanity check
• 소수점 단위 변화가 유의미 (FP16 base 대비 +0.1 이하 목표)

2 MMLU · GSM8K

PPL은 통과하지만 MMLU·GSM8K에서 점수 drop하는 quant 흔함.

3 지표별 quant 민감도

• PPL: 평균적 likelihood → outlier 덜 보임
• MMLU: rare knowledge · tail weight 양자화에 민감
• GSM8K: 단계마다 오류 누적 · reasoning layer 민감
• HumanEval: 정확 token 생성 → 한 bit 오차 치명

4 Quantization error norm

per-layer ε_Y 를 plot하면 문제 layer가 드러남.

5 Cosine similarity

activation은 magnitude보다 방향이 downstream에 중요.

6 벤치 selection 표

7 Layer drop-out 진단

for L in layers:
  run with L quantized, others FP
  measure ΔPPL
→ sort layers by impact
→ 최악 top-k는 FP16 유지 (mixed-bit)

8 Long-context 특수

• KV quant는 seq↑에 따라 드리프트 누적 가능
• needle-in-haystack · RULER 벤치 사용
• PPL은 seq 짧을수록 underestimate

9 어떤 지표를 언제

1 방법 × 대상 × 설정 매트릭스 ★★

2 핵심 수식 재정리

3 선택 결정 트리 ★

Q: accuracy 예산 ΔPPL?
 ├─ ≤0.05 ──► FP16 유지 (no quant)
 ├─ ≤0.2  ──► W8 RTN / FP8 (E4M3)
 │            └ A8도 원함 → SmoothQuant
 ├─ ≤0.5  ──► W4 AWQ or GPTQ (g=128)
 │            └ KV도 줄임 → +KIVI INT4
 └─ ≤1.0  ──► W4A4 Atom / MXFP4
              └ 학습 가능? → QAT

4 하드웨어 매핑

arch 상세 ↗ V02 §7.

5 모델 크기 × latency 축

6 Do / Don't ★

7 흔한 실수 5선 (!) acc·RoPE·soft·cal·fake

1. accumulator까지 low-prec → reduction 붕괴
2. RoPE 적용 전 K 양자화 → 회전 오차
3. softmax 출력을 INT로 → dynamic range 부족
4. calibration 분포가 serving과 다름
5. fake quant PPL만 보고 deploy

8 1-liner 요약

• RTN: round, 끝
• LLM.int8(): outlier ch FP16, 나머지 INT8
• GPTQ: H⁻¹로 error 분산
• AWQ: W·s, x/s로 salient 보호
• SmoothQuant: outlier act→weight 이전
• KIVI: K per-ch + V per-tok
• FP8: amax history·delayed·E4M3/E5M2

9 연결 지도

• dtype 비트 layout → ↗ V09 §4
• KV 구조·attention → ↗ V07 §5
• vLLM quant 통합 → ↗ V16 §7
• Tensor Core dtype 지원 → ↗ V02 §7
• FA3 FP8 schedule → ↗ V07 §8