Quantization in Large Models — the modern lineage

LLM 이 BF16 으로 학습된다. 70B 모델 = 140GB. 그런데 inference 할 때는 같은 모델을 INT4 로 깎으면 35GB — A100 한 장에 들어간다. 이게 어떻게 가능한가, 그리고 어디까지 가능한가. 2022 LLM.int8() 부터 2025 SpinQuant 까지 — 강의의 답은 알고리즘의 lineage.

1. 왜 LLM 이 quantize 하기 어려운가 — outlier (large activation) 가 양자화 grid 를 망친다.
2. 각 알고리즘은 outlier 와 어떻게 협상하는가 — GPTQ 는 weight 만 보정, AWQ 는 activation 까지 본 weight 보정, SmoothQuant 는 outlier 를 weight 로 옮김, SpinQuant 는 rotation 으로 흩기.
3. 다음 frontier 는 어디인가 — 2-bit, BitNet, sub-bit. 알고리즘이 따라가야 하는 hardware 도.

quantization 의 첫 분류 — 무엇을 quantize 하는가. weight 만? activation 도? KV cache 도?

왜 weight-only 가 default 인가

LLM inference 의 decoding phase 는 memory-bound. 한 token 생성에 모델 weight 전체를 한 번 read. 이 read 가 가장 큰 비용 — INT4 weight 면 4× 빠르게 read 가능 (HBM bandwidth 절약). compute (matmul) 자체는 BF16 으로 해도 됨. 그래서 weight-only 만으로 큰 throughput 이득.

GPTQ (Frantar & Alistarh, 2022) 는 LLM 의 첫 강력한 PTQ. 핵심 — 한 weight column 을 양자화한 후 그 error 를 다음 column 에 분배. second-order (Hessian) 정보로 어느 column 이 sensitive 한지 가중.

# GPTQ — weight matrix W 를 column 단위로 quantize
H = X @ Xᵀ        # Hessian (calibration data 로)
H_inv = inverse(H + λI)

for i in range(W.shape[1]):
    w_i = W[:, i]
    # quantize 한 column
    q_i = quantize(w_i)
    error = w_i - q_i
    # 남은 column 들에 error 분배 (Hessian 가중)
    W[:, i+1:] += error[:, None] * H_inv[i, i+1:]

GPTQ 가 weight only 의 가장 강력한 형태라면, AWQ (Lin et al., 2023) 와 SmoothQuant (Xiao et al., 2022 — 같은 강의자 family) 는 activation 정보를 quantization 에 가져온다.

두 알고리즘의 위치

AWQ 와 SmoothQuant 는 동시에 사용 가능 — SmoothQuant 가 activation 평탄화한 후 AWQ 로 weight 보정. "중요한 weight 보존" + "outlier 를 weight 로 이동" 의 합. 실 production engine (TensorRT-LLM, vLLM) 에서 둘 다 지원.

QuaRot (Ashkboos et al., 2024) → SpinQuant (Liu et al., 2024) 의 lineage. Quartet 에서 학습 시 사용된 same 의 idea — orthogonal rotation 으로 outlier 를 흩어 모든 channel 의 분포를 평탄화.

scope (무엇을) 외에 또 다른 axis — 언제. 학습 후 (PTQ), 학습 중 (QAT), 처음부터 (native low-bit training).

알고리즘이 INT4 를 약속해도, 실제 GPU 에서 빨라지려면 — INT4 × BF16 또는 INT4 × INT8 matmul 을 tensor core 가 직접 지원해야 함. 그렇지 않으면 dequantize → BF16 matmul 이라는 우회. memory 만 wins, compute 안 wins.

Marlin / Machete / FP6-LLM

같은 weight-only 4-bit kernel 이 여러 구현으로 — 각 backend 가 자기 sweet spot. Marlin 은 vLLM 표준, Machete 는 더 새로운 구현. FP6-LLM 같은 6-bit fast kernel 도 등장 (확인 필요). 각 backend 가 정확도 ↔ 속도 trade-off.

실측 결과의 큰 모양. accuracy (perplexity, MMLU 등) vs throughput / memory.

throughput 측면

• memory bandwidth — INT4 weight 면 BF16 대비 4× 빠른 read. decoding throughput 직접 4× 가까이 향상.
• batch size — 같은 GPU 에 4× 더 큰 batch. 처리량 wins.
• compute — weight-only 의 경우 기껏 1-2× 향상. activation 도 quantize 하면 4× 가능.
• overhead — dequant kernel, scale broadcast 의 비용. 잘 짜진 kernel (Marlin) 에서 거의 무시.

• BitNet b1.58 — Microsoft 의 ternary weight {-1, 0, 1}. log₂3 ≈ 1.58 bit. 처음부터 학습. 같은 size BF16 모델과 비슷한 정확도 보고. processing 의 game changer 가능성.
• 2-bit PTQ — VPTQ, QuIP#, AQLM 같은 vector-quantization 기반. group 단위로 codebook + index. 성공적으로 4-bit 의 절반.
• mixed precision — sensitivity-aware. 일부 layer 는 8-bit, 나머지는 2-bit. 한 모델에 여러 bit 가 섞임.
• 1-bit — XNOR networks 의 LLM 버전. 아직 frontier research. 정확도 손실이 크지만 hardware 우위 매우 큼.
• FP4 native training — Quartet 류. inference 만 quantize 가 아니라 학습 자체를 4-bit. Blackwell 시점.

손에 새기기 — 실습 시퀀스

1. GPTQ baseline — Llama-7B 를 GPTQ 로 INT4 양자화 (huggingface auto-gptq 또는 IST repo). 같은 prompt 의 BF16 vs INT4 perplexity 비교.
2. AWQ 와 비교 — 같은 모델을 AWQ 로 양자화. salient channel 의 분포 직접 시각화.
3. SmoothQuant 의 scale 직접 보기 — activation outlier channel 을 시각화 → SmoothQuant 적용 후 평탄화 확인.
4. vLLM 으로 quantized inference — --quantization=awq 또는 gptq. throughput 직접 측정. Marlin kernel 이 호출되는지 NCU 로 확인.
5. 2-bit 시도 — AQLM 또는 QuIP# 으로 같은 모델을 2-bit 으로. 정확도 손실 측정. 4-bit 와 비교.
6. KV cache quantization — KIVI 적용. long context 에서 메모리 절약 측정. L072 와 직접 연결.
7. SpinQuant rotation 시각화 — 학습된 rotation matrix R 의 frequency 분석. Hadamard 와 어떻게 다른지.

• 강의자의 정확한 정체 — speaker 정보가 metadata 에 없음. 영상 본인 확인 필요. SmoothQuant 저자 (Guangxuan Xiao) 와 같은 ScaleML 시리즈에 발표한 점에서 동일 그룹 가능성.
• 본문의 PPL gap 수치 — Llama-2 70B 의 일반적 패턴 추정. 정확한 수치는 각 paper Table 직접 확인 필요.
• BitNet b1.58 의 실 적용 — Microsoft 의 paper 로는 promising 이지만 production 채택 사례는 별도 추적.
• FP6-LLM 의 정확한 위치 — 본문에서 잠깐 언급. 영상에서 자세히 다뤘는지 확인 필요.
• 학습 데이터에 들어간 quantization — frontier 모델 중 어떤 것이 학습 자체에 quantization 을 사용했는지 (DeepSeek FP8 외) — paper 외 정보.