Quartet — Native 4-bit training that actually trains

2024-2025 의 LLM 추론은 INT4 / FP4 가 거의 표준이 됐다. GPTQ, AWQ, SmoothQuant 가 inference cost 를 4× 깎았다. 그런데 학습은 여전히 BF16 — 같은 모델을 같은 hardware 위에서 학습할 때만 4× 더 큰 메모리를 쓴다. 이 비대칭의 합리화가 어디에 있는가? Quartet 은 그 합리화의 핵심 — “학습은 4-bit 으로 안 됨” — 을 정면으로 깬다.

강의의 출발 질문 셋.

1. 학습이 추론보다 본질적으로 더 정밀해야 하는가 — 부분적으로 yes (gradient의 dynamic range 가 큼). 그러나 핵심은 “어디까지” 정밀해야 하는가.
2. 4-bit 학습이 현재 어디서 깨지는가 — outlier, gradient signal-to-noise, hardware support 셋. §02 에서 분리.
3. 이 셋을 동시에 풀 수 있는가 — Quartet 의 답은 yes — 단 forward/backward 의 정밀도를 분리하고 rotation 으로 outlier 를 흩으면.

학습 quantization 의 실패 모드 셋. 강의의 첫 본격 본론.

Quartet 의 첫 핵심 — Hadamard rotation. activation 에 직교 (orthogonal) 행렬 H 를 곱하면 vector norm 이 보존되면서 분포가 평탄화된다. outlier 가 흩어진다. 그리고 H 의 inverse 를 weight 에 흡수하면 결과는 정확히 같다.

y = x · W
  = (x · H) · (Hᵀ · W)
  = x_rot     · W_rot

SpinQuant / QuaRot 와의 관계

Hadamard rotation 자체는 새로운 idea 가 아니다. QuaRot (Ashkboos et al., 2024) 가 weight-only 양자화에서 처음 도입, SpinQuant (Liu et al., 2024) 가 학습된 rotation 으로 확장. Quartet 의 기여는 — 학습 자체에서 rotation 을 forward/backward 모두에 적용하면서 안정적으로 도는 형태로 정리한 것. 학습 중에 rotation matrix 를 어떻게 업데이트할지가 추가 question.

학습은 forward + backward + weight update 의 세 pass. 각자 dynamic range 가 다르다. 모두 같은 4-bit 으로 강제하면 가장 까다로운 pass 가 전체를 망친다. Quartet 의 두 번째 핵심 — pass 별로 다른 정밀도.

이 분리가 Quartet 의 정수. paper 의 ablation — “forward 만 FP4, backward 도 FP4” vs “forward FP4, backward FP8” — 후자가 BF16 baseline 의 accuracy 를 거의 그대로 따라잡는다. 전자는 1-3 % 떨어짐 (확인 필요).

4-bit 학습의 가장 위험한 사건은 loss spike → divergence. 한 step 에서 큰 spike 가 나면 회복 못한다. 안정성 트릭 셋이 강의의 §05 의 핵심.

spike monitoring

학습 코드에 loss spike detector 를 박는다. window N step 의 평균 vs 현재 step. 임계 (보통 5σ) 를 넘으면 — 마지막 안전한 checkpoint 로 rollback + learning rate ×0.5. 이게 production scale 의 표준 패턴.

알고리즘이 정해져도 hardware 가 4-bit GEMM 을 native 로 지원해야 빠르다. H100 은 FP8 까지, Blackwell (B200) 부터 FP4 (NVFP4 / MXFP4) native 지원. Quartet 의 GPU systems 부분은 QuTLASS — CUTLASS 위에 layer 된 4-bit GEMM 라이브러리.

QuTLASS — 4-bit GEMM 의 CUTLASS 확장

QuTLASS 는 Quartet 팀이 별도로 공개한 라이브러리. CUTLASS 의 GEMM 추상에 MXFP4/NVFP4 input + FP16/FP32 accumulator 를 직접 묶음. 핵심 contributions.

• fused rotation — Hadamard rotation 이 GEMM 직전에 fused 됨. 별도 kernel launch 없음.
• online quantization — block-scale 계산이 GEMM 의 epilogue/prologue 에 들어감. activation 이 FP4 로 출력.
• stochastic rounding kernel — backward 의 SR 양자화가 GPU 위에서 직접.
• numerics flexibility — 같은 GEMM 에서 forward FP4, backward FP8 의 dual 정밀도를 한 호출로.

paper 의 핵심 plot — 모델 사이즈 ×4, 학습 token 수 ×8 spectrum 위에서 BF16 baseline 과 Quartet 의 loss curve. 마지막 1-2% 의 gap 만 남음.

최근 1-2년 사이의 4-bit 학습 시도들. Quartet 과 어떻게 다른가.

가장 가까운 비교군은 NVIDIA TransformerEngine 의 FP8 학습. 둘 다 “native low-bit training” 의 예 — 차이는 정밀도 (FP8 vs FP4) 와 rotation 유무. TE 는 production-ready, Quartet 은 frontier research. 미래의 표준이 어디로 모일지는 §09.

Quartet 이 4-bit 학습을 “가능” 으로 옮겼다면, 자연스러운 다음 질문은 — 2-bit 학습이 가능한가? 같은 framework 가 적용되는지, 아니면 새 trick 이 필요한지.

• 2-bit forward — 4-bit 보다 16배 적은 bin. outlier 가 한 번 더 심각해짐. rotation 만으로 부족할 수 있음.
• 1.58-bit (BitNet 1.58b) — Microsoft 의 ternary {-1, 0, 1} weight. inference 위주. training 적용은 active research.
• sub-bit hybrid — 일부 layer 만 2-bit, 나머지는 4-bit. 양자화에 대한 sensitivity-aware mixed precision.
• activation-only 4-bit — weight 는 BF16, activation 만 4-bit. memory bandwidth bound layer 에 효과.
• Hadamard 의 일반화 — random orthogonal, learned orthogonal. SpinQuant 의 학습된 rotation 이 4-bit 학습에서도 더 좋을 수 있음.

손에 새기기 — 실습 시퀀스

1. Hadamard rotation 직접 구현 — fast Walsh-Hadamard transform 을 PyTorch 로 짜고, 임의의 outlier 가 있는 vector 의 분포 변화 시각화.
2. SR vs RTN ablation — 작은 MLP 를 INT4 weight 로 양자화 학습. RTN 으로 수렴 안 됨, SR 은 수렴 — 직접 재현.
3. QuTLASS hello world — 4-bit GEMM 한 호출. 같은 사이즈의 BF16 cuBLAS 와 throughput 비교 (B200 가 있다면).
4. FP8 baseline — TransformerEngine 의 FP8 학습을 small Llama 위에서 돌려본다. Quartet 의 결과와 비교 위치 잡기.
5. spike detector — train loop 에 window 5σ 임계 spike 검출 + LR halving rollback. spike injection 으로 동작 검증.
6. scaling sweep — 같은 small model 을 BF16, FP8, naive INT4, Quartet-style 4-bit 으로 1k step 씩 학습. loss curve 직접 plot.

• 정확한 throughput 수치 — “2-3× over BF16, 1.5× over FP8” 는 일반론에 가까운 추정. paper의 정확한 표 + B200 hardware 환경 명시 필요.
• rotation matrix 의 학습된 형태 — fixed Hadamard vs learned orthogonal. paper §3 의 ablation 확인.
• activation 의 EMA scale tracking 의 정확한 hyperparameter — momentum, warmup. 본문은 일반화된 표현.
• QuTLASS 의 backward kernel — forward 와 backward 가 같은 라이브러리에서 어떻게 분리되는지. repo 코드 직접 read 권장.
• 다른 backbone (Mamba, Diffusion) 적용 — 강의가 transformer 위주. Mamba 의 SSM 등 다른 구조에서 같은 가능한지는 후속 질문.