Unsloth — Faster, Lower-Memory LLM Fine-Tuning

Unsloth 의 출발점은 명확하다. fine-tuning 이 학생/소규모 팀의 손에 있어야 한다. 그런데 vanilla 길을 가면 — 7B 모델 fine-tune 에 H100 두 대가 필요하다. Unsloth 가 이 자리를 한 RTX 4090 위에서 끝낸다.

강의가 답하려는 두 줄 —

1. fine-tuning 의 메모리/속도가 어디서 새는가 — vanilla Hugging Face Trainer 로 LoRA 학습 step 을 까보면 무엇이 dominant 인지.
2. 그 자리를 어떻게 더 압축할 수 있는가 — 매 layer 마다 미적분으로 backward 를 다시 유도하고, Triton 커널을 손으로 짜고, 메모리 access 패턴을 다시 그린다.

Daniel 의 입장은 명시적으로 “정확한 수학으로부터 시작한다”. autograd 가 만드는 backward 가 충분히 정확하지만 충분히 빠르지는 않다. 그래서 — RMSNorm, RoPE, LayerNorm, cross_entropy 등 — 모든 layer 의 gradient 를 손으로 다시 유도하고, 한 Triton 커널로 다시 짠다.

vanilla full fine-tune 은 가장 비싼 자리. weight 의 4–6 배 메모리. Daniel 이 강의에서 짚은 분포 —

Unsloth 의 base 가 되는 두 알고리즘. 강의에서 Daniel 이 빠르게 정리한 부분.

Unsloth 의 본론. QLoRA 는 알고리즘 자체로 모든 win 을 가져왔다. Unsloth 는 그 위에 — 매 layer 의 forward/backward 를 손으로 짠 Triton 커널로 다시. RMSNorm, RoPE, cross_entropy, swiglu — Liger Kernel 과 겹치는 자리지만 fine-tuning 환경에 특화.

Unsloth 의 디자인 결정 중 가장 흥미로운 자리. autograd 가 자동으로 만드는 backward 는 — chain rule 을 그대로 쌓는다. 그게 정확하지만, “이 layer 의 gradient 가 사실 더 짧은 closed-form 으로 표현된다” 면 그게 더 빠르다.

y = w · x · rstd       (forward)

backward — closed form:
  dx = rstd · (dy · w
        - x · rstd² · mean(x · dy · w))
  dw = sum(dy · x · rstd, axis=batch)

# Unsloth 의 RMSNorm backward — Triton (간략)
@triton.jit
def rms_norm_backward(X, W, RSTD,
                      DY, DX, DW_partial,
                      N: tl.constexpr,
                      BLOCK: tl.constexpr):
    pid    = tl.program_id(0)
    cols   = tl.arange(0, BLOCK)
    mask   = cols < N

    # forward 의 RSTD 재사용
    rstd   = tl.load(RSTD + pid)
    x      = tl.load(X  + pid*N + cols, mask).to(tl.float32)
    w      = tl.load(W  + cols, mask).to(tl.float32)
    dy     = tl.load(DY + pid*N + cols, mask).to(tl.float32)

    # closed form — 한 줄에서
    inner  = tl.sum(x * dy * w, axis=0) / N
    dx     = rstd * (dy * w - x * rstd*rstd * inner)
    dw     = dy * x * rstd

    tl.store(DX + pid*N + cols, dx.to(tl.bfloat16), mask)
    tl.store(DW_partial + pid*N + cols, dw, mask)

Daniel 이 강의 중 — “Wolfram 으로 매 layer 의 gradient 를 풀고, 손으로 식을 정리하고, 그 다음 Triton 으로 짭니다. 우리 코드의 한 줄마다 이런 작업이 있어요”. loud claim 이지만, GitHub 의 unsloth/kernels 디렉터리를 보면 사실이라는 평가.

강의에서 가장 인상적인 디테일 중 하나. PyTorch 의 LM head 는 — logits = hidden @ W_lm.T(BF16) → logits = logits.float()(fp32 upcast) → cross_entropy(logits, labels). 이 두 번째 단계의 fp32 upcast 가 — vocab × seq × batch × 4 byte 의 큰 텐서를 만든다.

PyTorch 표준:
  hidden BF16:  2048×4096×2 =  16 MB
  logits BF16:  2048×32K×2  = 128 MB
  logits fp32:  2048×32K×4  = 256 MB ← upcast
  total spike:  256 MB · backward 까지 살아있음

Unsloth fused:
  hidden BF16:  16 MB
  logits BF16:  128 MB
  fp32 upcast:  inside kernel · register only
  total spike:  128 MB (-50%)

QLoRA + Unsloth 의 fine-tuning 결과가 — 같은 hyperparameter 로 — vanilla QLoRA 와 1% 미만 loss diff. 그게 가능한 이유는 손으로 짠 커널의 numerics 가 정확하기 때문.

2024 시점의 fine-tuning 도구 풍경. 각 도구의 자리.

손에 새기기 — 실습 시퀀스

1. vanilla QLoRA baseline — Hugging Face PEFT + bnb 로 Llama 7B QLoRA fine-tune. T4 또는 4090 위. 시간/메모리 측정.
2. Unsloth 적용 — FastLanguageModel.from_pretrained 한 줄. 같은 hyperparameter 로 같은 작업. 시간/메모리 비교.
3. RMSNorm backward 손으로 유도 — 노트에 chain rule 로. closed form 정리. Unsloth 의 Triton 코드와 비교.
4. cross_entropy logit upcast 직접 측정 — PyTorch profiler 로 logit 의 fp32 텐서 크기 확인. Unsloth on/off 비교.
5. Triton 커널 직접 짜기 — RMSNorm forward 의 한 row 단위 커널. row-per-program, BLOCK = pow2(N). Unsloth 코드를 보지 않고 first principle 로.
6. 긴 context 시나리오 — seq 8K, 16K 로 fine-tune. 메모리 곡선의 차이가 어디서 가장 크게 나는지.
7. 큰 vocab 모델 — Qwen2 (152K vocab) 로 fine-tune. cross_entropy 절감의 dominant 자리.
8. 학습 loss 검증 — vanilla QLoRA vs Unsloth 의 1B token 학습 loss 곡선. visible 차이 없어야 함.

• Unsloth + Liger 의 합집합 — 같은 자리(RMSNorm/RoPE)를 푸는 두 도구가 함께 쓰일 수 있는가? monkey-patch 가 충돌하는가.
• multi-GPU Unsloth (Pro) — open source 의 single-GPU 위 패턴이 multi-GPU 에서도 같은 비율의 win 을 내는가? FSDP/ZeRO 와의 통합.
• FP8 mma 위의 fine-tuning — Hopper 의 FP8 가 Unsloth 의 다음 단계인가? QLoRA 의 NF4 와 mma 의 FP8 의 합집합.
• autograd vs 손 유도의 한계 — 모든 op 의 backward 를 손으로 유도할 수 있는가? attention 의 backward 가 가장 복잡한 자리.
• flash attention v3 통합 — Unsloth 가 fa3 를 받으면 추가 win 이 있는가? 현재는 fa2.
• 긴 context (128K) 지원 — RoPE 의 긴 seq 정확도, cross_entropy 의 메모리 절감의 한계점은 어디인가.
• 다른 모델 아키텍처 — RWKV, Mamba, MoE 같은 비-Transformer 의 fine-tuning 자리.