FastVideo — 비디오 디퓨전 가속

2024–25 의 텍스트→비디오 오픈소스 모델 (HunyuanVideo 13B, CogVideoX-5B, Wan2.1) 은 5초/24fps/720p 클립 하나에 H100×8 으로 3~10분 이 걸린다. FastVideo 의 미션은 이 시간을 — 모델 품질 손실 거의 없이 — 10× 이상 끌어내리는 것. 강의는 그 트릭 묶음의 인벤토리.

Transcript 가 비어 있으므로 이 노트는 FastVideo 의 GitHub repo (hao-ai-lab/FastVideo) 와 그 위의 두 핵심 논문 — Sliding Tile Attention (2025), Fast Video Generation with Sliding Tile Attention — 그리고 sequence parallel 관련 자료를 base 로 재구성. 강의에서 어떤 비중으로 어느 컴포넌트를 다뤘는지는 확인 필요.

강의의 frame 은 따라서 — (§02) 비용이 어디서 발생하는지를 본 뒤 → (§03–04) 비디오 attention 의 특이성을 깔고 → (§06) FastVideo 가 거기에 어떤 트릭을 박는지를 차례로 본다.

video DiT 의 한 sample 안 token 수를 산수로 잡아보자. F = frames (예: 121), H × W = latent spatial dim (e.g. 90×160 for 720p), VAE 가 spatial / temporal 모두 압축한 후. 한 token 이 한 (frame, h, w) 좌표 → token 수 ≈ F × H × W ≈ 121 × 90 × 160 ≈ 1.74M.

이 attention dominance 가 sliding tile attention 의 동기다. attention 자체를 local 로 줄이면 N² 의 N 이 작아진다. 비디오에서는 “3D local” — frame 안 spatial 과 frame 사이 temporal 양쪽으로 인접한 토큰만 보면 된다는 가정.

비디오 DiT 가 attention 을 어떻게 잡느냐는 architecture 의 큰 갈림길이다. 두 갈래가 있다 — (a) full 3D self-attention 이 모든 (t,h,w) 토큰을 다 본다. (b) factorized — spatial attention 과 temporal attention 을 분리. HunyuanVideo / CogVideoX 가 (a), 일부 초기 모델과 LTX-Video 가 (b) 의 변형.

N² 메모리 항이 비디오에서 얼마나 무서운지 — 1.7M × 1.7M × 2 bytes (BF16) ≈ 5.7 TB. 한 layer 의 attention scores 가 HBM 80 GB 의 70배. 따라서 비디오 attention 은 처음부터 FlashAttention 위에서만 가능하다 — softmax 를 tile 단위로 online 으로 도는 길.

LLM inference 에서 KV cache 는 autoregressive step 사이에 K,V 를 누적하는 구조다. video DiT 는 non-autoregressive diffusion — 한 step 에서 모든 token 을 동시에 본다. KV 가 “쌓이지” 않는다. 그래서 KV cache reuse 의 frame 자체가 다르다.

요약하면 — 비디오 diffusion 의 “KV cache” 는 LLM 의 그것과 의미가 다르다. autoregressive 의 누적이 아니라 step / layer 간 redundancy 의 구조를 의미한다. 이 사실을 LLM 영역에서 넘어온 사람은 자주 헷갈린다.

FastVideo 의 진짜 가치는 — 각 트릭이 따로 있는 게 아니라 한 묶음으로 켤 수 있다는 점. 대표적인 4가지를 묶어둔다.

1. Sliding Tile Attention (STA)

비디오 grid 위에서 3D local 만 attend. window 가 (T_w, H_w, W_w) — 보통 (3, 6, 6) 또는 (5, 8, 8). FlashAttention 의 mask 안에 박혀서 GPU 위에서 dense attention 만큼 효율적. full attention 대비 6~10× speedup, FID 2~5% 손실 (확인 필요).

2. Sequence Parallel (Ulysses · Ring)

토큰 1.7M 을 GPU 8장에 나눠 들고 attention 만 cross-GPU 로 도는 방식. Ulysses 는 attention 직전에 head 차원으로 all-to-all, 직후에 다시 all-to-all. Ring 은 KV 를 ring 으로 돌려가며 마주친 query 와 attend. video DiT 에서는 둘 다 채택 — Ulysses 가 더 간단, Ring 이 더 큰 sequence 에 강하다.

3. Step Distillation (consistency / progressive)

50 step diffusion 을 4~8 step 으로 축소. teacher 모델로 student 를 학습 — student 는 한 step 에서 teacher 의 여러 step 결과를 흉내. 품질 손실 적게 6~10× 시간 절약. FastVideo 가 distillation 학습 코드까지 제공해 사용자가 자기 모델을 distill 할 수 있다는 점이 다른 가속 라이브러리와 차이.

4. Quantization (FP8 / INT8)

Hopper 의 FP8 Tensor Core 로 GEMM weight + activation 을 8-bit. 1.5~2× speedup, 메모리 절반. text encoder 와 VAE 도 같이 quantize. 일반적으로 attention 의 softmax 만 BF16 유지.

2025 년 시점에 FastVideo 는 다음 오픈소스 비디오 모델들을 first-class 로 지원한다 (확인 필요 — 활성 개발 중이라 목록 변동).

중요한 패턴 — FastVideo 의 STA window 와 distill schedule 은 모델마다 sweep이 필요하다. 같은 (3,6,6) 가 모든 모델에 최적이 아니다. 일반적으로 — 강한 motion 이 있는 모델일수록 temporal window 를 키운다.

image diffusion 의 가속 트릭이 비디오에 그대로 옮겨지지 않는 이유를 정리한다. 같은 DiT, 같은 timestep, 같은 noise schedule 인데 어디서 다른가.

현재 SOTA 오픈 비디오 모델의 한계는 5–10초. 1분 이상의 long-form 비디오는 — naive 하게 하면 attention N² 이 100× 더 커진다. 다음 단계의 가속 / architecture 는 이 길을 푼다.

• streaming generation — 5초씩 생성해 chunk 로 이어붙이는 패턴. inter-chunk consistency 를 KV reuse 또는 latent context 로 유지. 확인 필요.
• autoregressive video DiT — 일부 frame 을 condition 으로 다음 frame 을 만드는 hybrid. KV cache 가 LLM 처럼 누적되는 형태로 돌아옴 → LLM 가속 트릭 (vLLM-style) 이 다시 의미를 갖는다.
• hierarchical generation — 저해상도 비디오 먼저 → upsample. spatial / temporal 모두 cascade.
• 3D VAE 의 압축률 향상 — 같은 픽셀 비디오가 더 적은 latent 토큰으로. 이게 가장 깨끗한 길 — token 수 자체를 줄이면 모든 가속 트릭이 무료로 함께 빨라진다.

손에 새기기 — 실습 시퀀스

1. HunyuanVideo baseline — H100×8 에서 5초 720p 클립 한 번 생성. wall-clock 기록.
2. FastVideo 로 같은 클립 — STA + sequence parallel + FP8 켜고 같은 prompt 재생성. wall-clock 비교 + side-by-side 시각 품질 검증.
3. STA window sweep — (3,6,6) / (3,8,8) / (5,8,8) 중 어느 게 가장 좋은 trade-off 인지 자기 prompt 분포에서 확인. 빠른 motion 시 temporal window 의 영향이 큼.
4. distill checkpoint 만들기 — FastVideo 의 distill 스크립트로 50→4 step student 학습. teacher 와 FID 비교.
5. Nsight 으로 attention dominance 검증 — 한 generation step 의 ncu / nsys trace. attention 이 정말 78% 비용인지 자기 GPU 에서 확인.
6. 긴 prompt vs 짧은 prompt — text condition 의 길이가 cross-attn 비용을 얼마나 흔드는지 측정. (보통 적음)

강의 자체의 transcript / 슬라이드가 없어 — 본문은 FastVideo repo / STA 논문 / 일반적 video diffusion 가속 자료의 재구성. 영상 시청으로 검증할 사실들.

• 발표자 정체 — Hao AI Lab 의 Peiyuan Zhang (FastVideo 메인테이너) 또는 Hao Zhang 본인 가능성. 확인 필요.
• STA window 의 권장 default — (3,6,6) 와 (5,8,8) 중 어느 쪽이 강의에서 권장됐는지. 모델에 따라 다른 default 가 있을 가능성.
• distillation recipe — consistency 인지 progressive 인지, teacher 로부터 몇 epoch 학습하는지 — 강의 안 구체 수치는 미확인. repo 안에 있을 가능성.
• FP8 의 정확도 영향 — 강의에서 FID / quality metric 비교가 등장했는지. FP8 attention 의 안정성은 모델별로 다름.
• sequence parallel 의 communication 비용 — Ulysses 의 all-to-all 이 1.7M token 에서 얼마나 비싼지 timeline 비교. 강의에서 직접 보여줬을 가능성.
• HunyuanVideo / Wan2 의 license / production 사용 — 강의 시점의 모델 라이선스 / commercial 사용 가능성 미확인.
• 음성 / multi-modal 통합 — FastVideo 가 audio-conditioned 비디오까지 다루는지 확인 필요.