NVIDIA Profiling

L001 이 “기본 프로파일러 4개” 의 진입 순서를 깔았다면, 이 강의는 NVIDIA 가 직접 제공하는 도구 군 전체의 지도를 본다. 같은 워크로드를 다른 도구로 보면 다른 정보가 잡힌다. 도구 선택이 곧 질문 선택이다.

강의 transcript 가 누락되어 정확한 발화 시퀀스는 영상 직접 확인이 필요하지만, 토픽이 가리키는 자리는 분명하다 — NVIDIA profiling 도구 전체의 역할 분담과 진입 순서를 한 시간 안에 깐다. PyTorch 사용자가 자기 워크로드의 어떤 질문에 어떤 도구를 들이대야 하는지의 의사결정 프레임.

본 노트의 작성 원칙 — transcript 가 없으므로 강의의 정확한 강조점은 보존하지 못한다. 대신 NVIDIA 공식 문서 + L001/L008/L016 의 강의 어휘 로 “이 강의가 거의 확실히 다뤘을 자리들” 을 정리한다. 모든 항목에 “영상 직접 확인 필요” 가 묵시적으로 붙어 있다.

현재 NVIDIA 가 제공하는 profiling 도구는 6개로 묶을 수 있다. 각 도구가 답하는 질문이 다르다는 사실 — 도구를 한 곳에 늘어놓고 보면 자명하다.

이 6개의 관계 — CUPTI 가 가장 아래의 SDK고, 그 위에 Nsys, NCU 가 두 큰 도구로 자리 잡는다. NVTX 는 두 도구 모두에 메타데이터를 주는 marker. Compute Sanitizer 는 별도 라인 (정확성). Nsight Graphics 는 ML 외 영역.

NCU 가 한 커널에 대해 보여주는 metric 수는 800 개를 넘는다. 모두 다 볼 수는 없다. NVIDIA 가 제공하는 section file 이 카테고리별로 묶어준다.

이 8개 section 의 진입 순서가 곧 NCU 사용 워크플로 — SpeedOfLight 로 큰 그림 → Memory or Pipeline 둘 중 어느 쪽이 bottleneck → WarpStateStatistics 로 stall 카테고리 확인 → Source view 로 책임 라인 식별.

Nsys 의 강점은 scope. NCU 가 한 커널 launch 안을 깊이 보는 도구라면, Nsys 는 여러 process / GPU / CPU thread 를 한 timeline 에 같이 그린다. distributed training 의 진단 도구.

# 가장 작은 Nsys 사용 — CLI
nsys profile -t cuda,nvtx,cudnn,cublas \
  -o profile.qdrep \
  python train.py --steps=10

# 결과 .qdrep 또는 .nsys-rep 를 GUI 로 열기
# 또는 CLI 로 stats 추출:
nsys stats profile.nsys-rep \
  --report cuda_kernel_sum

# Distributed: 각 rank 별 trace 를 GUI 에서 같이 열기
# nsys 가 다중 process 를 자동으로 한 화면에 정렬한다

기본 프로파일링은 커널 이름 단위로 trace 를 잘라준다. 하지만 사람이 보고 싶은 단위는 보통 의미 단위 — “attention forward”, “MLP block”, “optimizer step”. NVTX 가 이 매핑.

# PyTorch + NVTX
import torch.cuda.nvtx as nvtx

def forward(x):
    nvtx.range_push("attention")
    nvtx.range_push("qk_matmul")
    qk = q @ k.transpose(-1, -2)
    nvtx.range_pop()

    nvtx.range_push("softmax")
    p = qk.softmax(-1)
    nvtx.range_pop()

    nvtx.range_push("pv_matmul")
    out = p @ v
    nvtx.range_pop()
    nvtx.range_pop()  # attention

# 이제 Nsys / NCU 의 timeline 에 "attention" 박스가 직접 보인다
# Nsys CLI 로 NVTX 별 stats 도 추출 가능:
#   nsys stats --report nvtx_sum profile.nsys-rep

NCU 가 좋은 점은 — metric 만 dump 하는 게 아니라 “이걸 고치면 X% 빨라진다” 의 hint 까지 박아준다는 것. ML 사용자가 자주 만나는 hint 5개를 정리.

L043 의 5단계 사다리가 이 hint 들의 직접적 응답이었다는 것을 다시 떠올리면 — uncoalesced → column-major fix, long scoreboard → SMEM tile, tail effect → register tile. 각 hint 가 곧 fix 의 trigger.

실용적인 함정. NCU 는 hardware performance counter 에 직접 접근한다. 보안 및 multi-tenant 제약 때문에 cloud 환경에서는 종종 막혀 있다.

실전 팀의 패턴 — profiling 결과를 사람이 매번 읽지 않는다. 핵심 metric 만 추출해서 CI 의 regression test 로.

# NCU 결과를 JSON 으로 export
ncu --set full --target-processes all \
    --export profile.ncu-rep \
    --csv \
    -k regex:my_kernel_name \
    python bench.py

ncu --import profile.ncu-rep --csv \
    --metrics gpu__time_duration.sum,sm__throughput.avg.pct_of_peak_sustained_elapsed \
    --csv > metrics.csv

# Python 후처리 — 임계치 검사
import pandas as pd
df = pd.read_csv("metrics.csv")
peak_pct = df["sm__throughput.avg.pct_of_peak_sustained_elapsed"].mean()
assert peak_pct > 60, f"regression: {peak_pct}%"

이 자동화의 가치 — 사람이 매번 NCU GUI 열고 화면 비교하는 대신, commit 별 metric 변화를 dashboard 에 자동 plot. regression 이 PR 단계에서 잡힌다.

실전에서 “이 hint 의 정확한 의미가 뭐지?” 또는 “이 metric 어떻게 측정되지?” 를 찾을 때 가는 자리들.

강의 transcript 가 누락된 강의 — 본 노트의 모든 자리는 도메인 지식 + L001/L008/L016 의 어휘 기반의 추정. 영상 직접 확인 필요한 사항들.

• 강의 speaker 의 정체 — 영상 메타데이터에 speaker 이름이 누락. NVIDIA developer relations 인사 가능성, 또는 NVIDIA Nsight 팀 직원 가능성. 영상 직접 확인 필요.
• 강의가 직접 시연한 도구 — 본 노트의 6개 도구 군이 실제 강의에서 모두 다뤄졌는지, 일부에 집중했는지 미확인. 영상 직접 확인 필요.
• 구체적 worked example — 어떤 PyTorch / CUDA 코드를 실제로 profiling 했는지. L043 같은 worked example 형식인지, 아니면 도구 reference 형식인지.
• CUDA 12.x 의 새 metric — 강의 시점(2025-02) 의 CUDA 버전에 새로 추가된 metric 들 (예: Hopper SM 의 새 counter) 이 다뤄졌는지 미확인.
• roofline analysis 의 자리 — NCU 가 roofline plot 까지 그려주는데 본 강의가 이 자리를 다뤘는지 — 보통 profiling 강의가 다루는 표준 자료. 영상 확인 필요.
• PyTorch profiler 와의 비교 — torch.profiler / kineto 가 같은 정보를 일부 제공. 두 도구의 trade-off 가 다뤄졌는지 미확인.