Distributed ML on consumer devices

2024–2025 의 LLM 학습은 거의 항상 NVLink 도메인 안의 8×H100 또는 그 위에 올라간 InfiniBand fabric 으로 이뤄진다. 그 시스템의 가정 — 대역폭은 충분하고 노드는 사라지지 않는다 — 이 깨질 때 무슨 일이 벌어지는가. consumer-grade hardware 위에서의 분산 학습은 그 가정의 정반대 환경이다.

강의가 던지는 세 개의 질문.

1. 대역폭이 1 Gbps 이하 — 100배 좁다 — 일 때, 어떤 알고리즘 변화가 학습을 가능하게 하는가.
2. 노드가 임의로 join/leave 하는 환경에서, 학습의 수렴은 어떻게 보존되는가.
3. 모든 노드가 동일하지 않은 — 다른 GPU, 다른 quantization, 다른 batch size — 환경에서 무엇을 통일하고 무엇을 자유롭게 둘 것인가.

consumer device 위에서의 학습 — 또는 보다 일반적으로 geographically distributed training — 은 2017 년 Google 의 federated averaging 논문 이후 학계의 주류에서 빠져 있었다. 데이터센터 안의 collective 가 모든 것을 풀었기 때문. 2024 부터 이 흐름이 다시 진지해진 이유가 셋.

• 모델 규모 vs 단일 클러스터의 한계 — 70B / 405B 모델이 한 데이터센터의 power envelope 을 넘기 시작. 여러 데이터센터에 걸쳐 학습할 필요가 다시 생김.
• compute 집중의 정치적 압력 — open / decentralized 학습에 대한 관심. Hyperbolic, Prime Intellect, Nous Research 같은 곳들이 실제로 시연.
• 알고리즘적 돌파 — DiLoCo (2023), DeMo (2024), OpenDiLoCo (2024) 가 “100배 적은 communication 으로 같은 정확도” 를 실증. 좁은 대역폭이 더 이상 deal-breaker 가 아님.

이 셋이 합쳐져서 — “집의 4090 으로 정말 큰 모델을 학습할 수 있는가” 가 academic question 에서 engineering question 으로 옮겨갔다. L099 는 그 engineering 의 정리.

consumer device 위에서의 분산 학습은 두 위상 중 하나로 정착한다. 중앙 server 가 있고 client 가 둘러싸는 federated, 또는 모든 노드가 대칭인 peer-to-peer. 알고리즘적 trade-off 가 둘 사이에서 갈린다.

현재 production 적인 시연 — Prime Intellect 의 OpenDiLoCo, Hyperbolic, Nous DisTrO — 모두 사실상 hub-and-spoke (federated) 구조를 채택했다. P2P 는 토이 / 연구 수준이 많고 production 에서는 아직 드물다. 이건 “server 가 가능하면 server 를 쓴다” 의 실용적 합의.

consumer 환경에서 학습이 가능해진 가장 큰 알고리즘 unlock 은 compressed communication. weight delta 또는 gradient 를 통째로 보내지 않고 — top-k, quantize, sketch — 가지치기.

대표적 압축 기법들.

• Top-k sparsification — gradient 의 절댓값 상위 k% 만 보냄. 나머지는 local 에 누적 (error feedback).
• Quantization — gradient 를 INT8 / INT4 로 양자화해 송신. 보통 stochastic rounding 과 함께.
• PowerSGD / sketching — gradient 를 low-rank 로 근사. 보낼 dimension 이 quadratic 하게 줄어든다.
• Delta-of-delta / momentum reuse — DeMo 가 도입. local momentum 을 활용해 보내야 할 update 자체를 줄임.

분산 학습의 통신량은 frequency × volume. 앞 섹션이 volume 을 줄이는 길이었다면, 이 섹션은 frequency 를 줄이는 — 또는 아예 동기화 자체를 깨는 — 길.

데이터센터 분산 학습의 표준 패턴 — DDP, FSDP, ZeRO, pipeline + tensor parallel 의 결합 (PCC, L Pattern) — 은 모두 NVLink/NVSwitch 의 고대역폭을 전제한다. consumer 에서는 그 전제가 깨지므로 다른 stack 이 필요하다.

academic 에 머물던 idea 들이 실제 multi-region run 으로 옮겨간 사례가 2024 부터 누적됐다. 강의에서 직접 거론됐을 가능성이 높은 시연들을 정리.

consumer 환경의 stack 은 알고리즘이 풀린다고 해도 운영 측면에서 새 종류의 문제를 만난다. 이 섹션은 그 문제 카테고리들을 정리.

• node churn — 노드가 임의로 join/leave. server 의 round 가 한 노드를 기다리면 망함. partial aggregation + timeout 이 표준 답.
• adversarial / Byzantine — 누가 nonsense gradient 를 보내면 어떻게 되는가. 학계는 trimmed mean / median aggregation 를 본다. production 에서는 권한 모델 (allowlist) 로 우회.
• data heterogeneity — 각 노드의 데이터 분포가 다르면 — non-IID — global 모델의 수렴이 손상. FedAvg 의 oldest 문제.
• hardware heterogeneity — 4090 / 3090 / M3 / 2080 이 섞이면 가장 느린 노드가 stragger. compute-aware scheduling 또는 local epoch 수 다르게.
• quantization 상태 차이 — INT8 모델을 FP16 모델과 합칠 때 numeric 충돌. dequantize 후 평균, 다시 quantize.
• 평가가 어려움 — distributed run 의 throughput 을 어떻게 비교할 것인가. wall clock 인지 token-throughput 인지 watt-hour 인지 — 합의된 metric 없음.

강의의 마지막 — “이 분야가 어디로 가고 있는가”. 강의자가 실제로 거론했을 가능성 큰 항목 + 같은 흐름의 paper 들로부터 외삽.

• MoE 의 자연스러운 fit — 전문가 모델을 노드 별로 분할 (expert parallelism) 하면 통신은 router decision 만. consumer 환경과 MoE 가 algorithmic 으로 잘 맞는다.
• heterogeneous quantization — 4090 은 FP16 / FP8, M3 는 BF16, 옛 카드는 INT8. 같은 학습에서 노드 별로 다른 precision 을 쓰고 server 가 합칠 때만 통일.
• federated fine-tuning — pretrain 은 데이터센터, fine-tune 은 consumer device. 더 보수적인 시작점이지만 즉시 가치.
• blockchain / incentive layer — Prime Intellect 같은 곳들의 다음 step. 일을 한 노드에 token reward. 학습 자체를 시장으로.
• RL post-training 의 분산 — RLHF / DPO 의 rollout 은 data parallel 친화적. consumer GPU 가 rollout 을 담당하는 hybrid stack.

손에 새기기 — 실습 시퀀스

1. FedAvg toy — MNIST 위에서 4 worker FedAvg 를 한 GPU 안에서 simulate. H step 변화에 따른 수렴 비교.
2. DiLoCo 소규모 재현 — OpenDiLoCo 의 example 을 그대로 실행. 통신량 측정.
3. top-k compression — 단일 GPU 에서 gradient 의 top-1% 만 적용 vs 전부 적용 — 정확도 차이를 직접 본다.
4. node churn simulation — 4 worker 중 random 1 명을 매 round drop. server 의 timeout 로직이 어떻게 동작해야 하는지 직접 짜본다.
5. heterogeneous batch — worker 마다 batch size 가 다른 시나리오. effective learning rate 의 차이가 수렴에 미치는 영향 측정.

• 강의에서의 구체적 demo — Matt Beton 이 자신의 시스템 / 회사를 발표했는지, 또는 일반론적 survey 였는지 자막 실패로 확인 안 됨. (확인 필요)
• specific 수치 — “100×” “1/100 대역폭” 같은 구체 수치는 DiLoCo / DeMo / OpenDiLoCo 보고서로부터의 추정. 강의의 직접 인용은 미확인. (확인 필요)
• incentive layer — 강의에서 token / blockchain 측면을 다뤘는지. Matt 의 배경에 따라 다를 수 있음. (확인 필요)
• hardware heterogeneity 의 구체적 실증 — 4090 + M3 같은 ARM/x86 mixed setup 이 실제로 시연됐는지 — 일반적으로 어려움. (확인 필요)
• RL post-training 과의 결합 — rollout 단계의 분산이 어디까지 갔는지 — 이 강의 시점에서의 state. (확인 필요)