繁體中文全譯本 · 互動版

超大規模訓練實戰手冊
The Ultra-Scale Playbook

Hugging Face nanotron 團隊著(Nouamane Tazi、Ferdinand Mom、Haojun Zhao、Phuc Nguyen、Mohamed Mekkouri、Leandro von Werra、Thomas Wolf)。從單 GPU 的記憶體剖析出發,一路走到資料/張量/上下文/管線/專家五維平行、GPU kernel 最佳化與混合精度——在 GPU 叢集上訓練大型語言模型所需的一切。每章附互動實驗。

由台灣 Twinkle AI Community 翻譯維護的非官方社群翻譯版本。

12章節
4附錄
134插圖
16互動實驗
—GitHub ★

章節

互動實驗導論導論與全書鳥瞰Introduction & High-Level Overview為什麼要學大規模訓練、全書地圖與速查表。 互動實驗第 1 章第一步:單 GPU 訓練First Steps: Training on one GPUTransformer 記憶體剖析、活化重算與梯度累積。 互動實驗第 2 章資料平行Data ParallelismDP 通訊與計算重疊、全域批次大小,與 ZeRO 1/2/3 分片。 互動實驗第 3 章張量平行Tensor Parallelism行/列切分線性層、Transformer 區塊的 TP 與序列平行。 互動實驗第 4 章上下文平行Context Parallelism超長序列的活化記憶體、Ring Attention 與 Zig-Zag 平衡。 互動實驗第 5 章管線平行Pipeline ParallelismAFAB、1F1B、交錯階段到 Zero Bubble 與 DualPipe。 互動實驗第 6 章專家平行Expert ParallelismMoE 模型的專家分片與路由。 互動實驗第 7 章5D 平行速覽5D Parallelism in a NutshellDP/TP/SP/CP/PP/EP 全家族的統一視角與組合原則。 互動實驗第 8 章尋找最佳訓練配置Finding the Best Training Configuration三步驟:塞進記憶體、達成目標批次、最大化吞吐;數千組實測的教訓。 互動實驗第 9 章深入 GPU:架構與核心Diving in the GPUs: Architecture & KernelsGPU 架構速成、執行緒與記憶體階層、寫出高效 kernel。 互動實驗第 10 章融合核心、Flash Attention 與混合精度Fused Kernels, Flash Attention & Mixed Precisionkernel 融合、FA1-3 的記憶體魔法,與 FP32/BF16/FP8 訓練。 互動實驗結語結語與展望Conclusion全書回顧、下一步,與致謝。

附錄與資源

互動實驗附錄 A0平行程式設計速成A0: Parallel Programming Crash Coursebroadcast、all-reduce、scatter/gather 等集體通訊操作。 互動實驗附錄 A1分散式訓練效能分析A1: Distributed Training Profiling用 profiler 看懂 kernel 與通訊的時間軸。 互動實驗附錄 A2LLM 訓練的典型尺度A2: Typical Scales in LLM Training模型、批次、叢集規模的數量級速查。 互動實驗附錄 A3計算/通訊重疊的數學A3: Math for Compute/Communication Overlap各平行策略下重疊條件的推導。 參考資源參考資源References里程碑論文、訓練框架、除錯與硬體資源的註解書單。