Hugging Face nanotron 團隊著(Nouamane Tazi、Ferdinand Mom、Haojun Zhao、Phuc Nguyen、Mohamed Mekkouri、Leandro von Werra、Thomas Wolf)。從單 GPU 的記憶體剖析出發,一路走到資料/張量/上下文/管線/專家五維平行、GPU kernel 最佳化與混合精度——在 GPU 叢集上訓練大型語言模型所需的一切。每章附互動實驗。
由台灣 Twinkle AI Community 翻譯維護的非官方社群翻譯版本。