從零打造 LLM
互動教材

AI⊃ML⊃DL⊃LLM 圈層探索器 · transformer 家族（BERT vs GPT）· GPT-3 訓練資料規模長條 · 自回歸接龍動畫 · zero-shot vs few-shot · 三階段路線圖

斷詞實驗器 · tokenizer encode/decode 往返 · <|unk|> 與 BPE 子詞探索 · 滑動視窗取樣滑桿 · embedding 查表（seed 123 真實矩陣）· token+position 組裝

點積相似度 hover 實驗 · 6×6 注意力熱度矩陣 · QKV 投影 stepper（書中真實數值）· √d 縮放實驗 · causal mask 兩做法對照 · multi-head 切分視覺化

GPT_CONFIG · LayerNorm 逐步 stepper · 梯度消失/爆炸實驗室（真實訓練 300 步）· GELU 生死線 · 前向×反向傳播 · 參數計算器 · greedy 生成模擬

cross entropy 六步推導（書中真實數值）· perplexity 標尺 · train/val 切分視覺化 · 10-epoch 訓練播放器（overfitting 實錄）· temperature / top-k 抽樣實驗 · GPT-2 權重對應搬運

spam 資料平衡/切分視覺化 · tokenize+pad 探索器 · 凍結策略與可訓練參數 · 為何取最後一個 token · 5-epoch 訓練播放器（95.67% 測試準確率）· 上場判定 demo

Alpaca 格式組裝 · custom collate 五步 stepper（-100 遮罩）· ignore_index 互動 · GPT-2 355M 微調播放器 · 微調前後對照 · Llama 3 當裁判打分數