習(xí)實(shí)戰(zhàn)：環(huán)境搭建、網(wǎng)絡(luò)訓(xùn)練與調(diào)試全攻略)
這系列寫(xiě)到第五篇了。前幾篇聊過(guò) Python 語(yǔ)法、NumPy 運(yùn)算和最簡(jiǎn)單的線性分類(lèi)器不少讀者在評(píng)論區(qū)問(wèn)為什么書(shū)上的神經(jīng)網(wǎng)絡(luò)圖畫(huà)得明明白白輪到自己寫(xiě)就總是報(bào)錯(cuò)這篇我不打算再堆概念而是把環(huán)境搭建、三種最常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練細(xì)節(jié)和排查經(jīng)驗(yàn)按真實(shí)項(xiàng)目節(jié)奏串一遍。你需要的 Python、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)核心點(diǎn)都會(huì)出現(xiàn)并且所有內(nèi)容都以能跑通為準(zhǔn)。適合剛接觸深度學(xué)習(xí)、想盡快搭出自己第一個(gè)模型的初學(xué)者也適合被各種教程繞暈、想回到主線復(fù)習(xí)一遍的人。先說(shuō)清楚這篇代碼風(fēng)格偏 PyTorch因?yàn)閯?dòng)態(tài)圖對(duì)新手友好。你習(xí)慣用別的框架核心概念一樣能遷移。1. 準(zhǔn)備一套順手的學(xué)習(xí)環(huán)境1.1 先定一個(gè)能驗(yàn)證的小目標(biāo)這個(gè)目標(biāo)不是“裝完某個(gè)軟件”而是讓下面這條命令正常運(yùn)行python -c import torch; print(torch.cuda.is_available())如果你沒(méi)有獨(dú)立顯卡輸出False也沒(méi)關(guān)系CPU 上一樣能跑通后面的例子只是慢一些。先把環(huán)境跑通再考慮硬件。很多初學(xué)者一上來(lái)就折騰 CUDA、驅(qū)動(dòng)、多卡訓(xùn)練結(jié)果裝了兩天環(huán)境模型一行沒(méi)寫(xiě)。正確的順序應(yīng)該是先能 import再能跑小模型最后才談加速。1.2 Python版本和虛擬環(huán)境的選擇Python 版本我建議用 3.10 或 3.11。太新的版本偶爾會(huì)遇到個(gè)別包還沒(méi)有對(duì)應(yīng)的編譯產(chǎn)物太老的版本又會(huì)影響新庫(kù)的兼容性。選擇一個(gè)穩(wěn)定分支然后用venv或conda建一個(gè)干凈的虛擬環(huán)境。為什么一定要虛擬環(huán)境因?yàn)椴煌?xiàng)目依賴的包版本可能沖突。今天為項(xiàng)目 A 裝的新版庫(kù)可能明天就把項(xiàng)目 B 搞崩。一開(kāi)始養(yǎng)成隔離的習(xí)慣后面會(huì)少很多痛苦。裝依賴也有順序先把 NumPy、Pandas、Matplotlib 這些基礎(chǔ)庫(kù)裝好做圖像實(shí)驗(yàn)再加 OpenCVpip install opencv-python做文本實(shí)驗(yàn)再按需裝分詞相關(guān)包。不要一次性把所有可能的包都裝上用到什么裝什么不然環(huán)境會(huì)變得非常亂。1.3 深度學(xué)習(xí)框架選型與安裝目前 PyTorch 在科研和工程里的采用率都很高它的動(dòng)態(tài)計(jì)算圖讓打印每一步 tensor 的 shape 變得非常自然。跑一句安裝命令pip install torch torchvision torchaudiotorchvision里帶著常用數(shù)據(jù)集和預(yù)訓(xùn)練模型對(duì)學(xué)習(xí)很有幫助。TensorFlow 也依然有很多存量項(xiàng)目在用。如果你是新手我更建議先用 PyTorch 把原理吃透后面遷移概念也不難?？蚣懿皇切叛瞿軒湍阕羁祢?yàn)證想法的那把工具就是好工具。安裝時(shí)注意pip默認(rèn)裝的是 CPU 版本還是 GPU 版本視具體環(huán)境而定。如果你的機(jī)器有 NVIDIA 顯卡就去官網(wǎng)找到對(duì)應(yīng) CUDA 版本的安裝命令如果只是學(xué)習(xí)CPU 版完全夠。換源那些事就不展開(kāi)了裝不上時(shí)優(yōu)先檢查 Python 版本和 pip 是否太老。1.4 沒(méi)有GPU怎么把流程跑通很多人卡在“沒(méi)有 GPU 就不能學(xué)深度學(xué)習(xí)”的印象里。其實(shí)入門(mén)階段跑小模型CPU 完全能扛。手寫(xiě)數(shù)字集這種規(guī)模的數(shù)據(jù)用幾層卷積網(wǎng)絡(luò)在 CPU 上幾分鐘一個(gè) epoch 也很常見(jiàn)。真正需要 GPU 的是大模型、大圖、大 batch。如果你手里只有普通電腦有兩個(gè)辦法一是先在小數(shù)據(jù)集上把流程跑通二是用一些免費(fèi)的在線 notebook 平臺(tái)。但要注意云平臺(tái)的免費(fèi)額度限制比較多別拿它當(dāng)生產(chǎn)環(huán)境用。我的建議是寧可模型小一點(diǎn)也要保證迭代體驗(yàn)。一個(gè) 5 分鐘能跑完一輪實(shí)驗(yàn)的小模型遠(yuǎn)比一個(gè) 50 分鐘才能跑一輪的大模型適合學(xué)習(xí)。2. 先把神經(jīng)網(wǎng)絡(luò)骨架搭起來(lái)2.1 前饋網(wǎng)絡(luò)到底在做什么前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以理解成一條流水線。輸入是一批特征隱藏層負(fù)責(zé)把特征逐層加工輸出層給出結(jié)果。單看一層h W x b它本質(zhì)上只是一個(gè)線性變換加平移。如果沒(méi)有激活函數(shù)多層線性變換疊在一起仍然是一次線性變換擬合能力很有限。激活函數(shù)ReLU、Sigmoid 等引入非線性后網(wǎng)絡(luò)才能逼近復(fù)雜的函數(shù)關(guān)系。這也是“深度學(xué)習(xí)”里“深度”二字的直接含義層數(shù)越多能表達(dá)的函數(shù)理論上越復(fù)雜。但層數(shù)加深會(huì)帶來(lái)優(yōu)化困難不能簡(jiǎn)單理解成“層數(shù)越多越好”。你先記住一條主線前向傳播算出結(jié)果反向傳播更新參數(shù)中間靠激活函數(shù)保證非線性。2.2 反向傳播的鏈?zhǔn)椒▌t手推一次反向傳播的本質(zhì)是鏈?zhǔn)椒▌t。拿單個(gè)神經(jīng)元舉例z wx b a σ(z) L 0.5 * (y - a)^2要求參數(shù)w對(duì)損失的影響把它拆開(kāi)dL/dw (dL/da) * (da/dz) * (dz/dw)三部分分別對(duì)應(yīng)(a - y)、σ(z)、x。這就是為什么誤差能“反向傳”回去不是重新算一遍網(wǎng)絡(luò)而是借助計(jì)算圖從后往前逐個(gè)求偏導(dǎo)。PyTorch 里調(diào)用loss.backward()之后每個(gè)requires_gradTrue的參數(shù)都會(huì)得到.grad屬性底層就是在做這件事。很多教材把反向傳播寫(xiě)成長(zhǎng)長(zhǎng)的公式初學(xué)者容易被勸退。我的建議是先手推這個(gè)單神經(jīng)元例子再去看框架里的自動(dòng)求導(dǎo)。你會(huì)發(fā)現(xiàn)那些看起來(lái)很?chē)樔说墓铰涞酱a里就是三行。理解了鏈?zhǔn)椒▌t后面不管是 CNN 還是 LSTM原理上都是同一套邏輯。2.3 一個(gè)能跑的三層MLP用 PyTorch 定義一個(gè)三層全連接網(wǎng)絡(luò)很簡(jiǎn)單import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) self.relu nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x)))訓(xùn)練循環(huán)四步是固定的model MLP(784, 128, 10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(5): for x_batch, y_batch in loader: optimizer.zero_grad() out model(x_batch) loss loss_fn(out, y_batch) loss.backward() optimizer.step()新手最容易踩的坑是漏掉optimizer.zero_grad()。PyTorch 默認(rèn)會(huì)累加梯度如果不清零上一批的梯度會(huì)疊加到下一批loss 曲線就會(huì)亂跳。清梯度這一行一定要放在每個(gè) batch 的前向計(jì)算之前。2.4 最容易忽略的維度檢查MLP 要求每個(gè)樣本是一個(gè)一維向量。圖像進(jìn)來(lái)如果還是H×W×C的矩陣要先展平x x.view(x.size(0), -1)x.size(0)是 batch 里的樣本數(shù)不能丟-1表示自動(dòng)推斷剩余維度。很多報(bào)錯(cuò)都發(fā)生在這一步忘了展平、維度算錯(cuò)、或者把 batch 維當(dāng)成了特征維。排查維度問(wèn)題時(shí)在forward里臨時(shí)加一句print(x.shape)是最快的定位方式。一個(gè)模型寫(xiě)完先把輸入輸出打印一遍再開(kāi)始訓(xùn)練能省一大堆時(shí)間。3. 圖像任務(wù)從像素到高維向量3.1 為什么要用卷積而不是全連接把一張 224×224 的彩色圖拉成長(zhǎng)向量維度是 150528。如果第一層全連接接 512 個(gè)神經(jīng)元光這一層參數(shù)量就超過(guò) 7700 萬(wàn)。不僅顯存放不下還會(huì)嚴(yán)重過(guò)擬合。卷積網(wǎng)絡(luò)用兩個(gè)核心思想解決這個(gè)問(wèn)題局部連接和權(quán)值共享。每個(gè)卷積核只關(guān)注一小塊區(qū)域同一層的所有位置共用同一個(gè)卷積核參數(shù)量被大幅壓縮。用生活里的例子理解全連接是“每個(gè)人都找每個(gè)人匯報(bào)”卷積是“幾個(gè)小組長(zhǎng)只看自己片區(qū)”。后者顯然更輕量也更能抓到局部特征。3.2 卷積、填充與池化的尺寸計(jì)算卷積核從輸入左上角開(kāi)始按stride步長(zhǎng)滑動(dòng)。padding1表示在邊緣補(bǔ)一圈 0避免邊緣信息丟失。輸出尺寸公式out floor((in 2 * padding - kernel) / stride) 1例如輸入 32×32kernel3padding1stride1輸出還是 32×32。再做一次 2×2 的 MaxPooling尺寸變成 16×16。MaxPooling 取每個(gè)窗口里的最大值相當(dāng)于在保留顯著特征的同時(shí)縮小空間尺寸。這里有個(gè)新手常見(jiàn)誤區(qū)卷積核數(shù)量不等于輸入通道數(shù)。第一層輸入是 RGB 三個(gè)通道用 8 個(gè)卷積核會(huì)輸出 8 個(gè)通道。下一層的輸入就變成了 8 通道。通道數(shù)越大網(wǎng)絡(luò)對(duì)特征的表達(dá)能力越強(qiáng)但計(jì)算量也越大。3.3 人臉識(shí)別里那個(gè)高維向量是怎么來(lái)的人臉識(shí)別是理解“圖像怎么變成向量”的典型場(chǎng)景。你輸入的是一張H×W×3的人臉圖經(jīng)過(guò)若干卷積、ReLU、池化之后變成H×W×C的特征圖。這個(gè)過(guò)程里空間維度在縮小通道數(shù)在增加相當(dāng)于把“在哪個(gè)位置有什么特征”逐步編碼成“有哪些特征”。網(wǎng)絡(luò)最后一步通常不是直接輸出類(lèi)別而是把特征圖展平再接一個(gè)全連接層輸出比如 128 維或 512 維的向量。這個(gè)向量叫人臉表征也叫 embedding。訓(xùn)練時(shí)讓同一個(gè)人的兩張臉向量距離盡量近不同人的臉向量距離盡量遠(yuǎn)。推理時(shí)只比較兩個(gè)向量的余弦相似度超過(guò)某個(gè)閾值就判定為同一個(gè)人。所以整個(gè)鏈路是人臉圖 → 卷積池化 → 特征圖 → 展平 → 全連接 → 高維向量 → 相似度比較。這就是“從圖像到高維向量”的全部故事不算玄學(xué)。3.4 一個(gè)最小CNN的PyTorch實(shí)現(xiàn)一個(gè)能跑的最小卷積網(wǎng)絡(luò)長(zhǎng)這樣import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1) self.pool nn.MaxPool2d(2) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.fc nn.Linear(32 * 8 * 8, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 假設(shè)輸入 32x32x3 x self.pool(F.relu(self.conv2(x))) # 變成 8x8x32 x x.view(x.size(0), -1) return self.fc(x)假設(shè)輸入是 32×32 的 RGB 圖兩次 2×2 池化之后空間尺寸變成 8×8通道數(shù) 32所以全連接層輸入是32 * 8 * 8。換數(shù)據(jù)集時(shí)輸入尺寸一旦變了這里的數(shù)字就得跟著改。學(xué)會(huì)推導(dǎo)尺寸比背代碼更重要。4. 序列任務(wù)讓網(wǎng)絡(luò)擁有記憶4.1 RNN的基本想法全連接網(wǎng)絡(luò)把每個(gè)樣本當(dāng)成孤立的點(diǎn)但文本、語(yǔ)音、時(shí)間序列這些數(shù)據(jù)的特點(diǎn)是樣本內(nèi)部有先后順序。RNN 在每一步把當(dāng)前輸入x_t和上一步的隱狀態(tài)h_t-1放在一起計(jì)算輸出當(dāng)前步的h_t。相當(dāng)于網(wǎng)絡(luò)一直帶著一個(gè)不斷更新的“工作記憶”用前面的信息來(lái)理解當(dāng)前的內(nèi)容。你讀這句話“銀行前面的河”到“河”的時(shí)候網(wǎng)絡(luò)需要記住“銀行”不是金融機(jī)構(gòu)而是河岸。RNN 就是為了這種場(chǎng)景設(shè)計(jì)的。4.2 從RNN到LSTM的門(mén)控設(shè)計(jì)原始 RNN 在長(zhǎng)序列上容易梯度消失原因是從后往前反傳時(shí)梯度要乘很多次同一個(gè)矩陣越傳越小。LSTM 在循環(huán)單元里加了幾道門(mén)——遺忘門(mén)、輸入門(mén)、輸出門(mén)讓信息可以選擇性寫(xiě)入和丟棄。用大白話講該忘的忘掉該記的記下來(lái)合適的時(shí)候再拿出來(lái)。所以 LSTM 能處理更長(zhǎng)的依賴關(guān)系。你不需要死記 LSTM 內(nèi)部公式只需要建立一個(gè)心理模型它有一個(gè)“長(zhǎng)期記憶”通道門(mén)控決定哪些信息流進(jìn)去、哪些信息流出來(lái)。想深入研究時(shí)再打開(kāi)公式看每一行的作用。4.3 LSTM在PyTorch里的正確打開(kāi)方式LSTM 的使用比全連接層稍微復(fù)雜一點(diǎn)主要在于維度?？催@個(gè)分類(lèi)器class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) return self.fc(h[-1])重點(diǎn)說(shuō)兩個(gè)坑。第一nn.LSTM默認(rèn)輸入格式是(seq_len, batch, input_size)如果你習(xí)慣把 batch 放第一維一定要設(shè)置batch_firstTrue否則后面所有 shape 都會(huì)對(duì)不上。第二返回值里out是每個(gè)時(shí)間步的輸出形狀是(batch, seq_len, hidden_size)h是最后一層的最終隱狀態(tài)形狀是(num_layers, batch, hidden_size)。取h[-1]作為全連接輸入是最常見(jiàn)的做法也可以對(duì)out做 mean pooling兩種都可以但別無(wú)腦混用。4.4 文本預(yù)處理從字符串到id序列LSTM 吃的是 id 序列所以文本要經(jīng)過(guò)分詞、建詞表、把詞轉(zhuǎn)成 id。由于同一個(gè) batch 里句子長(zhǎng)度不同通常要 padding 到一樣長(zhǎng)再通過(guò) Embedding 層把 id 變成稠密向量。這是 NLP 入門(mén)最常見(jiàn)的管線。padding 時(shí)有個(gè)細(xì)節(jié)填充位置的值通常是 0但網(wǎng)絡(luò)不會(huì)自動(dòng)忽略它。等模型跑通后可以再考慮在 loss 里做 mask讓填充位置不參與計(jì)算。初學(xué)階段先樸素地 padding跑通主線再回來(lái)優(yōu)化。5. 訓(xùn)練過(guò)程里容易被忽略的細(xì)節(jié)5.1 損失函數(shù)不是隨便選的分類(lèi)任務(wù)用CrossEntropyLoss回歸任務(wù)用MSELoss多標(biāo)簽分類(lèi)用BCEWithLogitsLoss。新手最常見(jiàn)的錯(cuò)誤是拿分類(lèi)任務(wù)卻用了 MSE結(jié)果收斂極慢。損失函數(shù)的形狀決定了梯度的性質(zhì)交叉熵配合最后的 Softmax讓網(wǎng)絡(luò)在預(yù)測(cè)錯(cuò)誤時(shí)梯度更大更新方向也更直接。這就像考試打分錯(cuò)得離譜時(shí)扣分要狠一點(diǎn)學(xué)得才快。5.2 多任務(wù)場(chǎng)景下怎么調(diào)Loss比例做多任務(wù)學(xué)習(xí)時(shí)總 loss 往往是多個(gè)損失的加權(quán)和。最簡(jiǎn)單的方法是固定權(quán)重比如loss loss_a 0.5 * loss_b。但兩個(gè)任務(wù)尺度可能差很多這就引出一個(gè)更精細(xì)的方法不確定性加權(quán)。讓網(wǎng)絡(luò)自己學(xué)習(xí)每個(gè)損失的不確定性 σloss 0.5 / σ1^2 * L1 log(σ1) 0.5 / σ2^2 * L2 log(σ2)直觀理解不確定的任務(wù)權(quán)重低一些后面的log(σ)項(xiàng)防止權(quán)重跑到零。在 PyTorch 里把log_var作為可學(xué)習(xí)參數(shù)即可。不過(guò)對(duì)新手我的建議是先固定權(quán)重觀察兩個(gè)任務(wù)的 loss 量級(jí)再調(diào)整不要一上來(lái)就上復(fù)雜方法。量級(jí)差很多時(shí)優(yōu)先把大數(shù)量級(jí)的 loss 權(quán)重調(diào)小。5.3 正則化weight_decay與DropoutL2 正則化在 PyTorch 里最常見(jiàn)實(shí)現(xiàn)就是在優(yōu)化器里加weight_decayoptimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)它等價(jià)于在 loss 里加一個(gè)參數(shù)平方和的懲罰項(xiàng)把參數(shù)往零附近拉。想手動(dòng)加也行l(wèi)2_reg sum(p.pow(2).sum() for p in model.parameters()) loss ce_loss 1e-4 * l2_regDropout 是另一種正則化。訓(xùn)練時(shí)隨機(jī)把部分神經(jīng)元的輸出置零相當(dāng)于每次都在訓(xùn)練一個(gè)不同的子網(wǎng)絡(luò)推理時(shí)關(guān)閉 Dropout泛化能力會(huì)更好。注意如果訓(xùn)練集 loss 都不下降先別急著加正則化往往是模型容量或數(shù)據(jù)管線出了問(wèn)題。5.4 超參數(shù)默認(rèn)值、模型保存與加載給一組能直接上手的默認(rèn)值學(xué)習(xí)率1e-3batch size 32 或 64優(yōu)化器 Adamepoch 先設(shè) 5。學(xué)得太慢就把學(xué)習(xí)率降到1e-4loss 爆掉就再降到1e-5。Batch size 不是越大越好太小梯度抖動(dòng)大太大顯存扛不住。最重要的檢查是先用幾十條數(shù)據(jù)讓模型完全過(guò)擬合。如果連過(guò)擬合都做不到代碼里一定有 bug。模型保存時(shí)用狀態(tài)字典torch.save(model.state_dict(), model.pt)加載時(shí)先創(chuàng)建相同結(jié)構(gòu)的模型再load_state_dict。不要直接序列化整個(gè) model 對(duì)象跨環(huán)境容易踩兼容性的坑。另外每次實(shí)驗(yàn)都把超參數(shù)記到日志里否則調(diào)了兩天后你根本不知道哪個(gè)組合是有效的。6. 高頻報(bào)錯(cuò)與排查實(shí)錄6.1 維度不匹配的速查表訓(xùn)練深度學(xué)習(xí)模型八成時(shí)間都在跟維度做斗爭(zhēng)。這是我整理的高頻問(wèn)題速查報(bào)錯(cuò)特征常見(jiàn)原因處理辦法size mismatch線性層輸入維度和實(shí)際特征數(shù)不一致在forward里打印x.shape看最后一維Expected 4D inputConv 層收到了 2D 輸入檢查是否少了view或unsqueeze把通道維補(bǔ)上mat1 and mat2 shapes cannot be multiplied矩陣乘法維度對(duì)不上看兩個(gè)矩陣的第二維和第一維是否相等LSTM 相關(guān) shape 不對(duì)batch_first設(shè)置不對(duì)或混淆out和h統(tǒng)一把 batch 放第一維確認(rèn)返回值含義出現(xiàn)維度報(bào)錯(cuò)時(shí)不要慌?？蚣芤呀?jīng)告訴你哪兩個(gè) tensor 沒(méi)法算這時(shí)在forward里臨時(shí)加print(x.shape)一行一行定位。記住訓(xùn)練代碼炸在loss.backward()根因往往在前向的某一步。6.2 Loss為NaN或完全不下降NaN最常見(jiàn)的原因是學(xué)習(xí)率太大梯度爆炸其次是輸入數(shù)據(jù)里有 NaN 或 inf。排查順序打印 loss 數(shù)值把學(xué)習(xí)率調(diào)小一百倍再試檢查數(shù)據(jù)歸一化檢查有沒(méi)有l(wèi)og(0)。如果 loss 卡在一個(gè)值不動(dòng)可能是模型太簡(jiǎn)單、沒(méi)有非線性、或者優(yōu)化器參數(shù)沒(méi)更新。檢查一下optimizer.param_groups[0][params]里每個(gè)參數(shù)的grad是不是None。另外有個(gè)容易被忽略的點(diǎn)多分類(lèi)任務(wù)的標(biāo)簽要從 0 開(kāi)始連續(xù)編號(hào)如果標(biāo)簽從 1 開(kāi)始CrossEntropyLoss不會(huì)直接報(bào)錯(cuò)但 loss 會(huì)一直很大、很難降下去。6.3 縮小問(wèn)題范圍的三板斧遇到任何問(wèn)題先把數(shù)據(jù)量縮小到batch2模型縮小到單層網(wǎng)絡(luò)跑通再放大。這樣能快速排除“數(shù)據(jù)太大、模型太深”的干擾。我見(jiàn)過(guò)有人為了一個(gè)初始化問(wèn)題折騰一下午后來(lái)定位到只是忘了對(duì)權(quán)重做合適初始化。這個(gè)縮小范圍的流程看起來(lái)笨但最可靠。7. 最后分享幾個(gè)調(diào)試習(xí)慣這篇從環(huán)境講到訓(xùn)練再講到排錯(cuò)寫(xiě)了不少但真正值錢(qián)的其實(shí)是最后一節(jié)的排查思路。我個(gè)人踩過(guò)很多次坑之后養(yǎng)成了兩個(gè)習(xí)慣一是不管模型多復(fù)雜先拿最小用例把數(shù)據(jù)流打印出來(lái)二是每次調(diào)試只改一個(gè)變量。改學(xué)習(xí)率的時(shí)候不同時(shí)改網(wǎng)絡(luò)結(jié)構(gòu)加正則化的時(shí)候不同時(shí)改數(shù)據(jù)增強(qiáng)否則出了問(wèn)題不知道是誰(shuí)的鍋。如果你現(xiàn)在正卡在某個(gè)報(bào)錯(cuò)上試著把batch_size降下來(lái)、把網(wǎng)絡(luò)換成單層、把數(shù)據(jù)歸一化打開(kāi)一步一步定位。這一套流程沒(méi)有奇技淫巧但最穩(wěn)也最快。希望你能在這個(gè)系列的第五篇之后真正把第一個(gè)屬于自己的深度學(xué)習(xí)模型跑起來(lái)。 PyTorch深度學(xué)習(xí)實(shí)戰(zhàn)：環(huán)境搭建、網(wǎng)絡(luò)訓(xùn)練與調(diào)試全攻略
這系列寫(xiě)到第五篇了。前幾篇聊過(guò) Python 語(yǔ)法、NumPy 運(yùn)算和最簡(jiǎn)單的線性分類(lèi)器不少讀者在評(píng)論區(qū)問(wèn)為什么書(shū)上的神經(jīng)網(wǎng)絡(luò)圖畫(huà)得明明白白輪到自己寫(xiě)就總是報(bào)錯(cuò)這篇我不打算再堆概念而是把環(huán)境搭建、三種最常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練細(xì)節(jié)和排查經(jīng)驗(yàn)按真實(shí)項(xiàng)目節(jié)奏串一遍。你需要的 Python、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)核心點(diǎn)都會(huì)出現(xiàn)并且所有內(nèi)容都以能跑通為準(zhǔn)。適合剛接觸深度學(xué)習(xí)、想盡快搭出自己第一個(gè)模型的初學(xué)者也適合被各種教程繞暈、想回到主線復(fù)習(xí)一遍的人。先說(shuō)清楚這篇代碼風(fēng)格偏 PyTorch因?yàn)閯?dòng)態(tài)圖對(duì)新手友好。你習(xí)慣用別的框架核心概念一樣能遷移。1. 準(zhǔn)備一套順手的學(xué)習(xí)環(huán)境1.1 先定一個(gè)能驗(yàn)證的小目標(biāo)這個(gè)目標(biāo)不是“裝完某個(gè)軟件”而是讓下面這條命令正常運(yùn)行python -c import torch; print(torch.cuda.is_available())如果你沒(méi)有獨(dú)立顯卡輸出False也沒(méi)關(guān)系CPU 上一樣能跑通后面的例子只是慢一些。先把環(huán)境跑通再考慮硬件。很多初學(xué)者一上來(lái)就折騰 CUDA、驅(qū)動(dòng)、多卡訓(xùn)練結(jié)果裝了兩天環(huán)境模型一行沒(méi)寫(xiě)。正確的順序應(yīng)該是先能 import再能跑小模型最后才談加速。1.2 Python版本和虛擬環(huán)境的選擇Python 版本我建議用 3.10 或 3.11。太新的版本偶爾會(huì)遇到個(gè)別包還沒(méi)有對(duì)應(yīng)的編譯產(chǎn)物太老的版本又會(huì)影響新庫(kù)的兼容性。選擇一個(gè)穩(wěn)定分支然后用venv或conda建一個(gè)干凈的虛擬環(huán)境。為什么一定要虛擬環(huán)境因?yàn)椴煌?xiàng)目依賴的包版本可能沖突。今天為項(xiàng)目 A 裝的新版庫(kù)可能明天就把項(xiàng)目 B 搞崩。一開(kāi)始養(yǎng)成隔離的習(xí)慣后面會(huì)少很多痛苦。裝依賴也有順序先把 NumPy、Pandas、Matplotlib 這些基礎(chǔ)庫(kù)裝好做圖像實(shí)驗(yàn)再加 OpenCVpip install opencv-python做文本實(shí)驗(yàn)再按需裝分詞相關(guān)包。不要一次性把所有可能的包都裝上用到什么裝什么不然環(huán)境會(huì)變得非常亂。1.3 深度學(xué)習(xí)框架選型與安裝目前 PyTorch 在科研和工程里的采用率都很高它的動(dòng)態(tài)計(jì)算圖讓打印每一步 tensor 的 shape 變得非常自然。跑一句安裝命令pip install torch torchvision torchaudiotorchvision里帶著常用數(shù)據(jù)集和預(yù)訓(xùn)練模型對(duì)學(xué)習(xí)很有幫助。TensorFlow 也依然有很多存量項(xiàng)目在用。如果你是新手我更建議先用 PyTorch 把原理吃透后面遷移概念也不難?？蚣懿皇切叛瞿軒湍阕羁祢?yàn)證想法的那把工具就是好工具。安裝時(shí)注意pip默認(rèn)裝的是 CPU 版本還是 GPU 版本視具體環(huán)境而定。如果你的機(jī)器有 NVIDIA 顯卡就去官網(wǎng)找到對(duì)應(yīng) CUDA 版本的安裝命令如果只是學(xué)習(xí)CPU 版完全夠。換源那些事就不展開(kāi)了裝不上時(shí)優(yōu)先檢查 Python 版本和 pip 是否太老。1.4 沒(méi)有GPU怎么把流程跑通很多人卡在“沒(méi)有 GPU 就不能學(xué)深度學(xué)習(xí)”的印象里。其實(shí)入門(mén)階段跑小模型CPU 完全能扛。手寫(xiě)數(shù)字集這種規(guī)模的數(shù)據(jù)用幾層卷積網(wǎng)絡(luò)在 CPU 上幾分鐘一個(gè) epoch 也很常見(jiàn)。真正需要 GPU 的是大模型、大圖、大 batch。如果你手里只有普通電腦有兩個(gè)辦法一是先在小數(shù)據(jù)集上把流程跑通二是用一些免費(fèi)的在線 notebook 平臺(tái)。但要注意云平臺(tái)的免費(fèi)額度限制比較多別拿它當(dāng)生產(chǎn)環(huán)境用。我的建議是寧可模型小一點(diǎn)也要保證迭代體驗(yàn)。一個(gè) 5 分鐘能跑完一輪實(shí)驗(yàn)的小模型遠(yuǎn)比一個(gè) 50 分鐘才能跑一輪的大模型適合學(xué)習(xí)。2. 先把神經(jīng)網(wǎng)絡(luò)骨架搭起來(lái)2.1 前饋網(wǎng)絡(luò)到底在做什么前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以理解成一條流水線。輸入是一批特征隱藏層負(fù)責(zé)把特征逐層加工輸出層給出結(jié)果。單看一層h W x b它本質(zhì)上只是一個(gè)線性變換加平移。如果沒(méi)有激活函數(shù)多層線性變換疊在一起仍然是一次線性變換擬合能力很有限。激活函數(shù)ReLU、Sigmoid 等引入非線性后網(wǎng)絡(luò)才能逼近復(fù)雜的函數(shù)關(guān)系。這也是“深度學(xué)習(xí)”里“深度”二字的直接含義層數(shù)越多能表達(dá)的函數(shù)理論上越復(fù)雜。但層數(shù)加深會(huì)帶來(lái)優(yōu)化困難不能簡(jiǎn)單理解成“層數(shù)越多越好”。你先記住一條主線前向傳播算出結(jié)果反向傳播更新參數(shù)中間靠激活函數(shù)保證非線性。2.2 反向傳播的鏈?zhǔn)椒▌t手推一次反向傳播的本質(zhì)是鏈?zhǔn)椒▌t。拿單個(gè)神經(jīng)元舉例z wx b a σ(z) L 0.5 * (y - a)^2要求參數(shù)w對(duì)損失的影響把它拆開(kāi)dL/dw (dL/da) * (da/dz) * (dz/dw)三部分分別對(duì)應(yīng)(a - y)、σ(z)、x。這就是為什么誤差能“反向傳”回去不是重新算一遍網(wǎng)絡(luò)而是借助計(jì)算圖從后往前逐個(gè)求偏導(dǎo)。PyTorch 里調(diào)用loss.backward()之后每個(gè)requires_gradTrue的參數(shù)都會(huì)得到.grad屬性底層就是在做這件事。很多教材把反向傳播寫(xiě)成長(zhǎng)長(zhǎng)的公式初學(xué)者容易被勸退。我的建議是先手推這個(gè)單神經(jīng)元例子再去看框架里的自動(dòng)求導(dǎo)。你會(huì)發(fā)現(xiàn)那些看起來(lái)很?chē)樔说墓铰涞酱a里就是三行。理解了鏈?zhǔn)椒▌t后面不管是 CNN 還是 LSTM原理上都是同一套邏輯。2.3 一個(gè)能跑的三層MLP用 PyTorch 定義一個(gè)三層全連接網(wǎng)絡(luò)很簡(jiǎn)單import torch import torch.nn as nn class MLP(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, hidden_dim) self.fc2 nn.Linear(hidden_dim, out_dim) self.relu nn.ReLU() def forward(self, x): return self.fc2(self.relu(self.fc1(x)))訓(xùn)練循環(huán)四步是固定的model MLP(784, 128, 10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(5): for x_batch, y_batch in loader: optimizer.zero_grad() out model(x_batch) loss loss_fn(out, y_batch) loss.backward() optimizer.step()新手最容易踩的坑是漏掉optimizer.zero_grad()。PyTorch 默認(rèn)會(huì)累加梯度如果不清零上一批的梯度會(huì)疊加到下一批loss 曲線就會(huì)亂跳。清梯度這一行一定要放在每個(gè) batch 的前向計(jì)算之前。2.4 最容易忽略的維度檢查MLP 要求每個(gè)樣本是一個(gè)一維向量。圖像進(jìn)來(lái)如果還是H×W×C的矩陣要先展平x x.view(x.size(0), -1)x.size(0)是 batch 里的樣本數(shù)不能丟-1表示自動(dòng)推斷剩余維度。很多報(bào)錯(cuò)都發(fā)生在這一步忘了展平、維度算錯(cuò)、或者把 batch 維當(dāng)成了特征維。排查維度問(wèn)題時(shí)在forward里臨時(shí)加一句print(x.shape)是最快的定位方式。一個(gè)模型寫(xiě)完先把輸入輸出打印一遍再開(kāi)始訓(xùn)練能省一大堆時(shí)間。3. 圖像任務(wù)從像素到高維向量3.1 為什么要用卷積而不是全連接把一張 224×224 的彩色圖拉成長(zhǎng)向量維度是 150528。如果第一層全連接接 512 個(gè)神經(jīng)元光這一層參數(shù)量就超過(guò) 7700 萬(wàn)。不僅顯存放不下還會(huì)嚴(yán)重過(guò)擬合。卷積網(wǎng)絡(luò)用兩個(gè)核心思想解決這個(gè)問(wèn)題局部連接和權(quán)值共享。每個(gè)卷積核只關(guān)注一小塊區(qū)域同一層的所有位置共用同一個(gè)卷積核參數(shù)量被大幅壓縮。用生活里的例子理解全連接是“每個(gè)人都找每個(gè)人匯報(bào)”卷積是“幾個(gè)小組長(zhǎng)只看自己片區(qū)”。后者顯然更輕量也更能抓到局部特征。3.2 卷積、填充與池化的尺寸計(jì)算卷積核從輸入左上角開(kāi)始按stride步長(zhǎng)滑動(dòng)。padding1表示在邊緣補(bǔ)一圈 0避免邊緣信息丟失。輸出尺寸公式out floor((in 2 * padding - kernel) / stride) 1例如輸入 32×32kernel3padding1stride1輸出還是 32×32。再做一次 2×2 的 MaxPooling尺寸變成 16×16。MaxPooling 取每個(gè)窗口里的最大值相當(dāng)于在保留顯著特征的同時(shí)縮小空間尺寸。這里有個(gè)新手常見(jiàn)誤區(qū)卷積核數(shù)量不等于輸入通道數(shù)。第一層輸入是 RGB 三個(gè)通道用 8 個(gè)卷積核會(huì)輸出 8 個(gè)通道。下一層的輸入就變成了 8 通道。通道數(shù)越大網(wǎng)絡(luò)對(duì)特征的表達(dá)能力越強(qiáng)但計(jì)算量也越大。3.3 人臉識(shí)別里那個(gè)高維向量是怎么來(lái)的人臉識(shí)別是理解“圖像怎么變成向量”的典型場(chǎng)景。你輸入的是一張H×W×3的人臉圖經(jīng)過(guò)若干卷積、ReLU、池化之后變成H×W×C的特征圖。這個(gè)過(guò)程里空間維度在縮小通道數(shù)在增加相當(dāng)于把“在哪個(gè)位置有什么特征”逐步編碼成“有哪些特征”。網(wǎng)絡(luò)最后一步通常不是直接輸出類(lèi)別而是把特征圖展平再接一個(gè)全連接層輸出比如 128 維或 512 維的向量。這個(gè)向量叫人臉表征也叫 embedding。訓(xùn)練時(shí)讓同一個(gè)人的兩張臉向量距離盡量近不同人的臉向量距離盡量遠(yuǎn)。推理時(shí)只比較兩個(gè)向量的余弦相似度超過(guò)某個(gè)閾值就判定為同一個(gè)人。所以整個(gè)鏈路是人臉圖 → 卷積池化 → 特征圖 → 展平 → 全連接 → 高維向量 → 相似度比較。這就是“從圖像到高維向量”的全部故事不算玄學(xué)。3.4 一個(gè)最小CNN的PyTorch實(shí)現(xiàn)一個(gè)能跑的最小卷積網(wǎng)絡(luò)長(zhǎng)這樣import torch.nn.functional as F class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(3, 16, kernel_size3, stride1, padding1) self.pool nn.MaxPool2d(2) self.conv2 nn.Conv2d(16, 32, kernel_size3, padding1) self.fc nn.Linear(32 * 8 * 8, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) # 假設(shè)輸入 32x32x3 x self.pool(F.relu(self.conv2(x))) # 變成 8x8x32 x x.view(x.size(0), -1) return self.fc(x)假設(shè)輸入是 32×32 的 RGB 圖兩次 2×2 池化之后空間尺寸變成 8×8通道數(shù) 32所以全連接層輸入是32 * 8 * 8。換數(shù)據(jù)集時(shí)輸入尺寸一旦變了這里的數(shù)字就得跟著改。學(xué)會(huì)推導(dǎo)尺寸比背代碼更重要。4. 序列任務(wù)讓網(wǎng)絡(luò)擁有記憶4.1 RNN的基本想法全連接網(wǎng)絡(luò)把每個(gè)樣本當(dāng)成孤立的點(diǎn)但文本、語(yǔ)音、時(shí)間序列這些數(shù)據(jù)的特點(diǎn)是樣本內(nèi)部有先后順序。RNN 在每一步把當(dāng)前輸入x_t和上一步的隱狀態(tài)h_t-1放在一起計(jì)算輸出當(dāng)前步的h_t。相當(dāng)于網(wǎng)絡(luò)一直帶著一個(gè)不斷更新的“工作記憶”用前面的信息來(lái)理解當(dāng)前的內(nèi)容。你讀這句話“銀行前面的河”到“河”的時(shí)候網(wǎng)絡(luò)需要記住“銀行”不是金融機(jī)構(gòu)而是河岸。RNN 就是為了這種場(chǎng)景設(shè)計(jì)的。4.2 從RNN到LSTM的門(mén)控設(shè)計(jì)原始 RNN 在長(zhǎng)序列上容易梯度消失原因是從后往前反傳時(shí)梯度要乘很多次同一個(gè)矩陣越傳越小。LSTM 在循環(huán)單元里加了幾道門(mén)——遺忘門(mén)、輸入門(mén)、輸出門(mén)讓信息可以選擇性寫(xiě)入和丟棄。用大白話講該忘的忘掉該記的記下來(lái)合適的時(shí)候再拿出來(lái)。所以 LSTM 能處理更長(zhǎng)的依賴關(guān)系。你不需要死記 LSTM 內(nèi)部公式只需要建立一個(gè)心理模型它有一個(gè)“長(zhǎng)期記憶”通道門(mén)控決定哪些信息流進(jìn)去、哪些信息流出來(lái)。想深入研究時(shí)再打開(kāi)公式看每一行的作用。4.3 LSTM在PyTorch里的正確打開(kāi)方式LSTM 的使用比全連接層稍微復(fù)雜一點(diǎn)主要在于維度?？催@個(gè)分類(lèi)器class LSTMClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, num_classes): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue) self.fc nn.Linear(hidden_dim, num_classes) def forward(self, x): emb self.embedding(x) out, (h, c) self.lstm(emb) return self.fc(h[-1])重點(diǎn)說(shuō)兩個(gè)坑。第一nn.LSTM默認(rèn)輸入格式是(seq_len, batch, input_size)如果你習(xí)慣把 batch 放第一維一定要設(shè)置batch_firstTrue否則后面所有 shape 都會(huì)對(duì)不上。第二返回值里out是每個(gè)時(shí)間步的輸出形狀是(batch, seq_len, hidden_size)h是最后一層的最終隱狀態(tài)形狀是(num_layers, batch, hidden_size)。取h[-1]作為全連接輸入是最常見(jiàn)的做法也可以對(duì)out做 mean pooling兩種都可以但別無(wú)腦混用。4.4 文本預(yù)處理從字符串到id序列LSTM 吃的是 id 序列所以文本要經(jīng)過(guò)分詞、建詞表、把詞轉(zhuǎn)成 id。由于同一個(gè) batch 里句子長(zhǎng)度不同通常要 padding 到一樣長(zhǎng)再通過(guò) Embedding 層把 id 變成稠密向量。這是 NLP 入門(mén)最常見(jiàn)的管線。padding 時(shí)有個(gè)細(xì)節(jié)填充位置的值通常是 0但網(wǎng)絡(luò)不會(huì)自動(dòng)忽略它。等模型跑通后可以再考慮在 loss 里做 mask讓填充位置不參與計(jì)算。初學(xué)階段先樸素地 padding跑通主線再回來(lái)優(yōu)化。5. 訓(xùn)練過(guò)程里容易被忽略的細(xì)節(jié)5.1 損失函數(shù)不是隨便選的分類(lèi)任務(wù)用CrossEntropyLoss回歸任務(wù)用MSELoss多標(biāo)簽分類(lèi)用BCEWithLogitsLoss。新手最常見(jiàn)的錯(cuò)誤是拿分類(lèi)任務(wù)卻用了 MSE結(jié)果收斂極慢。損失函數(shù)的形狀決定了梯度的性質(zhì)交叉熵配合最后的 Softmax讓網(wǎng)絡(luò)在預(yù)測(cè)錯(cuò)誤時(shí)梯度更大更新方向也更直接。這就像考試打分錯(cuò)得離譜時(shí)扣分要狠一點(diǎn)學(xué)得才快。5.2 多任務(wù)場(chǎng)景下怎么調(diào)Loss比例做多任務(wù)學(xué)習(xí)時(shí)總 loss 往往是多個(gè)損失的加權(quán)和。最簡(jiǎn)單的方法是固定權(quán)重比如loss loss_a 0.5 * loss_b。但兩個(gè)任務(wù)尺度可能差很多這就引出一個(gè)更精細(xì)的方法不確定性加權(quán)。讓網(wǎng)絡(luò)自己學(xué)習(xí)每個(gè)損失的不確定性 σloss 0.5 / σ1^2 * L1 log(σ1) 0.5 / σ2^2 * L2 log(σ2)直觀理解不確定的任務(wù)權(quán)重低一些后面的log(σ)項(xiàng)防止權(quán)重跑到零。在 PyTorch 里把log_var作為可學(xué)習(xí)參數(shù)即可。不過(guò)對(duì)新手我的建議是先固定權(quán)重觀察兩個(gè)任務(wù)的 loss 量級(jí)再調(diào)整不要一上來(lái)就上復(fù)雜方法。量級(jí)差很多時(shí)優(yōu)先把大數(shù)量級(jí)的 loss 權(quán)重調(diào)小。5.3 正則化weight_decay與DropoutL2 正則化在 PyTorch 里最常見(jiàn)實(shí)現(xiàn)就是在優(yōu)化器里加weight_decayoptimizer torch.optim.Adam(model.parameters(), lr1e-3, weight_decay1e-4)它等價(jià)于在 loss 里加一個(gè)參數(shù)平方和的懲罰項(xiàng)把參數(shù)往零附近拉。想手動(dòng)加也行l(wèi)2_reg sum(p.pow(2).sum() for p in model.parameters()) loss ce_loss 1e-4 * l2_regDropout 是另一種正則化。訓(xùn)練時(shí)隨機(jī)把部分神經(jīng)元的輸出置零相當(dāng)于每次都在訓(xùn)練一個(gè)不同的子網(wǎng)絡(luò)推理時(shí)關(guān)閉 Dropout泛化能力會(huì)更好。注意如果訓(xùn)練集 loss 都不下降先別急著加正則化往往是模型容量或數(shù)據(jù)管線出了問(wèn)題。5.4 超參數(shù)默認(rèn)值、模型保存與加載給一組能直接上手的默認(rèn)值學(xué)習(xí)率1e-3batch size 32 或 64優(yōu)化器 Adamepoch 先設(shè) 5。學(xué)得太慢就把學(xué)習(xí)率降到1e-4loss 爆掉就再降到1e-5。Batch size 不是越大越好太小梯度抖動(dòng)大太大顯存扛不住。最重要的檢查是先用幾十條數(shù)據(jù)讓模型完全過(guò)擬合。如果連過(guò)擬合都做不到代碼里一定有 bug。模型保存時(shí)用狀態(tài)字典torch.save(model.state_dict(), model.pt)加載時(shí)先創(chuàng)建相同結(jié)構(gòu)的模型再load_state_dict。不要直接序列化整個(gè) model 對(duì)象跨環(huán)境容易踩兼容性的坑。另外每次實(shí)驗(yàn)都把超參數(shù)記到日志里否則調(diào)了兩天后你根本不知道哪個(gè)組合是有效的。6. 高頻報(bào)錯(cuò)與排查實(shí)錄6.1 維度不匹配的速查表訓(xùn)練深度學(xué)習(xí)模型八成時(shí)間都在跟維度做斗爭(zhēng)。這是我整理的高頻問(wèn)題速查報(bào)錯(cuò)特征常見(jiàn)原因處理辦法size mismatch線性層輸入維度和實(shí)際特征數(shù)不一致在forward里打印x.shape看最后一維Expected 4D inputConv 層收到了 2D 輸入檢查是否少了view或unsqueeze把通道維補(bǔ)上mat1 and mat2 shapes cannot be multiplied矩陣乘法維度對(duì)不上看兩個(gè)矩陣的第二維和第一維是否相等LSTM 相關(guān) shape 不對(duì)batch_first設(shè)置不對(duì)或混淆out和h統(tǒng)一把 batch 放第一維確認(rèn)返回值含義出現(xiàn)維度報(bào)錯(cuò)時(shí)不要慌?？蚣芤呀?jīng)告訴你哪兩個(gè) tensor 沒(méi)法算這時(shí)在forward里臨時(shí)加print(x.shape)一行一行定位。記住訓(xùn)練代碼炸在loss.backward()根因往往在前向的某一步。6.2 Loss為NaN或完全不下降NaN最常見(jiàn)的原因是學(xué)習(xí)率太大梯度爆炸其次是輸入數(shù)據(jù)里有 NaN 或 inf。排查順序打印 loss 數(shù)值把學(xué)習(xí)率調(diào)小一百倍再試檢查數(shù)據(jù)歸一化檢查有沒(méi)有l(wèi)og(0)。如果 loss 卡在一個(gè)值不動(dòng)可能是模型太簡(jiǎn)單、沒(méi)有非線性、或者優(yōu)化器參數(shù)沒(méi)更新。檢查一下optimizer.param_groups[0][params]里每個(gè)參數(shù)的grad是不是None。另外有個(gè)容易被忽略的點(diǎn)多分類(lèi)任務(wù)的標(biāo)簽要從 0 開(kāi)始連續(xù)編號(hào)如果標(biāo)簽從 1 開(kāi)始CrossEntropyLoss不會(huì)直接報(bào)錯(cuò)但 loss 會(huì)一直很大、很難降下去。6.3 縮小問(wèn)題范圍的三板斧遇到任何問(wèn)題先把數(shù)據(jù)量縮小到batch2模型縮小到單層網(wǎng)絡(luò)跑通再放大。這樣能快速排除“數(shù)據(jù)太大、模型太深”的干擾。我見(jiàn)過(guò)有人為了一個(gè)初始化問(wèn)題折騰一下午后來(lái)定位到只是忘了對(duì)權(quán)重做合適初始化。這個(gè)縮小范圍的流程看起來(lái)笨但最可靠。7. 最后分享幾個(gè)調(diào)試習(xí)慣這篇從環(huán)境講到訓(xùn)練再講到排錯(cuò)寫(xiě)了不少但真正值錢(qián)的其實(shí)是最后一節(jié)的排查思路。我個(gè)人踩過(guò)很多次坑之后養(yǎng)成了兩個(gè)習(xí)慣一是不管模型多復(fù)雜先拿最小用例把數(shù)據(jù)流打印出來(lái)二是每次調(diào)試只改一個(gè)變量。改學(xué)習(xí)率的時(shí)候不同時(shí)改網(wǎng)絡(luò)結(jié)構(gòu)加正則化的時(shí)候不同時(shí)改數(shù)據(jù)增強(qiáng)否則出了問(wèn)題不知道是誰(shuí)的鍋。如果你現(xiàn)在正卡在某個(gè)報(bào)錯(cuò)上試著把batch_size降下來(lái)、把網(wǎng)絡(luò)換成單層、把數(shù)據(jù)歸一化打開(kāi)一步一步定位。這一套流程沒(méi)有奇技淫巧但最穩(wěn)也最快。希望你能在這個(gè)系列的第五篇之后真正把第一個(gè)屬于自己的深度學(xué)習(xí)模型跑起來(lái)。