1. 為什么第五節(jié)要做圖像分類1.1 從全連接到卷積質(zhì)的跨越第五節(jié)了。前面幾節(jié)如果都跟下來了你應(yīng)該已經(jīng)知道了張量是什么、梯度回傳怎么運(yùn)作、也親手搭過一個(gè)幾層的全連接網(wǎng)絡(luò)。但說真的在那個(gè)階段你可能和我當(dāng)年一樣心里一直有個(gè)隱隱的疑惑就這這玩意兒真能認(rèn)圖片答案是肯定的但需要用對(duì)結(jié)構(gòu)。全連接網(wǎng)絡(luò)處理圖像的問題在于一個(gè) 32x32 的彩色小圖就有 3072 個(gè)像素你把它拉平成向量喂進(jìn)全連接層第一層想做透特征就得是幾百上千個(gè)神經(jīng)元參數(shù)量嘩啦啦漲到幾十萬上百萬。小圖湊合能跑一到 224x224 或者更大分辨率的真實(shí)圖片模型直接膨脹到?jīng)]法訓(xùn)練。這個(gè)痛點(diǎn)就是卷積結(jié)構(gòu)登場的直接原因——它用局部連接權(quán)值共享兩個(gè)設(shè)計(jì)把參數(shù)量壓下去幾個(gè)數(shù)量級(jí)同時(shí)保留了圖像的空間結(jié)構(gòu)信息。所以這一節(jié)真正要解決的事情不是把準(zhǔn)確率刷到多高而是讓你親手跑通一條完整的圖像分類流水線數(shù)據(jù)讀取 → 預(yù)處理 → 模型定義 → 訓(xùn)練 → 評(píng)估。這條流水線是后面所有視覺任務(wù)——目標(biāo)檢測、語義分割、圖像生成——的地基你現(xiàn)在踩的每一個(gè)坑后面還會(huì)以變體形式反復(fù)出現(xiàn)。提前把這些坑摸一遍之后會(huì)順暢非常多。1.2 圖像分類在整個(gè)學(xué)習(xí)路線里的位置我見過太多人上來就想啃檢測、啃分割的源碼結(jié)果被一堆數(shù)據(jù)增強(qiáng)、錨框、特征金字塔的術(shù)語勸退。圖像分類之所以被公認(rèn)為計(jì)算機(jī)視覺的練習(xí)曲是因?yàn)樗阉泻诵目颇慷紳饪s在了一個(gè)相對(duì)干凈的框架里特征提取靠卷積網(wǎng)絡(luò)優(yōu)化靠反向傳播評(píng)估靠準(zhǔn)確率指標(biāo)。沒有復(fù)雜的輸出結(jié)構(gòu)沒有多任務(wù)損失你就是把一個(gè)圖塞進(jìn)去出來一個(gè)類別概率分布。同時(shí)分類模型本身也是后續(xù)任務(wù)的骨干。檢測網(wǎng)絡(luò)的分類分支就是分類器分割網(wǎng)絡(luò)的編碼器也常常直接用分類網(wǎng)絡(luò)的預(yù)訓(xùn)練權(quán)重初始化。所以這一節(jié)你學(xué)的不是一個(gè)孤立的小玩具而是整套視覺技術(shù)棧的核心部件。學(xué)完這節(jié)再回頭看檢測、分割的公式你會(huì)覺得很多地方似曾相識(shí)因?yàn)榈讓拥倪壿嬆阍诜诸悓?shí)戰(zhàn)里已經(jīng)親手實(shí)踐過了。1.3 這一節(jié)完成后你應(yīng)該做到什么程度我在帶人的時(shí)候有一個(gè)很樸素的驗(yàn)收標(biāo)準(zhǔn)不查資料能從頭寫出一份包含數(shù)據(jù)加載、模型定義、訓(xùn)練循環(huán)、驗(yàn)證評(píng)估的完整代碼并且能解釋每一步為什么這么寫。能獨(dú)立做到說明你真的吸收了而不是照著教程敲了一遍。所以這篇文章我盡量把為什么講透參數(shù)怎么選、代碼為什么是這個(gè)順序、出了問題從哪查起都給你捋清楚。代碼只是載體背后的決策邏輯才是這五節(jié)課真正想交給你的東西。2. 數(shù)據(jù)準(zhǔn)備與預(yù)處理是真正的分水嶺2.1 數(shù)據(jù)集的目錄組織和加載方式很多人一上來就急著調(diào)模型把數(shù)據(jù)隨便丟進(jìn)一個(gè)文件夾寫了幾行l(wèi)oad_data就開始訓(xùn)練結(jié)果后面踩了各種莫名其妙的坑——類別對(duì)不上啦、標(biāo)簽偏移啦、訓(xùn)練集驗(yàn)證集混在一起啦。我個(gè)人的經(jīng)驗(yàn)是數(shù)據(jù)準(zhǔn)備花的時(shí)間跟后面省下來的調(diào)試時(shí)間絕對(duì)是劃算的。以官方的 CIFAR-10 為例它本身已經(jīng)分好了 train 和 test。用torchvision.datasets.CIFAR10可以直接下載加載適合做快速驗(yàn)證。但真實(shí)項(xiàng)目中你手里的數(shù)據(jù)往往是一堆散亂的圖片我建議從一開始就按標(biāo)準(zhǔn)目錄結(jié)構(gòu)組織data/ ├── train/ │ ├── cat/ │ │ ├── cat_0001.jpg │ │ └── ... │ └── dog/ │ ├── dog_0001.jpg │ └── ... └── val/ ├── cat/ └── dog/這種組織方式的好處是torchvision.datasets.ImageFolder直接就能讀自動(dòng)按二級(jí)目錄名生成類別索引不用手寫標(biāo)簽文件。我自己到現(xiàn)在做項(xiàng)目還是會(huì)先用腳本把數(shù)據(jù)整理成這個(gè)結(jié)構(gòu)因?yàn)樗唵巍⒅庇^、不容易錯(cuò)。用ImageFolder加載就這么幾行train_dataset torchvision.datasets.ImageFolder(rootdata/train, transformtrain_transform) val_dataset torchvision.datasets.ImageFolder(rootdata/val, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)注意驗(yàn)證集這里shuffleFalse不是為了省那點(diǎn)算力而是為了讓驗(yàn)證結(jié)果可復(fù)現(xiàn)——你每輪驗(yàn)證跑的順序是一致的不至于因?yàn)轫樞蜃兓a(chǎn)生多余的隨機(jī)噪聲。2.2 歸一化的門道m(xù)ean 和 std 是怎么來的圖像本質(zhì)上是 0 到 255 的整數(shù)矩陣直接喂進(jìn)網(wǎng)絡(luò)其實(shí)也能跑但收斂會(huì)很別扭。原因說到底很簡單梯度更新的步幅大小受特征數(shù)值尺度影響深層次特征的數(shù)值稍微抖動(dòng)一下乘起來的梯度就可能爆炸或者消失。把輸入標(biāo)準(zhǔn)化到均值 0、方差 1 附近相當(dāng)于給優(yōu)化器一個(gè)地形平坦的起點(diǎn)。transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), # 把PIL圖片轉(zhuǎn)成Tensor數(shù)值縮放到[0,1] transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616]) ])這三組數(shù)不是隨手寫的是 CIFAR-10 訓(xùn)練集在 RGB 三個(gè)通道上各自的均值和方法。每換一個(gè)數(shù)據(jù)集mean 和 std 最好自己算一遍方法很簡單把訓(xùn)練集全圖所有像素累加取平均再用均值算方差。千萬別偷懶直接拿 ImageNet 的那組(0.485, 0.456, 0.406)用在不相關(guān)的小數(shù)據(jù)集上雖然不至于模型崩掉但分布偏移總會(huì)造成收益上的損失。2.3 數(shù)據(jù)增強(qiáng)寧可少調(diào)參也要先做這步數(shù)據(jù)增強(qiáng)是圖像分類里性價(jià)比最高的白嫖算力手段。我的經(jīng)驗(yàn)是一個(gè)有增強(qiáng)、參數(shù)默認(rèn)的簡單模型往往能打過沒增強(qiáng)但精心調(diào)參的復(fù)雜模型。因?yàn)榉诸惾蝿?wù)最缺的不是算力而是數(shù)據(jù)多樣性。你拍一張貓換個(gè)角度再拍一張還是貓模型應(yīng)該從這兩個(gè)不同的像素排列里學(xué)到同一個(gè)概念。對(duì) CIFAR-10 這種 32x32 的小圖常用的增強(qiáng)組合就三板斧隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)偶爾加點(diǎn)顏色擾動(dòng)。train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616]) ])RandomCrop(32, padding4)的意思是先把圖四周補(bǔ) 4 像素的零再隨機(jī)裁回 32x32。這樣每次訓(xùn)練看到的圖都略有平移等于免費(fèi)把數(shù)據(jù)量翻了若干倍。而RandomHorizontalFlip這種左右翻轉(zhuǎn)對(duì)我們熟悉的交通標(biāo)志這類具有方向性的任務(wù)是禁忌但對(duì)貓、狗、飛機(jī)這些目標(biāo)方向不敏感的數(shù)據(jù)集非常友好。這里有一條鐵律驗(yàn)證集和測試集的 transform 里絕對(duì)不能出現(xiàn)隨機(jī)增強(qiáng)。最多做 resize 和歸一化。我見過同學(xué)把RandomHorizontalFlip寫進(jìn)了驗(yàn)證集結(jié)果準(zhǔn)確率忽高忽低還以為是模型不穩(wěn)定折騰了兩天才發(fā)現(xiàn)是驗(yàn)證的時(shí)候圖被隨機(jī)翻轉(zhuǎn)了純屬自己跟自己過不去。2.4 加載器的細(xì)節(jié)參數(shù)Batch Size 與 Workersbatch_size的選擇直接影響訓(xùn)練速度和穩(wěn)定性。我的建議是先用你的顯存上限去定它比如 8GB 顯存跑 ResNet18 輸入 32x3264 的 batch 完全沒壓力就設(shè) 64。batch 太小比如 2 或 4梯度噪聲太大訓(xùn)練曲線抖得像心電圖batch 太大單個(gè) epoch 里的參數(shù)更新次數(shù)太少反而可能欠擬合。num_workers是數(shù)據(jù)加載用的進(jìn)程數(shù)設(shè)成 0 就在主進(jìn)程里加載速度慢但最兼容設(shè)成 4 或 8 能明顯提高吞吐量。Linux 環(huán)境下我習(xí)慣設(shè)成 CPU 核數(shù)的一半。在 Windows 上如果報(bào)多進(jìn)程相關(guān)的錯(cuò)先把它設(shè)回 0 排查別上來就懷疑模型寫錯(cuò)了。pin_memoryTrue這個(gè)參數(shù)很多人忽略。它把數(shù)據(jù)加載到鎖頁內(nèi)存GPU 拷貝的路徑更短理論上能省下不少數(shù)據(jù)傳輸時(shí)間。代價(jià)是內(nèi)存占用略高但對(duì)大多數(shù)機(jī)器來說利遠(yuǎn)大于弊我基本常開。3. 模型搭建與訓(xùn)練細(xì)節(jié)別急著調(diào)參3.1 第一版模型自建小網(wǎng)絡(luò)還是 ResNet18作為第五節(jié)課的實(shí)戰(zhàn)我強(qiáng)烈不建議你從零手寫卷積層——不是為了偷懶而是因?yàn)榻?jīng)典網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)經(jīng)過了無數(shù)人的驗(yàn)證它的層數(shù)、通道數(shù)、殘差連接方式每一樣都有道理。你手寫的靈感版CNN在學(xué)術(shù)想象力上是合格的但在 CIFAR-10 這種任務(wù)上很可能收斂得又慢又差然后你陷入是我代碼錯(cuò)了還是網(wǎng)絡(luò)設(shè)計(jì)問題的迷茫非常打擊信心。這個(gè)階段的正確姿勢是直接用torchvision.models里的 ResNet18官方還提供了預(yù)訓(xùn)練權(quán)重。ResNet18 是整個(gè)殘差家族里最輕量、最適合入門的版本結(jié)構(gòu)清晰顯存占用小一張 32x32 的 CIFAR-10 圖跑起來毫無壓力。import torchvision.models as models model models.resnet18(num_classes10)但這里有個(gè)細(xì)節(jié)ResNet18 默認(rèn)的輸入是 3x224x224它的第一個(gè)卷積層是conv1卷積核 7x7、步長 2一下把 224x224 降成 112x112。你要是把 32x32 的 CIFAR-10 圖直接塞進(jìn)去原始下采樣太快信息大量丟失然后全局池化層輸出也跟你預(yù)想的不一樣。所以用 CIFAR-10 這類小圖訓(xùn)練 ResNet要做一處小改造把第一個(gè)卷積層的核心參數(shù)改小。import torch.nn as nn model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() # 去掉7x7分支后的最大池化改完整模型的前向路徑是3x32x32 → conv1(3x3) → 64x32x32 → 殘差塊序列 → 全局平均池化 → 10 維分類頭。這樣才是為 32x32 輸入定制的正確結(jié)構(gòu)。3.2 損失函數(shù)和優(yōu)化器的選擇邏輯分類任務(wù)的標(biāo)準(zhǔn)損失是交叉熵PyTorch 里就是nn.CrossEntropyLoss()。這里有一個(gè)新手經(jīng)常誤解的點(diǎn)CrossEntropyLoss其實(shí)內(nèi)置了 Softmax 操作所以模型的最后一層直接輸出 10 個(gè)類別的 logits 就行不要在輸出層再手動(dòng)加一個(gè) Softmax。加了在數(shù)值上通常不會(huì)出錯(cuò)但會(huì)讓你的損失計(jì)算變得繞而且萬一你用到了混合精度訓(xùn)練數(shù)值穩(wěn)定性還會(huì)受影響。我見過有人一時(shí)糊涂輸出層手動(dòng)加了F.log_softmax又搭配NLLLoss用效果雖然差不多但代碼讀起來繞了一大圈沒必要。優(yōu)化器我推薦直接上 SGD Momentum不是因?yàn)檫@玩意兒效果最好而是因?yàn)樗鼘?duì)超參數(shù)的理解成本最低。optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4)weight_decay是 L2 正則給大權(quán)重施以懲罰配合數(shù)據(jù)增強(qiáng)一起壓制過擬合是圖像分類訓(xùn)練的標(biāo)準(zhǔn)搭配。為什么不用 AdamAdam 確實(shí)收斂快、對(duì)學(xué)習(xí)率不敏感但它泛化性能在這類任務(wù)上常常不如調(diào)得好的 SGD。作為教學(xué)項(xiàng)目用 SGD 能逼著你理解學(xué)習(xí)率衰減的作用這個(gè)理解對(duì)你以后做任何優(yōu)化都有價(jià)值。3.3 訓(xùn)練集驗(yàn)證集的劃分別自欺欺人CIFAR-10 官方已經(jīng)分好了直接拿來做 train/test 劃分就行。如果用自己的數(shù)據(jù)務(wù)必保證類別分布均衡并且絕對(duì)不能有數(shù)據(jù)泄漏——比如同一張貓的圖既出現(xiàn)在訓(xùn)練集又出現(xiàn)在驗(yàn)證集那你的驗(yàn)證準(zhǔn)確率就是注了水的。劃分比例我默認(rèn)是 8:2 或 9:1關(guān)鍵看數(shù)據(jù)總量。總量幾萬張9:1 完全夠總共有幾千張驗(yàn)證集至少得留幾百張否則驗(yàn)證準(zhǔn)確率的波動(dòng)能大到看不出有沒有改進(jìn)。順帶說一下固定隨機(jī)種子的習(xí)慣。開頭寫三行能讓你的整輪實(shí)驗(yàn)可復(fù)現(xiàn)調(diào)參的時(shí)候不會(huì)因?yàn)殡S機(jī)性把鍋甩給模型import random, numpy as np, torch random.seed(0) np.random.seed(0) torch.manual_seed(0)如果用了 GPU再加一句torch.cuda.manual_seed_all(0)。實(shí)際跑起來因?yàn)槎嗑€程、非確定性算法等因素不可能完全相同但至少能消除換一次運(yùn)行換個(gè)結(jié)果這種最讓人崩潰的問題。4. 訓(xùn)練過程實(shí)錄與核心參數(shù)解讀4.1 一份可直接抄的主干代碼這里我先給你一份完整的訓(xùn)練循環(huán)骨架把注釋寫明白然后逐段拆解里面的關(guān)鍵細(xì)節(jié)import torch import torch.nn as nn from torch.utils.data import DataLoader import torchvision import torchvision.transforms as transforms import torchvision.models as models # ---------- 數(shù)據(jù) ---------- train_transform transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616])]) val_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.4914, 0.4822, 0.4465], std[0.2470, 0.2435, 0.2616])]) train_dataset torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtrain_transform) val_dataset torchvision.datasets.CIFAR10(root./data, trainFalse, downloadTrue, transformval_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) # ---------- 模型 ---------- model models.resnet18(num_classes10) model.conv1 nn.Conv2d(3, 64, kernel_size3, stride1, padding1, biasFalse) model.maxpool nn.Identity() device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer torch.optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) # ---------- 訓(xùn)練循環(huán) ---------- def train_one_epoch(epoch): model.train() train_loss 0.0 correct 0 total 0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() * images.size(0) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() avg_loss train_loss / total acc 100.0 * correct / total print(fEpoch {epoch} | Train Loss: {avg_loss:.4f} | Acc: {acc:.2f}%) return avg_loss, acc def validate(epoch): model.eval() val_loss 0.0 correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) val_loss loss.item() * images.size(0) _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() avg_loss val_loss / total acc 100.0 * correct / total print(fEpoch {epoch} | Val Loss: {avg_loss:.4f} | Acc: {acc:.2f}%) return avg_loss, acc for epoch in range(1, 31): train_one_epoch(epoch) validate(epoch)這段代碼跑在普通顯卡上CIFAR-10 大約十幾分鐘一個(gè) epoch30 個(gè) epoch 大概幾個(gè)小時(shí)能收完。最后驗(yàn)證準(zhǔn)確率可以到 85% 到 90% 之間比瞎猜的 10% 已經(jīng)高出太多了。4.2 訓(xùn)練循環(huán)里最容易寫錯(cuò)的三處細(xì)節(jié)第一處是model.train()和model.eval()的切換。這兩個(gè)方法控制的是 BatchNorm 和 Dropout 在訓(xùn)練/推理時(shí)的不同行為。訓(xùn)練時(shí) BatchNorm 用當(dāng)前 batch 的均值方差推理時(shí)用的是訓(xùn)練階段累積的全局統(tǒng)計(jì)量。如果你忘了切回eval()驗(yàn)證時(shí)每一批數(shù)據(jù)的歸一化統(tǒng)計(jì)量都不一樣結(jié)果會(huì)忽高忽低表現(xiàn)很不穩(wěn)定。這基本是新手報(bào)錯(cuò)榜第一名。第二處是optimizer.zero_grad()的位置。PyTorch 的梯度是默認(rèn)累加的不清零的話每個(gè) batch 的梯度會(huì)疊加在一起相當(dāng)于用一個(gè)巨大無比的 batch 去更新參數(shù)。正確順序永遠(yuǎn)是zero_grad()→ 前向 → 算 loss →backward()→step()。我自己的肌肉記憶就是這個(gè)順序一次都沒錯(cuò)過。第三處是驗(yàn)證階段用with torch.no_grad():包起來。不包也能跑但會(huì)額外計(jì)算一堆根本用不上的計(jì)算圖顯存和速度都會(huì)受影響。更隱蔽的問題是如果你后面要做模型轉(zhuǎn)換或者推理部署就會(huì)發(fā)現(xiàn)這個(gè)多余的計(jì)算圖會(huì)成為各種報(bào)錯(cuò)的源頭養(yǎng)成驗(yàn)證推理都包no_grad的習(xí)慣后面省很多事。4.3 學(xué)習(xí)率衰減SGD 的勝負(fù)手如果你拿著lr0.1不做衰減直接硬跑 60 個(gè) epoch會(huì)發(fā)現(xiàn)前 20 個(gè) epoch 漲得很快后面就卡住了上不去。這不是模型不行是學(xué)習(xí)率太大導(dǎo)致參數(shù)在最優(yōu)解附近來回震蕩、無法收斂到更小的損失盆地。標(biāo)準(zhǔn)做法是步進(jìn)式衰減每過一定 epoch 數(shù)把學(xué)習(xí)率降為原來的十分之一。CIFAR-10 上我習(xí)慣在第 15、25 個(gè) epoch 各衰減一次 0.1 倍scheduler torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones[15, 25], gamma0.1)然后在每個(gè) epoch 結(jié)束時(shí)調(diào)用scheduler.step()。注意調(diào)用時(shí)機(jī)——PyTorch 的MultiStepLR是在調(diào)用step()時(shí)根據(jù)當(dāng)前 epoch 數(shù)決定是否衰減所以通常放在一個(gè) epoch 結(jié)束之后。我盯著訓(xùn)練曲線看的時(shí)候有個(gè)很直觀的經(jīng)驗(yàn)學(xué)習(xí)率衰減那一刻模型會(huì)有一個(gè)明顯的再進(jìn)一步的提升損失和準(zhǔn)確率都突然往好了跳。如果你衰減完了毫無變化通常說明模型早就收斂了衰減不衰減都差不多這時(shí)候就應(yīng)該關(guān)注是不是容量不夠的問題了。4.4 Checkpoint 保存怎么存才算專業(yè)很多人訓(xùn)練的時(shí)候不存模型等最后跑完才發(fā)現(xiàn)中間某個(gè) epoch 效果最好但沒存下來只能重來。我的習(xí)慣是每輪驗(yàn)證結(jié)束如果驗(yàn)證準(zhǔn)確率創(chuàng)了新高就把模型狀態(tài)存成一份best_model.pth。只保存最好的那一個(gè)不用把每一輪的都存不然硬盤很快被撐爆。best_acc 0.0 for epoch in range(1, 31): train_one_epoch(epoch) val_loss, val_acc validate(epoch) if val_acc best_acc: best_acc val_acc checkpoint { epoch: epoch, model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), best_acc: best_acc, } torch.save(checkpoint, best_model.pth) print(f保存最佳模型驗(yàn)證準(zhǔn)確率: {val_acc:.2f}%)注意這里保存的是state_dict()而不是整個(gè)model。前者的好處是文件小、跨環(huán)境兼容好、結(jié)構(gòu)清晰。加載的時(shí)候先創(chuàng)建模型結(jié)構(gòu)再load_state_dict把權(quán)重填進(jìn)去。而torch.save(model)這種整模型保存方式在版本升級(jí)之后很容易加載失敗我踩過這個(gè)坑后來再也沒用過。我把 optimizer 的state_dict也一起存了因?yàn)檎嬉獢帱c(diǎn)續(xù)訓(xùn)的話光有模型權(quán)重、沒有優(yōu)化器動(dòng)量狀態(tài)恢復(fù)出來的訓(xùn)練過程會(huì)跟你中斷之前不完全一樣。完整保存才能在某個(gè) epoch 中斷后接著繼續(xù)跑不用從頭開始。5. 常見問題排查與避坑實(shí)錄5.1 訓(xùn)練 loss 下不去的系統(tǒng)排查法這恐怕是每個(gè)人都會(huì)撞見的頭號(hào)問題。我總結(jié)了一個(gè)從快到慢的排查順序照這個(gè)順序走絕大多數(shù)情況幾分鐘就能定位。第一步先看 loss 初值是否符合直覺。10 分類任務(wù)隨機(jī)初始化后交叉熵應(yīng)該在 ln(10) 約等于 2.30 附近。如果你設(shè)置完模型損失直接是 0 或者幾百那大概率是代碼有 bug而不是訓(xùn)練問題。比如標(biāo)簽沒對(duì)齊、數(shù)據(jù)預(yù)處理方向錯(cuò)了這類基礎(chǔ)性錯(cuò)誤都會(huì)在初值這里暴露。第二步確認(rèn)梯度有沒有真的流動(dòng)起來。挑一批數(shù)據(jù)手動(dòng)來一次loss.backward()然后打印幾層參數(shù)的gradfor name, param in model.named_parameters(): if param.grad is not None: print(name, param.grad.abs().mean().item())如果發(fā)現(xiàn)某層梯度全是 0要么是這一層的輸入本身就斷了要么是前面的層輸出有問題。常見的元兇包括把ReLU錯(cuò)裝成ReLU6導(dǎo)致輸出被截?cái)嗷蛘吣硞€(gè)forward里寫錯(cuò)了張量維度。打印梯度這一步基本能鎖定。第三步拿一個(gè)極小數(shù)據(jù)集做擬合測試。比如只拿 4 張訓(xùn)練圖片反復(fù)跑如果模型連這 4 張都記不住、loss 死活不降說明網(wǎng)絡(luò)結(jié)構(gòu)或者數(shù)據(jù)鏈路有 bug。反之如果極小數(shù)據(jù)能快速過擬合到 100%說明模型沒問題問題在整體訓(xùn)練設(shè)置上——這時(shí)候就該檢查學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)是不是過猛了。5.2 過擬合的三大信號(hào)與標(biāo)準(zhǔn)操作圖像分類里過擬合的識(shí)別其實(shí)很簡單訓(xùn)練準(zhǔn)確率一路爬升接近 100%驗(yàn)證準(zhǔn)確率卻停滯甚至開始掉頭向下訓(xùn)練 loss 和驗(yàn)證 loss 的差距越拉越大。CIFAR-10 用小網(wǎng)絡(luò)跑到 90% 訓(xùn)練準(zhǔn)確率還看不出過擬合但如果你的網(wǎng)絡(luò)是 ResNet50 這種大模型訓(xùn)練集幾萬張那過擬合幾乎是必然的。應(yīng)對(duì)手段按優(yōu)先級(jí)排第一是增強(qiáng)數(shù)據(jù)增強(qiáng)強(qiáng)度隨機(jī)裁剪的 padding 從 4 加到 8再加隨機(jī)旋轉(zhuǎn)或隨機(jī)擦除。第二是調(diào)高weight_decay1e-4 不夠就試 5e-3。第三是加 Dropout對(duì) ResNet 來說其實(shí)不需要它本身有 BatchNorm 也有一定的正則效果。第四是換更小的網(wǎng)絡(luò)實(shí)在不行再從數(shù)據(jù)規(guī)模上想辦法。有一個(gè)很容易混淆的點(diǎn)過擬合和訓(xùn)練完了epoch 不夠經(jīng)常長得很像。前者是訓(xùn)練 loss 低、驗(yàn)證 loss 高后者是兩個(gè) loss 都很高。前者加大正則后者就單純多訓(xùn)幾個(gè) epoch方向完全相反判斷錯(cuò)了等于白折騰。5.3 驗(yàn)證準(zhǔn)確率卡在低位的排查順序如果訓(xùn)練一切正常但驗(yàn)證集準(zhǔn)確率就是上不去比如 10 分類卡在 30% 甚至 20%先別急著罵模型。我見過最多次的原因是驗(yàn)證集的 transform 和訓(xùn)練集的差異處理出了問題比如驗(yàn)證集忘了做ToTensor()導(dǎo)致輸入還是 PIL 格式直接進(jìn)了模型這必炸。第二個(gè)常犯的錯(cuò)誤是model.eval()忘了寫。第三個(gè)可能是什么地方把標(biāo)簽順序給打亂了比如用了shuffleTrue的驗(yàn)證集或者ImageFolder的類別排序和你預(yù)期的不是一回事。再往下排查考慮是不是數(shù)據(jù)增強(qiáng)設(shè)置太強(qiáng)。我有一回做一個(gè)小數(shù)據(jù)集分類訓(xùn)練集用了大角度的隨機(jī)旋轉(zhuǎn)加極端顏色擾動(dòng)結(jié)果模型把增強(qiáng)后的分布學(xué)到了而對(duì)原始風(fēng)格的驗(yàn)證集完全不適應(yīng)。這時(shí)候把增強(qiáng)幅度調(diào)回正常水平準(zhǔn)確率立刻恢復(fù)正常。最后一個(gè)排查方向是類別不均衡。如果你的數(shù)據(jù)里 90% 都是貓模型全猜貓就有 90% 準(zhǔn)確率你還以為模型很強(qiáng)其實(shí)它對(duì)狗一無所知。這種情況不要只看整體準(zhǔn)確率要看每個(gè)類別的召回率、F1。必要的時(shí)候用類別加權(quán)損失或者過采樣。5.4 顯存不足與訓(xùn)練速度異常的實(shí)用對(duì)策顯存爆掉CUDA OOM是入門階段跑模型最常見的技術(shù)性崩潰。標(biāo)準(zhǔn)做法是減小 batch size,但減到 1 還不夠用就得換思路了。我在比較短的教程里會(huì)提t(yī)orch.cuda.empty_cache()但它治標(biāo)不治本。更好的辦法是用torch.backends.cudnn.benchmark True讓 cuDNN 自動(dòng)選最快的卷積算法提升速度。數(shù)據(jù)加載num_workers加大訓(xùn)練循環(huán)里的 CPU 瓶頸優(yōu)先解決。如果模型實(shí)在太大考慮凍結(jié)前面幾層的梯度只訓(xùn)后面的分類頭參數(shù)顯存占用和計(jì)算量都會(huì)明顯下降。訓(xùn)練速度異常慢還有一種隱蔽原因num_workers0數(shù)據(jù)加載完全串行GPU 大部分時(shí)間在空等。我見過有人用默認(rèn)設(shè)置跑 224x224 的 ImageNet 子集GPU 利用率只有 30%把num_workers加到 8 之后利用率直接拉到 90% 以上訓(xùn)練時(shí)間縮短了一半還多。5.5 常見問題速查表現(xiàn)象最可能的根源首選排查動(dòng)作訓(xùn)練 loss 完全不降代碼 bug 或數(shù)據(jù)鏈路斷裂先打印初始 loss再做極小集過擬合測試初始 loss 遠(yuǎn)偏離 2.30標(biāo)簽錯(cuò)位、預(yù)處理錯(cuò)誤檢查數(shù)據(jù)集樣本和標(biāo)簽對(duì)應(yīng)關(guān)系訓(xùn)練 loss 降驗(yàn)證不降過擬合或驗(yàn)證集泄露檢查驗(yàn)證集是否被增強(qiáng)加大正則準(zhǔn)確率忽高忽低驗(yàn)證集出現(xiàn)了隨機(jī)增強(qiáng)刪掉驗(yàn)證 transform 里所有隨機(jī)操作顯存不足batch size 過大減小 batch size 或凍結(jié)部分層梯度訓(xùn)練慢到懷疑人生num_workers 太小調(diào)大 num_workers 并確認(rèn) pin_memory 開啟重啟程序后結(jié)果變樣隨機(jī)種子未固定在開頭固定 seed加載 checkpoint 報(bào)錯(cuò)結(jié)構(gòu)對(duì)不上或格式不符只存 state_dict加載時(shí)先建模型結(jié)構(gòu)6. 讓模型再進(jìn)一步三條務(wù)實(shí)的優(yōu)化路線6.1 數(shù)據(jù)增強(qiáng)加碼自動(dòng)增強(qiáng)與隨機(jī)擦除如果你跑完上面的基線心里有點(diǎn)數(shù)了最值得花時(shí)間的就是數(shù)據(jù)增強(qiáng)加碼。CIFAR-10 上常用的梯度是三段式第一段是 RandomCrop 翻轉(zhuǎn)第二段加 ColorJitter第三段上 RandomErasing 或者 Cutout——隨機(jī)用一塊黑色矩形遮住圖中某個(gè)區(qū)域強(qiáng)迫模型不能只依賴局部特征做判斷這個(gè)思路非常實(shí)用。# 在已有的增強(qiáng)鏈末尾追加 train_transform.transforms.append( transforms.RandomErasing(p0.5, scale(0.02, 0.2), ratio(0.3, 3.3)) )隨機(jī)擦除的本質(zhì)是正則化它逼著模型去利用全局信息而不是偷懶抓某一個(gè)局部特征下結(jié)論。我自己的實(shí)測里CIFAR-10 加上它一般能再漲 1 到 2 個(gè)點(diǎn)代價(jià)是訓(xùn)練時(shí)間稍微長一點(diǎn)收益完全值得。6.2 遷移學(xué)習(xí)用預(yù)訓(xùn)練權(quán)重就是降維打擊如果不想在這份小數(shù)據(jù)集上默默煉丹遷移學(xué)習(xí)是一條公認(rèn)的捷徑。用在 ImageNet 上預(yù)訓(xùn)練好的 ResNet18 權(quán)重只不過 ImageNet 是 1000 分類最后的分層頭是 1000 維換成 CIFAR-10 時(shí)把最后一層換成 10 維輸出即可model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) num_features model.fc.in_features model.fc nn.Linear(num_features, 10)這里要注意用預(yù)訓(xùn)練模型時(shí)輸入圖上采樣到 224x224 才符合它原來的輸入分布你要把Resize((224, 224))加到 transform 里。訓(xùn)練策略上也跟從頭訓(xùn)不一樣先用一個(gè)比較小的學(xué)習(xí)率比如 0.001把新加的最后一層訓(xùn)幾個(gè) epoch 預(yù)熱然后可以放寬到全部層。前面的卷積層特征已經(jīng)足夠通用微調(diào)幅度不用太大不然容易災(zāi)難性遺忘。遷移學(xué)習(xí)真正的威力體現(xiàn)在小數(shù)據(jù)集上——幾百張到幾千張的數(shù)據(jù)從頭訓(xùn)一個(gè)網(wǎng)絡(luò)幾乎必過擬合但用預(yù)訓(xùn)練模型微調(diào)往往能直接到 80% 以上。6.3 測試期增強(qiáng)與模型集成的小技巧最后分享兩個(gè)實(shí)驗(yàn)階段很好用的提分手段成本低、直接有效。測試期增強(qiáng)TTA的思路是推理的時(shí)候不只看原圖一次而是把圖做若干次輕微變換比如隨機(jī)裁剪、翻轉(zhuǎn)然后把所有輸出的概率取平均再取 argmax。這個(gè)思路能平滑掉單次預(yù)測的偶然性。CIFAR-10 上實(shí)測可以穩(wěn)定漲 0.5 到 1 個(gè)點(diǎn)。def predict_tta(model, image, transforms_list, device): probs [] with torch.no_grad(): for t in transforms_list: img_tensor t(image).unsqueeze(0).to(device) output torch.softmax(model(img_tensor), dim1) probs.append(output) avg_probs torch.mean(torch.cat(probs, dim0), dim0) return avg_probs.argmax().item()模型集成就更簡單粗暴了訓(xùn)練兩個(gè)不同初始化和增強(qiáng)配置的模型推理時(shí)把概率平均。兩個(gè)模型都能到 90% 左右集成一下往往能再漲 1 到 2 個(gè)點(diǎn)。代價(jià)是訓(xùn)練時(shí)間翻倍、推理時(shí)間翻倍競賽里很實(shí)用工程上則要看業(yè)務(wù)能不能接受這個(gè)延遲。到這里一條完整的圖像分類流水線你已經(jīng)親手走通了。我個(gè)人在實(shí)際帶項(xiàng)目的過程里最深的一點(diǎn)體會(huì)是圖像分類看起來就這點(diǎn)東西但數(shù)據(jù)、模型、訓(xùn)練、評(píng)估四個(gè)環(huán)節(jié)沒有一個(gè)是能糊弄過去的——每個(gè)環(huán)節(jié)的錯(cuò)誤都會(huì)以各種詭異的面貌出現(xiàn)在結(jié)果里。如果你跑通了這份代碼不妨再自己動(dòng)手做一次實(shí)驗(yàn)把數(shù)據(jù)增強(qiáng)刪掉跑一輪、把學(xué)習(xí)率衰減去掉跑一輪、把 batch size 改成 16 跑一輪親眼看曲線變化。這個(gè)過程比看十篇教程都有用。等你真正理解了這些超參數(shù)在曲線上的投影再去看檢測、分割那些復(fù)雜模型會(huì)發(fā)現(xiàn)自己已經(jīng)能讀懂它們在做什么了。