制：人臉表情識別消融實(shí)驗(yàn)從零實(shí)現(xiàn))
簡介一套基于PyTorch 1.8構(gòu)建的人臉表情識別消融實(shí)驗(yàn)項(xiàng)目源碼面向深度學(xué)習(xí)初學(xué)者或研究人員非常適合用于對比VGG16、ResNet50、InceptionV3及自定義CNN在融合CBAM、SE、ECA三種注意力機(jī)制后的識別效果并已在FER2013與RAF數(shù)據(jù)集上得出ResNet50CBAM精度最高的結(jié)論。資源包內(nèi)共包含有18個(gè)文件以7個(gè)Python腳本為主體涵蓋模型定義、注意力模塊、數(shù)據(jù)重寫與訓(xùn)練全流程另含3張示意圖、2個(gè)Markdown說明及若干keep占位文件整個(gè)壓縮包體積僅244KB結(jié)構(gòu)輕量清晰。項(xiàng)目按功能劃分dataloader、dataset、logs、result等模塊方便直接替換數(shù)據(jù)集并記錄訓(xùn)練日志與測試結(jié)果日志與結(jié)果目錄已預(yù)置便于快速復(fù)現(xiàn)實(shí)驗(yàn)并觀察模型收斂情況。目前已有443人學(xué)習(xí)下載適合需要復(fù)現(xiàn)多模型組合實(shí)驗(yàn)、開展表情識別對比研究或作為課程設(shè)計(jì)的參考實(shí)現(xiàn)。1. 多模型消融實(shí)驗(yàn)表情識別項(xiàng)目里ResNet50和Attention到底誰在起作用人臉表情識別在真實(shí)場景里是個(gè)“看著簡單、落地發(fā)愁”的問題拍糊了、轉(zhuǎn)頭了、光線偏了精度就掉。很多人第一反應(yīng)是把ResNet50換成ResNet101或者干脆換更大模型結(jié)果訓(xùn)練時(shí)間翻倍準(zhǔn)確率只漲零點(diǎn)幾個(gè)點(diǎn)。這個(gè)項(xiàng)目標(biāo)題給的思路是反過來——固定ResNet50這類骨干在它身上加Attention模塊再用消融實(shí)驗(yàn)逐個(gè)驗(yàn)證“模塊加了到底有沒有用、提升來自哪一層”。它適合兩類人一類是想在表情識別這個(gè)任務(wù)上拿到更高精度、并且能解釋清楚提升來源的開發(fā)者另一類是正在做課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)、需要一套嚴(yán)謹(jǐn)對比實(shí)驗(yàn)來支撐結(jié)論的同學(xué)。把這條技術(shù)路線拆開你會發(fā)現(xiàn)消融實(shí)驗(yàn)比單純堆模型更能說明問題而且實(shí)現(xiàn)成本遠(yuǎn)低于換一個(gè)更大的backbone。2. 搭建實(shí)驗(yàn)基線數(shù)據(jù)預(yù)處理與ResNet50的基準(zhǔn)實(shí)現(xiàn)2.1 數(shù)據(jù)集選擇與預(yù)處理灰度表情圖怎么喂給ImageNet預(yù)訓(xùn)練模型表情識別常用公開數(shù)據(jù)集大多是48×48的灰度圖以FER2013這類數(shù)據(jù)集為例它包含生氣、厭惡、恐懼、開心、悲傷、驚訝、中性七類。拿到原始CSV后pixels列是空格分隔的像素值字符串需要先還原成二維矩陣再轉(zhuǎn)成圖像。這里有個(gè)關(guān)鍵細(xì)節(jié)ResNet50的預(yù)訓(xùn)練權(quán)重是在ImageNet上訓(xùn)的輸入是三通道RGB而表情數(shù)據(jù)集是單通道灰度圖。常見做法是把灰度圖復(fù)制成三通道再套用ImageNet的標(biāo)準(zhǔn)化參數(shù)這樣能完整復(fù)用預(yù)訓(xùn)練特征。import numpy as np import cv2 from torch.utils.data import Dataset class FERDataset(Dataset): def __init__(self, df, transformNone): self.df df self.transform transform def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] # pixels列是空格分隔的字符串先轉(zhuǎn)成uint8矩陣 arr np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) # 灰度轉(zhuǎn)三通道為了匹配ResNet50的預(yù)訓(xùn)練輸入 img cv2.cvtColor(arr, cv2.COLOR_GRAY2RGB) label int(row[emotion]) if self.transform: img self.transform(img) return img, label這里把灰度圖復(fù)制成三通道是最穩(wěn)的寫法不要去訓(xùn)練單通道的ResNet50變體那會丟掉ImageNet預(yù)訓(xùn)練的大部分價(jià)值。預(yù)處理階段還需要注意數(shù)據(jù)劃分FER2013這類數(shù)據(jù)集通常自帶官方劃分直接用就行如果數(shù)據(jù)集沒有劃分建議按訓(xùn)練:驗(yàn)證:測試8:1:1做分層切分保證每個(gè)子集里七類比例一致。分層切分很重要否則驗(yàn)證集里“開心”占比過高評估結(jié)果會虛高。數(shù)據(jù)增強(qiáng)部分要克制。表情識別任務(wù)里翻轉(zhuǎn)和輕微仿射變換是安全的但不要用隨機(jī)裁剪因?yàn)槿四樉又械奈恢眯畔Ρ砬榕袛嘤杏绊憽Ｎ乙话氵@樣配from torchvision import transforms train_transform transforms.Compose([ transforms.ToTensor(), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees10, translate(0.1, 0.1)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])注意ToTensor一定要放在最前面先做張量轉(zhuǎn)換再做增強(qiáng)和標(biāo)準(zhǔn)化。RandomAffine里的translate給0.1就夠了給大了會把眼睛嘴巴移出人臉區(qū)域反而讓模型學(xué)到錯(cuò)誤的位置關(guān)聯(lián)。2.2 搭建ResNet50基線改全連接層和訓(xùn)練循環(huán)基線模型用torchvision自帶的ResNet50替換最后的全連接層把1000類輸出改成7類。新版torchvision推薦用weights參數(shù)來加載預(yù)訓(xùn)練權(quán)重寫法更明確。import torch import torch.nn as nn import torchvision.models as models def build_backbone(base_nameresnet50, num_classes7, pretrainedTrue): if base_name resnet50: model models.resnet50( weightsmodels.ResNet50_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) elif base_name resnet18: model models.resnet18( weightsmodels.ResNet18_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model這個(gè)build_backbone函數(shù)后面做多模型對比時(shí)會反復(fù)用到第4章的消融實(shí)驗(yàn)也依賴它。注意ResNet50每個(gè)Bottleneck的輸出通道數(shù)不是固定的所以替換fc層時(shí)一定要用model.fc.in_features動態(tài)讀取不要硬編碼2048否則切到ResNet18或ResNet101時(shí)會出錯(cuò)。預(yù)訓(xùn)練權(quán)重加載上去后前幾輪訓(xùn)練要特別小心主干網(wǎng)絡(luò)的梯度不要太大否則會破壞已經(jīng)學(xué)好的底層特征。訓(xùn)練循環(huán)用固定的流程pytorch標(biāo)準(zhǔn)寫法但有兩個(gè)點(diǎn)值得強(qiáng)調(diào)一是優(yōu)化器要區(qū)分主干和新增層的學(xué)習(xí)率二是loss要按類別分布加權(quán)。from torch.utils.data import DataLoader train_loader DataLoader(train_ds, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) optimizer torch.optim.AdamW([ {params: model.conv1.parameters(), lr: 1e-5}, {params: model.bn1.parameters(), lr: 1e-5}, {params: model.layer1.parameters(), lr: 1e-5}, {params: model.layer2.parameters(), lr: 1e-5}, {params: model.layer3.parameters(), lr: 1e-5}, {params: model.layer4.parameters(), lr: 1e-5}, {params: model.fc.parameters(), lr: 1e-3}, ], weight_decay1e-4) criterion nn.CrossEntropyLoss()這個(gè)配置背后的邏輯是預(yù)訓(xùn)練層的學(xué)習(xí)率給1e-5只做微調(diào)新加的fc層從零開始學(xué)給1e-3。如果所有層都用同一個(gè)學(xué)習(xí)率要么預(yù)訓(xùn)練特征被沖掉要么fc層學(xué)不動兩種情況在表情識別上都表現(xiàn)過后者尤其常見。batch size在48×48這種小圖上可以給64或128顯存不夠就降到32。2.3 評估協(xié)議只看準(zhǔn)確率的項(xiàng)目走不遠(yuǎn)很多人跑完只看一個(gè)Top-1準(zhǔn)確率就開始對比這是消融實(shí)驗(yàn)最容易翻車的習(xí)慣。FER2013這類表情數(shù)據(jù)集類別極不均衡“開心”樣本可能接近“厭惡”樣本的5倍以上模型只要把多數(shù)類學(xué)好了準(zhǔn)確率就能到百分之六七十但“生氣”“厭惡”“恐懼”這幾個(gè)類可能完全被犧牲掉。我常用的評估指標(biāo)有三個(gè)準(zhǔn)確率、宏平均F1、每類Recall。準(zhǔn)確率是給外行看的總分宏平均F1才是模型真實(shí)能力的度量。記錄結(jié)果時(shí)三個(gè)都要存。每類Recall用來精確定位模型混淆在哪幾類上表情識別里最常見的是“生氣”和“厭惡”互相混。from sklearn.metrics import accuracy_score, f1_score, recall_score, confusion_matrix def evaluate(model, loader, device): model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in loader: imgs imgs.to(device) outputs model(imgs) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) acc accuracy_score(all_labels, all_preds) macro_f1 f1_score(all_labels, all_preds, averagemacro) recall_each recall_score(all_labels, all_preds, averageNone) cm confusion_matrix(all_labels, all_preds) return acc, macro_f1, recall_each, cm注意評估階段要關(guān)閉梯度計(jì)算省顯存且速度快。每次跑完把a(bǔ)cc、macro_f1、recall_each、cm四個(gè)結(jié)果都存檔后面做消融實(shí)驗(yàn)分析時(shí)才有的放矢?；€模型的macro_f1一般會比準(zhǔn)確率低三到五個(gè)點(diǎn)這就是類別不均衡的直接體現(xiàn)?？吹竭@個(gè)差距先別慌這是正常現(xiàn)象后續(xù)加Attention能不能把這個(gè)差距拉小才是這個(gè)項(xiàng)目真正要回答的問題。提示無論后續(xù)做什么改造基線的訓(xùn)練輪數(shù)、數(shù)據(jù)增強(qiáng)、loss函數(shù)、優(yōu)化器配置都必須先凍結(jié)。消融實(shí)驗(yàn)的全部意義在于“只改變一個(gè)變量”基線不穩(wěn)定后面所有結(jié)論都不可信。3. 給ResNet50加Attention三種注意力機(jī)制的接入點(diǎn)與實(shí)現(xiàn)3.1 SE模塊通道維度上的擠壓激勵(lì)最容易接入的注意力SE模塊的思路很直接對特征圖的每個(gè)通道做全局平均池化得到通道描述符再過兩個(gè)全連接層學(xué)習(xí)通道之間的依賴關(guān)系最后用sigmoid生成0到1之間的通道權(quán)重乘回原特征圖。它沒有用到空間信息只關(guān)注哪些通道更重要對于表情識別來說深層網(wǎng)絡(luò)里某個(gè)通道可能對應(yīng)“嘴角上揚(yáng)”還是“皺眉”這種局部模式SE能自動放大這些關(guān)鍵通道。import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.shape w self.pool(x).view(b, c) # 壓縮成通道描述符 w self.fc(w).view(b, c, 1, 1) # 生成通道權(quán)重 return x * w # 加權(quán)原特征圖接入點(diǎn)推薦放在Bottleneck殘差分支的末尾也就是最后一個(gè)1×1卷積的輸出之后、與殘差相加之前。這樣SE作用在“本次卷積學(xué)到的新特征”上而不是作用在加和之后的混合特征上歸因更清晰。reduction取16是默認(rèn)值通道數(shù)為1024時(shí)先壓到64再擴(kuò)回來參數(shù)開銷約等于一個(gè)全連接層的參數(shù)量對整體訓(xùn)練速度影響很小。取8會更激進(jìn)保留更多通道信息但參數(shù)量翻倍取32則信息擠壓過狠在表情這類小數(shù)據(jù)集上容易欠擬合。我建議兩個(gè)都試放在消融實(shí)驗(yàn)矩陣?yán)锂?dāng)一組對比。3.2 CBAM通道注意力加空間注意力位置怎么擺最關(guān)鍵CBAM比SE多了一個(gè)空間注意力分支通道注意力部分同時(shí)利用平均池化和最大池化兩個(gè)描述符共享同一個(gè)MLP然后相加過sigmoid?？臻g注意力部分把通道維做平均和最大兩種池化拼成兩通道特征圖過一個(gè)7×7卷積生成空間權(quán)重。對表情識別來說空間注意力有可能定位到眼部和嘴部區(qū)域理論上比純通道注意力更契合任務(wù)特性。class ChannelAttention(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.mlp nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), ) def forward(self, x): b, c, _, _ x.shape avg_out self.mlp(self.avg_pool(x).view(b, c)).view(b, c, 1, 1) max_out self.mlp(self.max_pool(x).view(b, c)).view(b, c, 1, 1) return torch.sigmoid(avg_out max_out) class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() self.conv nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) max_out torch.max(x, dim1, keepdimTrue).values x_cat torch.cat([avg_out, max_out], dim1) return torch.sigmoid(self.conv(x_cat))CBAM的接入點(diǎn)和SE不一樣常見做法是放在殘差加和之后、ReLU之前。也就是先讓殘差分支和恒等映射加起來再對融合后的特征做通道和空間加權(quán)最后過ReLU。這樣注意力能看到完整的殘差信息而不是只看分支單側(cè)。kernel_size用7這是原作者在ImageNet上調(diào)出來的最優(yōu)值在表情這種小分辨率圖上我試過5和7差別很小直接用7就行。3.3 ECA和自注意力做對照組時(shí)怎么選ECA是SE的輕量化改良去掉全連接層的降維過程改用一維卷積直接在通道維上捕捉局部跨通道交互。它參數(shù)量只有SE的幾十分之一但效果在很多任務(wù)上和SE打平甚至更好。放進(jìn)消融實(shí)驗(yàn)里它能幫你判斷提升到底來自“通道重標(biāo)定”這個(gè)行為本身還是來自SE里那兩個(gè)全連接層帶來的額外參數(shù)。class ECABlock(nn.Module): def __init__(self, channels, kernel_size5): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) # 一維卷積只在通道維上滑動感受野默認(rèn)覆蓋5個(gè)相鄰?fù)ǖ?self.conv nn.Conv1d(1, 1, kernel_sizekernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): b, c, _, _ x.shape w self.pool(x).squeeze(-1).squeeze(-1) # b, c w self.conv(w.unsqueeze(1)).squeeze(1) # b, c w torch.sigmoid(w).view(b, c, 1, 1) return x * wkernel_size給5一維卷積的padding按kernel_size // 2來設(shè)置保證輸出長度和輸入一致。ECA沒有降維操作所以不存在reduction這個(gè)超參。相比之下如果項(xiàng)目里有人用了multi-head self-attention來做視覺任務(wù)一般會在主干輸出的特征圖上做全局自注意力那個(gè)計(jì)算量在48×48輸入下還能接受但放到ResNet50的中間層會非常吃顯存訓(xùn)練速度下降明顯。做消融實(shí)驗(yàn)時(shí)我建議第一優(yōu)先級跑SE和CBAMECA作為輕量對照自注意力變體可以放到最后再試先確保前幾個(gè)對比組的結(jié)論干凈。注意三個(gè)注意力模塊都能直接作用在ResNet50的每個(gè)Bottleneck上但不要一上來就全層加。先在layer4加跑通再擴(kuò)展到layer3和layer2逐層做記錄。全層同時(shí)加訓(xùn)練時(shí)間和顯存開銷翻倍出了問題還不好定位。4. 消融實(shí)驗(yàn)設(shè)計(jì)怎么對比結(jié)論才能站得住4.1 消融實(shí)驗(yàn)的核心原則一次只動一個(gè)變量消融實(shí)驗(yàn)ablation study的目的是歸因——驗(yàn)證某個(gè)組件到底對最終性能有多大貢獻(xiàn)。做法是拿掉或替換目標(biāo)組件其他條件全部凍結(jié)觀察指標(biāo)變化。這里最大的風(fēng)險(xiǎn)是“改了不止一個(gè)變量”比如對比ResNet50和ResNet101時(shí)很多人順手把學(xué)習(xí)率也調(diào)了那實(shí)驗(yàn)就臟了說不清提升來自更多層還是更好的學(xué)習(xí)率。變量凍結(jié)清單要寫在代碼注釋或?qū)嶒?yàn)文檔最前面我一般會強(qiáng)制檢查這幾項(xiàng)訓(xùn)練輪數(shù)固定batch size固定優(yōu)化器類型和初始學(xué)習(xí)率固定數(shù)據(jù)增強(qiáng)和預(yù)處理固定評估協(xié)議和測試集固定隨機(jī)種子固定。六個(gè)條件里任何一個(gè)變了實(shí)驗(yàn)結(jié)果都不能和其他組直接比較。特別是隨機(jī)種子不固定的話同一次配置跑兩次能差一到兩個(gè)點(diǎn)的準(zhǔn)確率這在高精度對比時(shí)足以掩蓋真實(shí)的模塊收益。import random import numpy as np def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.deterministic設(shè)為True會犧牲一點(diǎn)訓(xùn)練速度但換來的是結(jié)果可復(fù)現(xiàn)。benchmark要關(guān)掉否則cuDNN會根據(jù)輸入尺寸自動選算法不同實(shí)驗(yàn)間的卷積算法可能不同引入額外變量。4.2 多模型對比矩陣backbone和attention的交叉組合這套消融實(shí)驗(yàn)矩陣是我的標(biāo)準(zhǔn)配置。A組固定ResNet50只換注意力模塊回答“哪個(gè)注意力對這個(gè)任務(wù)有效”B組固定同樣的注意力模塊換backbone回答“模型容量和注意力機(jī)制之間怎么權(quán)衡”C組加一個(gè)不換backbone而直接加深模型的對照組用來判斷加attention帶來的提升到底是模塊本身的價(jià)值還是參數(shù)量的價(jià)值。實(shí)驗(yàn)編號backboneattention改造位置想回答的問題A0ResNet50無基線基準(zhǔn)線在哪A1ResNet50SE每個(gè)殘差分支末尾純通道注意力是否有效A2ResNet50ECA每個(gè)殘差分支末尾輕量通道注意力是否夠用A3ResNet50CBAM殘差加和后ReLU前空間通道組合是否更強(qiáng)B0ResNet18無基線小模型基準(zhǔn)在哪B1ResNet18CBAM同上小模型加注意力能否追平大模型基線C0ResNet101無基線參數(shù)翻倍能帶來多少提升這個(gè)矩陣有七組實(shí)驗(yàn)每組訓(xùn)練三四十個(gè)epoch48×48的圖像單卡訓(xùn)練很快。跑完后重點(diǎn)看三組對比A1對比A0看SE提升A3對比A1看空間注意力的邊際貢獻(xiàn)B1對比A0看小模型加注意力能不能打平大模型。第三組對比最有工程價(jià)值如果ResNet18加CBAM能追平ResNet50那部署時(shí)選誰就很明確了。C0存在的意義是防止你誤判——假如A3比A0漲了2個(gè)點(diǎn)C0比A0漲了3個(gè)點(diǎn)那說明漲點(diǎn)主要來自多出來的注意力模塊參數(shù)而不是CBAM的注意力機(jī)制本身這個(gè)結(jié)論完全不一樣。4.3 從結(jié)果到結(jié)論準(zhǔn)確率、宏F1和混淆矩陣怎么交叉驗(yàn)證每輪實(shí)驗(yàn)跑完把四個(gè)指標(biāo)全部落盤最后匯總成一張總表。我通常在項(xiàng)目根目錄建一個(gè)experiments目錄每個(gè)實(shí)驗(yàn)一個(gè)文件夾里面放metrics.json和最后的checkpoint匯總表單獨(dú)生成。先看準(zhǔn)確率排序再看宏F1排序兩張排序不一致的情況非常常見——某組準(zhǔn)確率最高但宏F1不是最高說明它犧牲了少數(shù)類換來多數(shù)類的整體正確率這種方案在表情識別里是不可取的因?yàn)檎鎸?shí)場景里什么表情都會出現(xiàn)你不能只把“開心”認(rèn)好?；煜仃嚨挠^察重點(diǎn)在角對角的位置。憤怒、厭惡、恐懼、悲傷這幾個(gè)負(fù)向情緒互相混淆是表情識別的主戰(zhàn)場。加CBAM如果只把準(zhǔn)確率提了1個(gè)點(diǎn)但憤怒和厭惡的互相誤判明顯減少那這個(gè)提升就是實(shí)質(zhì)性的反過來如果提升全部落在中性、驚訝這類好分的類上那這個(gè)注意力模塊就沒解決核心矛盾。import json import os def save_metrics(exp_id, acc, macro_f1, recall_each, cm, note): records { exp_id: exp_id, accuracy: round(float(acc), 4), macro_f1: round(float(macro_f1), 4), recall_each: [round(float(v), 4) for v in recall_each], confusion_matrix: cm.tolist(), note: note, } os.makedirs(experiments, exist_okTrue) with open(fexperiments/{exp_id}/metrics.json, w, encodingutf-8) as f: json.dump(records, f, ensure_asciiFalse, indent2)最后做結(jié)論時(shí)不要只看最好成績把每組實(shí)驗(yàn)跑兩遍取平均是一個(gè)更穩(wěn)的工程習(xí)慣尤其是宏F1差距在0.5個(gè)點(diǎn)以內(nèi)時(shí)單次結(jié)果不足以支撐“某模塊更好”的結(jié)論。如果時(shí)間緊張至少對最終勝出的組和基線各跑一次重復(fù)實(shí)驗(yàn)驗(yàn)證。提示任何一組實(shí)驗(yàn)的日志都不能刪訓(xùn)練過程中的loss曲線截圖、參數(shù)配置、跑的時(shí)間點(diǎn)都要留檔。原因是消融實(shí)驗(yàn)的結(jié)論寫到論文或技術(shù)報(bào)告里后別人會問“你這組為什么沒有驗(yàn)證集loss曲線”到時(shí)候補(bǔ)跑的成本遠(yuǎn)高于當(dāng)時(shí)隨手存檔。5. 人臉表情識別項(xiàng)目避坑訓(xùn)練發(fā)散、類別失衡與注意力加在錯(cuò)誤位置的典型問題5.1 訓(xùn)練中期loss爆成NaN梯度爆炸的連鎖反應(yīng)現(xiàn)象前十個(gè)epoch正常loss穩(wěn)定下降某個(gè)epoch開始loss突然變成nan訓(xùn)練中斷重跑還是一樣。原因表情數(shù)據(jù)集本身噪聲大一張圖被標(biāo)成“憤怒”也是“厭惡”也說得過去這種高沖突樣本會產(chǎn)生異常大的梯度。加了SE或CBAM之后問題更明顯注意力模塊的sigmoid輸出靠近0時(shí)反向傳播的梯度會成倍放大配合主干網(wǎng)絡(luò)1e-5學(xué)習(xí)率一旦lr調(diào)度或數(shù)據(jù)順序碰到硬樣本預(yù)訓(xùn)練層參數(shù)可能直接被一步更新毀掉。解決在loss計(jì)算之后統(tǒng)一做梯度裁剪clip_norm給5.0到10.0之間同時(shí)確保出問題前l(fā)r沒有因?yàn)镽educeLROnPlateau被臺階式調(diào)大。另外建議主干部分學(xué)習(xí)率給到1e-5新增的attention層給1e-4fc層給1e-3三層分開。從現(xiàn)象復(fù)盤來看幾乎所有的nan事故都是fc層或attention層學(xué)習(xí)率過大、碰到硬樣本導(dǎo)致的。5.2 訓(xùn)練集損失繼續(xù)降、驗(yàn)證集指標(biāo)來回跳過擬合還是類別失衡現(xiàn)象訓(xùn)練acc已經(jīng)到百分之九十幾驗(yàn)證acc卡在七十多每個(gè)epoch的驗(yàn)證結(jié)果上下浮動超過一兩個(gè)點(diǎn)。加了attention模塊后這個(gè)gap反而更大。原因attention層增加了模型容量參數(shù)變多之后擬合能力變強(qiáng)在表情這個(gè)小數(shù)據(jù)量上更容易記住訓(xùn)練集中的噪聲標(biāo)注。另外七類樣本數(shù)差距大驗(yàn)證集里多數(shù)類占比也大模型偶發(fā)性偏向多數(shù)類時(shí)準(zhǔn)確率就會跳。如果你的loss沒有給class_weight多數(shù)類會對梯度形成主導(dǎo)等epoch末段少數(shù)類被大規(guī)模誤判又會拖一下指標(biāo)表現(xiàn)為震蕩。解決給CrossEntropyLoss加類別權(quán)重權(quán)重按樣本數(shù)的反比計(jì)算并歸一化。同時(shí)把驗(yàn)證策略從每epoch評估一次改成每半個(gè)epoch評估一次觀察早期是不是已經(jīng)過擬合。如果確認(rèn)過擬合先降fc層和attention層的學(xué)習(xí)率而不是加dropout盲目硬頂。數(shù)據(jù)增強(qiáng)的強(qiáng)度不要?jiǎng)右驗(yàn)樵鰪?qiáng)一改和前幾組實(shí)驗(yàn)就不再是同一變量體系。5.3 Add完Attention后GPU利用率不升反降現(xiàn)象換了顯卡或者加大batch size后每個(gè)epoch耗時(shí)反而變多nvidia-smi看GPU利用率不到五成。有人懷疑是attention模塊計(jì)算量太大其實(shí)不是。原因attention模塊里有大量小張量的逐元素操作view、squeeze、sigmoid、乘法這些操作kernel launch開銷占比高遇到batch size不足時(shí)GPU并行度撐不滿。還有一個(gè)常見問題是dataloader的num_workers設(shè)成0或1表情數(shù)據(jù)集雖然單張圖小但CSV解析加圖像轉(zhuǎn)換是CPU密集操作上一批的預(yù)處理沒做完GPU就只能空轉(zhuǎn)等數(shù)據(jù)。解決num_workers按CPU核心數(shù)的一半設(shè)置并加pin_memoryTrue。attention模塊里的view操作盡量少用SE里的pool結(jié)果直接reshape為b, c, 1, 1即可。如果CPU還是跟不上可以嘗試把灰度圖像從字符串解析放到預(yù)處理階段一次性完成存成npy文件訓(xùn)練時(shí)只做ToTensor這樣能明顯縮短dataloader耗時(shí)。5.4 預(yù)訓(xùn)練權(quán)重加載報(bào)錯(cuò)KeyError和size mismatch交替出現(xiàn)現(xiàn)象from_pretrained加載時(shí)要么報(bào)fc.weight size mismatch要么直接KeyError說某個(gè)層的鍵不存在。常見于換了不同的torchvision版本之后復(fù)現(xiàn)老代碼。原因新版torchvision用weights...加載預(yù)訓(xùn)練權(quán)重舊版用pretrainedTrue兩者的state_dict鍵名結(jié)構(gòu)一致但不同版本ResNet50的bn層num_batches_tracked有可能多或少。另一個(gè)原因是我們改了fc層的輸出維度torchvision的預(yù)訓(xùn)練權(quán)重里fc.weight是1000×2048和改成7類后的fc層結(jié)構(gòu)必然不匹配。解決加載時(shí)用strictFalse讓fc層不匹配的鍵被忽略其余所有層正常加載。fc層隨機(jī)初始化即可因?yàn)閺牧阌?xùn)練它能學(xué)到表情類別映射。如果用的是自己下載的pth文件建議先load到CPU上再轉(zhuǎn)移GPU避免文件路徑或內(nèi)存布局差異帶來的問題。5.5 加Attention后效果退步先查接入位置和收斂狀態(tài)現(xiàn)象A1組加了SE之后宏F1反而比A0基線低。很多人在這一步直接判定“Attention沒用了”把整個(gè)模塊刪掉回到基線。原因大概率是注意力模塊的訓(xùn)練量不足。SE和CBAM的初始化接近恒等映射需要額外的訓(xùn)練輪數(shù)才能發(fā)揮效果如果你的總epoch只有二十輪凈訓(xùn)練量可能不夠它收斂。另一種可能是SE接在了ReLU之后稀疏特征過了sigmoid被加權(quán)負(fù)值區(qū)域被直接抹掉破壞了原有激活分布這種接法在多數(shù)情況下效果是負(fù)的。還有reduction設(shè)置過大擠壓過度丟信息。解決先補(bǔ)充或延長訓(xùn)練輪數(shù)把a(bǔ)ttention層訓(xùn)練得更充分后再對比。RELU之后的問題直接按照第3章給的接入位置改。如果延長訓(xùn)練后依舊退步把reduction從16調(diào)到8重跑一次再不行就換ECA對照看問題是出在“通道注意力”這個(gè)思想還是出在SE的具體實(shí)現(xiàn)上。退步本身也是消融實(shí)驗(yàn)的結(jié)論記錄下來寫清楚原因比強(qiáng)行讓Attention匹配基線更有科研價(jià)值。注意消融實(shí)驗(yàn)里“負(fù)結(jié)果”非常有價(jià)值因?yàn)樗軒湍愫Y掉無效的模塊復(fù)雜度。不要因?yàn)槟硞€(gè)attention加不加都差不多就軟磨硬泡去調(diào)超參真實(shí)情況是如果訓(xùn)練配置合理、接入位置正確、訓(xùn)練輪數(shù)充足加一行結(jié)論“SE在此任務(wù)上無顯著增益”反而能讓你的對比報(bào)告更可信。6. 把消融實(shí)驗(yàn)做成可復(fù)用的實(shí)驗(yàn)?zāi)_本配置驅(qū)動加自動存檔人臉表情識別的消融實(shí)驗(yàn)跑到后期最大的痛點(diǎn)是“組數(shù)多了之后對不上賬”。哪個(gè)配置跑過、每個(gè)配置用了什么學(xué)習(xí)率、當(dāng)時(shí)是什么seed單靠人肉記根本扛不住。我的做法是讓每個(gè)實(shí)驗(yàn)自己背著自己的配置文件和全部日志跑起來就是一個(gè)獨(dú)立目錄。EXPERIMENTS { A0: {backbone: resnet50, attention: None, note: baseline}, A1: {backbone: resnet50, attention: se, note: SE branch}, A2: {backbone: resnet50, attention: eca, note: ECA branch}, A3: {backbone: resnet50, attention: cbam, note: CBAM after add}, B0: {backbone: resnet18, attention: None, note: baseline resnet18}, B1: {backbone: resnet18, attention: cbam, note: cbam resnet18}, }每個(gè)實(shí)驗(yàn)的配置先寫進(jìn)這個(gè)字典train.py啟動時(shí)拉取對應(yīng)配置創(chuàng)建experiments/{exp_id}/{timestamp}目錄把配置json、日志文件、指標(biāo)結(jié)果全部落進(jìn)去。訓(xùn)練腳本里加上seed參數(shù)跑批的時(shí)候用shell直接串行執(zhí)行每個(gè)實(shí)驗(yàn)可以重復(fù)跑多個(gè)seed最后匯總結(jié)果做均值分析。批跑時(shí)用bash更直觀for exp in A0 A1 A2 A3 B0 B1; do for seed in 42 2024; do python train.py --exp_id $exp --seed $seed done done這份腳本的價(jià)值在于它把“實(shí)驗(yàn)管理”從代碼里剝離出來了。加一組實(shí)驗(yàn)只需要在EXPERIMENTS字典里加一行不需要改訓(xùn)練代碼不需要復(fù)制腳本。后端需求變少之后前端能專注在真正的模型設(shè)計(jì)和結(jié)果分析上。匯總時(shí)直接讀取整個(gè)experiments目錄的所有metrics.json按exp_id和seed分組生成總表。我現(xiàn)在養(yǎng)成的習(xí)慣是寫模型代碼之前先把metrics存檔的接口寫好跑第一個(gè)基線之前先把實(shí)驗(yàn)配置字典寫好。這兩個(gè)架子搭完后續(xù)所有對比實(shí)驗(yàn)只是在填寫表格而不是在整理亂賬。這個(gè)順序救過我很多次也省掉過我在答辯前夜對著十幾個(gè)沒標(biāo)seed的checkpoint懊惱的時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 ResNet50+注意力機(jī)制：人臉表情識別消融實(shí)驗(yàn)從零實(shí)現(xiàn)
簡介一套基于PyTorch 1.8構(gòu)建的人臉表情識別消融實(shí)驗(yàn)項(xiàng)目源碼面向深度學(xué)習(xí)初學(xué)者或研究人員非常適合用于對比VGG16、ResNet50、InceptionV3及自定義CNN在融合CBAM、SE、ECA三種注意力機(jī)制后的識別效果并已在FER2013與RAF數(shù)據(jù)集上得出ResNet50CBAM精度最高的結(jié)論。資源包內(nèi)共包含有18個(gè)文件以7個(gè)Python腳本為主體涵蓋模型定義、注意力模塊、數(shù)據(jù)重寫與訓(xùn)練全流程另含3張示意圖、2個(gè)Markdown說明及若干keep占位文件整個(gè)壓縮包體積僅244KB結(jié)構(gòu)輕量清晰。項(xiàng)目按功能劃分dataloader、dataset、logs、result等模塊方便直接替換數(shù)據(jù)集并記錄訓(xùn)練日志與測試結(jié)果日志與結(jié)果目錄已預(yù)置便于快速復(fù)現(xiàn)實(shí)驗(yàn)并觀察模型收斂情況。目前已有443人學(xué)習(xí)下載適合需要復(fù)現(xiàn)多模型組合實(shí)驗(yàn)、開展表情識別對比研究或作為課程設(shè)計(jì)的參考實(shí)現(xiàn)。1. 多模型消融實(shí)驗(yàn)表情識別項(xiàng)目里ResNet50和Attention到底誰在起作用人臉表情識別在真實(shí)場景里是個(gè)“看著簡單、落地發(fā)愁”的問題拍糊了、轉(zhuǎn)頭了、光線偏了精度就掉。很多人第一反應(yīng)是把ResNet50換成ResNet101或者干脆換更大模型結(jié)果訓(xùn)練時(shí)間翻倍準(zhǔn)確率只漲零點(diǎn)幾個(gè)點(diǎn)。這個(gè)項(xiàng)目標(biāo)題給的思路是反過來——固定ResNet50這類骨干在它身上加Attention模塊再用消融實(shí)驗(yàn)逐個(gè)驗(yàn)證“模塊加了到底有沒有用、提升來自哪一層”。它適合兩類人一類是想在表情識別這個(gè)任務(wù)上拿到更高精度、并且能解釋清楚提升來源的開發(fā)者另一類是正在做課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)、需要一套嚴(yán)謹(jǐn)對比實(shí)驗(yàn)來支撐結(jié)論的同學(xué)。把這條技術(shù)路線拆開你會發(fā)現(xiàn)消融實(shí)驗(yàn)比單純堆模型更能說明問題而且實(shí)現(xiàn)成本遠(yuǎn)低于換一個(gè)更大的backbone。2. 搭建實(shí)驗(yàn)基線數(shù)據(jù)預(yù)處理與ResNet50的基準(zhǔn)實(shí)現(xiàn)2.1 數(shù)據(jù)集選擇與預(yù)處理灰度表情圖怎么喂給ImageNet預(yù)訓(xùn)練模型表情識別常用公開數(shù)據(jù)集大多是48×48的灰度圖以FER2013這類數(shù)據(jù)集為例它包含生氣、厭惡、恐懼、開心、悲傷、驚訝、中性七類。拿到原始CSV后pixels列是空格分隔的像素值字符串需要先還原成二維矩陣再轉(zhuǎn)成圖像。這里有個(gè)關(guān)鍵細(xì)節(jié)ResNet50的預(yù)訓(xùn)練權(quán)重是在ImageNet上訓(xùn)的輸入是三通道RGB而表情數(shù)據(jù)集是單通道灰度圖。常見做法是把灰度圖復(fù)制成三通道再套用ImageNet的標(biāo)準(zhǔn)化參數(shù)這樣能完整復(fù)用預(yù)訓(xùn)練特征。import numpy as np import cv2 from torch.utils.data import Dataset class FERDataset(Dataset): def __init__(self, df, transformNone): self.df df self.transform transform def __len__(self): return len(self.df) def __getitem__(self, idx): row self.df.iloc[idx] # pixels列是空格分隔的字符串先轉(zhuǎn)成uint8矩陣 arr np.array(row[pixels].split(), dtypenp.uint8).reshape(48, 48) # 灰度轉(zhuǎn)三通道為了匹配ResNet50的預(yù)訓(xùn)練輸入 img cv2.cvtColor(arr, cv2.COLOR_GRAY2RGB) label int(row[emotion]) if self.transform: img self.transform(img) return img, label這里把灰度圖復(fù)制成三通道是最穩(wěn)的寫法不要去訓(xùn)練單通道的ResNet50變體那會丟掉ImageNet預(yù)訓(xùn)練的大部分價(jià)值。預(yù)處理階段還需要注意數(shù)據(jù)劃分FER2013這類數(shù)據(jù)集通常自帶官方劃分直接用就行如果數(shù)據(jù)集沒有劃分建議按訓(xùn)練:驗(yàn)證:測試8:1:1做分層切分保證每個(gè)子集里七類比例一致。分層切分很重要否則驗(yàn)證集里“開心”占比過高評估結(jié)果會虛高。數(shù)據(jù)增強(qiáng)部分要克制。表情識別任務(wù)里翻轉(zhuǎn)和輕微仿射變換是安全的但不要用隨機(jī)裁剪因?yàn)槿四樉又械奈恢眯畔Ρ砬榕袛嘤杏绊憽Ｎ乙话氵@樣配from torchvision import transforms train_transform transforms.Compose([ transforms.ToTensor(), transforms.RandomHorizontalFlip(p0.5), transforms.RandomAffine(degrees10, translate(0.1, 0.1)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])注意ToTensor一定要放在最前面先做張量轉(zhuǎn)換再做增強(qiáng)和標(biāo)準(zhǔn)化。RandomAffine里的translate給0.1就夠了給大了會把眼睛嘴巴移出人臉區(qū)域反而讓模型學(xué)到錯(cuò)誤的位置關(guān)聯(lián)。2.2 搭建ResNet50基線改全連接層和訓(xùn)練循環(huán)基線模型用torchvision自帶的ResNet50替換最后的全連接層把1000類輸出改成7類。新版torchvision推薦用weights參數(shù)來加載預(yù)訓(xùn)練權(quán)重寫法更明確。import torch import torch.nn as nn import torchvision.models as models def build_backbone(base_nameresnet50, num_classes7, pretrainedTrue): if base_name resnet50: model models.resnet50( weightsmodels.ResNet50_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) elif base_name resnet18: model models.resnet18( weightsmodels.ResNet18_Weights.IMAGENET1K_V1 if pretrained else None ) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model這個(gè)build_backbone函數(shù)后面做多模型對比時(shí)會反復(fù)用到第4章的消融實(shí)驗(yàn)也依賴它。注意ResNet50每個(gè)Bottleneck的輸出通道數(shù)不是固定的所以替換fc層時(shí)一定要用model.fc.in_features動態(tài)讀取不要硬編碼2048否則切到ResNet18或ResNet101時(shí)會出錯(cuò)。預(yù)訓(xùn)練權(quán)重加載上去后前幾輪訓(xùn)練要特別小心主干網(wǎng)絡(luò)的梯度不要太大否則會破壞已經(jīng)學(xué)好的底層特征。訓(xùn)練循環(huán)用固定的流程pytorch標(biāo)準(zhǔn)寫法但有兩個(gè)點(diǎn)值得強(qiáng)調(diào)一是優(yōu)化器要區(qū)分主干和新增層的學(xué)習(xí)率二是loss要按類別分布加權(quán)。from torch.utils.data import DataLoader train_loader DataLoader(train_ds, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue, drop_lastTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue) optimizer torch.optim.AdamW([ {params: model.conv1.parameters(), lr: 1e-5}, {params: model.bn1.parameters(), lr: 1e-5}, {params: model.layer1.parameters(), lr: 1e-5}, {params: model.layer2.parameters(), lr: 1e-5}, {params: model.layer3.parameters(), lr: 1e-5}, {params: model.layer4.parameters(), lr: 1e-5}, {params: model.fc.parameters(), lr: 1e-3}, ], weight_decay1e-4) criterion nn.CrossEntropyLoss()這個(gè)配置背后的邏輯是預(yù)訓(xùn)練層的學(xué)習(xí)率給1e-5只做微調(diào)新加的fc層從零開始學(xué)給1e-3。如果所有層都用同一個(gè)學(xué)習(xí)率要么預(yù)訓(xùn)練特征被沖掉要么fc層學(xué)不動兩種情況在表情識別上都表現(xiàn)過后者尤其常見。batch size在48×48這種小圖上可以給64或128顯存不夠就降到32。2.3 評估協(xié)議只看準(zhǔn)確率的項(xiàng)目走不遠(yuǎn)很多人跑完只看一個(gè)Top-1準(zhǔn)確率就開始對比這是消融實(shí)驗(yàn)最容易翻車的習(xí)慣。FER2013這類表情數(shù)據(jù)集類別極不均衡“開心”樣本可能接近“厭惡”樣本的5倍以上模型只要把多數(shù)類學(xué)好了準(zhǔn)確率就能到百分之六七十但“生氣”“厭惡”“恐懼”這幾個(gè)類可能完全被犧牲掉。我常用的評估指標(biāo)有三個(gè)準(zhǔn)確率、宏平均F1、每類Recall。準(zhǔn)確率是給外行看的總分宏平均F1才是模型真實(shí)能力的度量。記錄結(jié)果時(shí)三個(gè)都要存。每類Recall用來精確定位模型混淆在哪幾類上表情識別里最常見的是“生氣”和“厭惡”互相混。from sklearn.metrics import accuracy_score, f1_score, recall_score, confusion_matrix def evaluate(model, loader, device): model.eval() all_preds, all_labels [], [] with torch.no_grad(): for imgs, labels in loader: imgs imgs.to(device) outputs model(imgs) preds outputs.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(labels.numpy()) acc accuracy_score(all_labels, all_preds) macro_f1 f1_score(all_labels, all_preds, averagemacro) recall_each recall_score(all_labels, all_preds, averageNone) cm confusion_matrix(all_labels, all_preds) return acc, macro_f1, recall_each, cm注意評估階段要關(guān)閉梯度計(jì)算省顯存且速度快。每次跑完把a(bǔ)cc、macro_f1、recall_each、cm四個(gè)結(jié)果都存檔后面做消融實(shí)驗(yàn)分析時(shí)才有的放矢?；€模型的macro_f1一般會比準(zhǔn)確率低三到五個(gè)點(diǎn)這就是類別不均衡的直接體現(xiàn)?？吹竭@個(gè)差距先別慌這是正常現(xiàn)象后續(xù)加Attention能不能把這個(gè)差距拉小才是這個(gè)項(xiàng)目真正要回答的問題。提示無論后續(xù)做什么改造基線的訓(xùn)練輪數(shù)、數(shù)據(jù)增強(qiáng)、loss函數(shù)、優(yōu)化器配置都必須先凍結(jié)。消融實(shí)驗(yàn)的全部意義在于“只改變一個(gè)變量”基線不穩(wěn)定后面所有結(jié)論都不可信。3. 給ResNet50加Attention三種注意力機(jī)制的接入點(diǎn)與實(shí)現(xiàn)3.1 SE模塊通道維度上的擠壓激勵(lì)最容易接入的注意力SE模塊的思路很直接對特征圖的每個(gè)通道做全局平均池化得到通道描述符再過兩個(gè)全連接層學(xué)習(xí)通道之間的依賴關(guān)系最后用sigmoid生成0到1之間的通道權(quán)重乘回原特征圖。它沒有用到空間信息只關(guān)注哪些通道更重要對于表情識別來說深層網(wǎng)絡(luò)里某個(gè)通道可能對應(yīng)“嘴角上揚(yáng)”還是“皺眉”這種局部模式SE能自動放大這些關(guān)鍵通道。import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.shape w self.pool(x).view(b, c) # 壓縮成通道描述符 w self.fc(w).view(b, c, 1, 1) # 生成通道權(quán)重 return x * w # 加權(quán)原特征圖接入點(diǎn)推薦放在Bottleneck殘差分支的末尾也就是最后一個(gè)1×1卷積的輸出之后、與殘差相加之前。這樣SE作用在“本次卷積學(xué)到的新特征”上而不是作用在加和之后的混合特征上歸因更清晰。reduction取16是默認(rèn)值通道數(shù)為1024時(shí)先壓到64再擴(kuò)回來參數(shù)開銷約等于一個(gè)全連接層的參數(shù)量對整體訓(xùn)練速度影響很小。取8會更激進(jìn)保留更多通道信息但參數(shù)量翻倍取32則信息擠壓過狠在表情這類小數(shù)據(jù)集上容易欠擬合。我建議兩個(gè)都試放在消融實(shí)驗(yàn)矩陣?yán)锂?dāng)一組對比。3.2 CBAM通道注意力加空間注意力位置怎么擺最關(guān)鍵CBAM比SE多了一個(gè)空間注意力分支通道注意力部分同時(shí)利用平均池化和最大池化兩個(gè)描述符共享同一個(gè)MLP然后相加過sigmoid?？臻g注意力部分把通道維做平均和最大兩種池化拼成兩通道特征圖過一個(gè)7×7卷積生成空間權(quán)重。對表情識別來說空間注意力有可能定位到眼部和嘴部區(qū)域理論上比純通道注意力更契合任務(wù)特性。class ChannelAttention(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) self.max_pool nn.AdaptiveMaxPool2d(1) self.mlp nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), ) def forward(self, x): b, c, _, _ x.shape avg_out self.mlp(self.avg_pool(x).view(b, c)).view(b, c, 1, 1) max_out self.mlp(self.max_pool(x).view(b, c)).view(b, c, 1, 1) return torch.sigmoid(avg_out max_out) class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() self.conv nn.Conv2d(2, 1, kernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) max_out torch.max(x, dim1, keepdimTrue).values x_cat torch.cat([avg_out, max_out], dim1) return torch.sigmoid(self.conv(x_cat))CBAM的接入點(diǎn)和SE不一樣常見做法是放在殘差加和之后、ReLU之前。也就是先讓殘差分支和恒等映射加起來再對融合后的特征做通道和空間加權(quán)最后過ReLU。這樣注意力能看到完整的殘差信息而不是只看分支單側(cè)。kernel_size用7這是原作者在ImageNet上調(diào)出來的最優(yōu)值在表情這種小分辨率圖上我試過5和7差別很小直接用7就行。3.3 ECA和自注意力做對照組時(shí)怎么選ECA是SE的輕量化改良去掉全連接層的降維過程改用一維卷積直接在通道維上捕捉局部跨通道交互。它參數(shù)量只有SE的幾十分之一但效果在很多任務(wù)上和SE打平甚至更好。放進(jìn)消融實(shí)驗(yàn)里它能幫你判斷提升到底來自“通道重標(biāo)定”這個(gè)行為本身還是來自SE里那兩個(gè)全連接層帶來的額外參數(shù)。class ECABlock(nn.Module): def __init__(self, channels, kernel_size5): super().__init__() self.pool nn.AdaptiveAvgPool2d(1) # 一維卷積只在通道維上滑動感受野默認(rèn)覆蓋5個(gè)相鄰?fù)ǖ?self.conv nn.Conv1d(1, 1, kernel_sizekernel_size, paddingkernel_size // 2, biasFalse) def forward(self, x): b, c, _, _ x.shape w self.pool(x).squeeze(-1).squeeze(-1) # b, c w self.conv(w.unsqueeze(1)).squeeze(1) # b, c w torch.sigmoid(w).view(b, c, 1, 1) return x * wkernel_size給5一維卷積的padding按kernel_size // 2來設(shè)置保證輸出長度和輸入一致。ECA沒有降維操作所以不存在reduction這個(gè)超參。相比之下如果項(xiàng)目里有人用了multi-head self-attention來做視覺任務(wù)一般會在主干輸出的特征圖上做全局自注意力那個(gè)計(jì)算量在48×48輸入下還能接受但放到ResNet50的中間層會非常吃顯存訓(xùn)練速度下降明顯。做消融實(shí)驗(yàn)時(shí)我建議第一優(yōu)先級跑SE和CBAMECA作為輕量對照自注意力變體可以放到最后再試先確保前幾個(gè)對比組的結(jié)論干凈。注意三個(gè)注意力模塊都能直接作用在ResNet50的每個(gè)Bottleneck上但不要一上來就全層加。先在layer4加跑通再擴(kuò)展到layer3和layer2逐層做記錄。全層同時(shí)加訓(xùn)練時(shí)間和顯存開銷翻倍出了問題還不好定位。4. 消融實(shí)驗(yàn)設(shè)計(jì)怎么對比結(jié)論才能站得住4.1 消融實(shí)驗(yàn)的核心原則一次只動一個(gè)變量消融實(shí)驗(yàn)ablation study的目的是歸因——驗(yàn)證某個(gè)組件到底對最終性能有多大貢獻(xiàn)。做法是拿掉或替換目標(biāo)組件其他條件全部凍結(jié)觀察指標(biāo)變化。這里最大的風(fēng)險(xiǎn)是“改了不止一個(gè)變量”比如對比ResNet50和ResNet101時(shí)很多人順手把學(xué)習(xí)率也調(diào)了那實(shí)驗(yàn)就臟了說不清提升來自更多層還是更好的學(xué)習(xí)率。變量凍結(jié)清單要寫在代碼注釋或?qū)嶒?yàn)文檔最前面我一般會強(qiáng)制檢查這幾項(xiàng)訓(xùn)練輪數(shù)固定batch size固定優(yōu)化器類型和初始學(xué)習(xí)率固定數(shù)據(jù)增強(qiáng)和預(yù)處理固定評估協(xié)議和測試集固定隨機(jī)種子固定。六個(gè)條件里任何一個(gè)變了實(shí)驗(yàn)結(jié)果都不能和其他組直接比較。特別是隨機(jī)種子不固定的話同一次配置跑兩次能差一到兩個(gè)點(diǎn)的準(zhǔn)確率這在高精度對比時(shí)足以掩蓋真實(shí)的模塊收益。import random import numpy as np def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark Falsecudnn.deterministic設(shè)為True會犧牲一點(diǎn)訓(xùn)練速度但換來的是結(jié)果可復(fù)現(xiàn)。benchmark要關(guān)掉否則cuDNN會根據(jù)輸入尺寸自動選算法不同實(shí)驗(yàn)間的卷積算法可能不同引入額外變量。4.2 多模型對比矩陣backbone和attention的交叉組合這套消融實(shí)驗(yàn)矩陣是我的標(biāo)準(zhǔn)配置。A組固定ResNet50只換注意力模塊回答“哪個(gè)注意力對這個(gè)任務(wù)有效”B組固定同樣的注意力模塊換backbone回答“模型容量和注意力機(jī)制之間怎么權(quán)衡”C組加一個(gè)不換backbone而直接加深模型的對照組用來判斷加attention帶來的提升到底是模塊本身的價(jià)值還是參數(shù)量的價(jià)值。實(shí)驗(yàn)編號backboneattention改造位置想回答的問題A0ResNet50無基線基準(zhǔn)線在哪A1ResNet50SE每個(gè)殘差分支末尾純通道注意力是否有效A2ResNet50ECA每個(gè)殘差分支末尾輕量通道注意力是否夠用A3ResNet50CBAM殘差加和后ReLU前空間通道組合是否更強(qiáng)B0ResNet18無基線小模型基準(zhǔn)在哪B1ResNet18CBAM同上小模型加注意力能否追平大模型基線C0ResNet101無基線參數(shù)翻倍能帶來多少提升這個(gè)矩陣有七組實(shí)驗(yàn)每組訓(xùn)練三四十個(gè)epoch48×48的圖像單卡訓(xùn)練很快。跑完后重點(diǎn)看三組對比A1對比A0看SE提升A3對比A1看空間注意力的邊際貢獻(xiàn)B1對比A0看小模型加注意力能不能打平大模型。第三組對比最有工程價(jià)值如果ResNet18加CBAM能追平ResNet50那部署時(shí)選誰就很明確了。C0存在的意義是防止你誤判——假如A3比A0漲了2個(gè)點(diǎn)C0比A0漲了3個(gè)點(diǎn)那說明漲點(diǎn)主要來自多出來的注意力模塊參數(shù)而不是CBAM的注意力機(jī)制本身這個(gè)結(jié)論完全不一樣。4.3 從結(jié)果到結(jié)論準(zhǔn)確率、宏F1和混淆矩陣怎么交叉驗(yàn)證每輪實(shí)驗(yàn)跑完把四個(gè)指標(biāo)全部落盤最后匯總成一張總表。我通常在項(xiàng)目根目錄建一個(gè)experiments目錄每個(gè)實(shí)驗(yàn)一個(gè)文件夾里面放metrics.json和最后的checkpoint匯總表單獨(dú)生成。先看準(zhǔn)確率排序再看宏F1排序兩張排序不一致的情況非常常見——某組準(zhǔn)確率最高但宏F1不是最高說明它犧牲了少數(shù)類換來多數(shù)類的整體正確率這種方案在表情識別里是不可取的因?yàn)檎鎸?shí)場景里什么表情都會出現(xiàn)你不能只把“開心”認(rèn)好?；煜仃嚨挠^察重點(diǎn)在角對角的位置。憤怒、厭惡、恐懼、悲傷這幾個(gè)負(fù)向情緒互相混淆是表情識別的主戰(zhàn)場。加CBAM如果只把準(zhǔn)確率提了1個(gè)點(diǎn)但憤怒和厭惡的互相誤判明顯減少那這個(gè)提升就是實(shí)質(zhì)性的反過來如果提升全部落在中性、驚訝這類好分的類上那這個(gè)注意力模塊就沒解決核心矛盾。import json import os def save_metrics(exp_id, acc, macro_f1, recall_each, cm, note): records { exp_id: exp_id, accuracy: round(float(acc), 4), macro_f1: round(float(macro_f1), 4), recall_each: [round(float(v), 4) for v in recall_each], confusion_matrix: cm.tolist(), note: note, } os.makedirs(experiments, exist_okTrue) with open(fexperiments/{exp_id}/metrics.json, w, encodingutf-8) as f: json.dump(records, f, ensure_asciiFalse, indent2)最后做結(jié)論時(shí)不要只看最好成績把每組實(shí)驗(yàn)跑兩遍取平均是一個(gè)更穩(wěn)的工程習(xí)慣尤其是宏F1差距在0.5個(gè)點(diǎn)以內(nèi)時(shí)單次結(jié)果不足以支撐“某模塊更好”的結(jié)論。如果時(shí)間緊張至少對最終勝出的組和基線各跑一次重復(fù)實(shí)驗(yàn)驗(yàn)證。提示任何一組實(shí)驗(yàn)的日志都不能刪訓(xùn)練過程中的loss曲線截圖、參數(shù)配置、跑的時(shí)間點(diǎn)都要留檔。原因是消融實(shí)驗(yàn)的結(jié)論寫到論文或技術(shù)報(bào)告里后別人會問“你這組為什么沒有驗(yàn)證集loss曲線”到時(shí)候補(bǔ)跑的成本遠(yuǎn)高于當(dāng)時(shí)隨手存檔。5. 人臉表情識別項(xiàng)目避坑訓(xùn)練發(fā)散、類別失衡與注意力加在錯(cuò)誤位置的典型問題5.1 訓(xùn)練中期loss爆成NaN梯度爆炸的連鎖反應(yīng)現(xiàn)象前十個(gè)epoch正常loss穩(wěn)定下降某個(gè)epoch開始loss突然變成nan訓(xùn)練中斷重跑還是一樣。原因表情數(shù)據(jù)集本身噪聲大一張圖被標(biāo)成“憤怒”也是“厭惡”也說得過去這種高沖突樣本會產(chǎn)生異常大的梯度。加了SE或CBAM之后問題更明顯注意力模塊的sigmoid輸出靠近0時(shí)反向傳播的梯度會成倍放大配合主干網(wǎng)絡(luò)1e-5學(xué)習(xí)率一旦lr調(diào)度或數(shù)據(jù)順序碰到硬樣本預(yù)訓(xùn)練層參數(shù)可能直接被一步更新毀掉。解決在loss計(jì)算之后統(tǒng)一做梯度裁剪clip_norm給5.0到10.0之間同時(shí)確保出問題前l(fā)r沒有因?yàn)镽educeLROnPlateau被臺階式調(diào)大。另外建議主干部分學(xué)習(xí)率給到1e-5新增的attention層給1e-4fc層給1e-3三層分開。從現(xiàn)象復(fù)盤來看幾乎所有的nan事故都是fc層或attention層學(xué)習(xí)率過大、碰到硬樣本導(dǎo)致的。5.2 訓(xùn)練集損失繼續(xù)降、驗(yàn)證集指標(biāo)來回跳過擬合還是類別失衡現(xiàn)象訓(xùn)練acc已經(jīng)到百分之九十幾驗(yàn)證acc卡在七十多每個(gè)epoch的驗(yàn)證結(jié)果上下浮動超過一兩個(gè)點(diǎn)。加了attention模塊后這個(gè)gap反而更大。原因attention層增加了模型容量參數(shù)變多之后擬合能力變強(qiáng)在表情這個(gè)小數(shù)據(jù)量上更容易記住訓(xùn)練集中的噪聲標(biāo)注。另外七類樣本數(shù)差距大驗(yàn)證集里多數(shù)類占比也大模型偶發(fā)性偏向多數(shù)類時(shí)準(zhǔn)確率就會跳。如果你的loss沒有給class_weight多數(shù)類會對梯度形成主導(dǎo)等epoch末段少數(shù)類被大規(guī)模誤判又會拖一下指標(biāo)表現(xiàn)為震蕩。解決給CrossEntropyLoss加類別權(quán)重權(quán)重按樣本數(shù)的反比計(jì)算并歸一化。同時(shí)把驗(yàn)證策略從每epoch評估一次改成每半個(gè)epoch評估一次觀察早期是不是已經(jīng)過擬合。如果確認(rèn)過擬合先降fc層和attention層的學(xué)習(xí)率而不是加dropout盲目硬頂。數(shù)據(jù)增強(qiáng)的強(qiáng)度不要?jiǎng)右驗(yàn)樵鰪?qiáng)一改和前幾組實(shí)驗(yàn)就不再是同一變量體系。5.3 Add完Attention后GPU利用率不升反降現(xiàn)象換了顯卡或者加大batch size后每個(gè)epoch耗時(shí)反而變多nvidia-smi看GPU利用率不到五成。有人懷疑是attention模塊計(jì)算量太大其實(shí)不是。原因attention模塊里有大量小張量的逐元素操作view、squeeze、sigmoid、乘法這些操作kernel launch開銷占比高遇到batch size不足時(shí)GPU并行度撐不滿。還有一個(gè)常見問題是dataloader的num_workers設(shè)成0或1表情數(shù)據(jù)集雖然單張圖小但CSV解析加圖像轉(zhuǎn)換是CPU密集操作上一批的預(yù)處理沒做完GPU就只能空轉(zhuǎn)等數(shù)據(jù)。解決num_workers按CPU核心數(shù)的一半設(shè)置并加pin_memoryTrue。attention模塊里的view操作盡量少用SE里的pool結(jié)果直接reshape為b, c, 1, 1即可。如果CPU還是跟不上可以嘗試把灰度圖像從字符串解析放到預(yù)處理階段一次性完成存成npy文件訓(xùn)練時(shí)只做ToTensor這樣能明顯縮短dataloader耗時(shí)。5.4 預(yù)訓(xùn)練權(quán)重加載報(bào)錯(cuò)KeyError和size mismatch交替出現(xiàn)現(xiàn)象from_pretrained加載時(shí)要么報(bào)fc.weight size mismatch要么直接KeyError說某個(gè)層的鍵不存在。常見于換了不同的torchvision版本之后復(fù)現(xiàn)老代碼。原因新版torchvision用weights...加載預(yù)訓(xùn)練權(quán)重舊版用pretrainedTrue兩者的state_dict鍵名結(jié)構(gòu)一致但不同版本ResNet50的bn層num_batches_tracked有可能多或少。另一個(gè)原因是我們改了fc層的輸出維度torchvision的預(yù)訓(xùn)練權(quán)重里fc.weight是1000×2048和改成7類后的fc層結(jié)構(gòu)必然不匹配。解決加載時(shí)用strictFalse讓fc層不匹配的鍵被忽略其余所有層正常加載。fc層隨機(jī)初始化即可因?yàn)閺牧阌?xùn)練它能學(xué)到表情類別映射。如果用的是自己下載的pth文件建議先load到CPU上再轉(zhuǎn)移GPU避免文件路徑或內(nèi)存布局差異帶來的問題。5.5 加Attention后效果退步先查接入位置和收斂狀態(tài)現(xiàn)象A1組加了SE之后宏F1反而比A0基線低。很多人在這一步直接判定“Attention沒用了”把整個(gè)模塊刪掉回到基線。原因大概率是注意力模塊的訓(xùn)練量不足。SE和CBAM的初始化接近恒等映射需要額外的訓(xùn)練輪數(shù)才能發(fā)揮效果如果你的總epoch只有二十輪凈訓(xùn)練量可能不夠它收斂。另一種可能是SE接在了ReLU之后稀疏特征過了sigmoid被加權(quán)負(fù)值區(qū)域被直接抹掉破壞了原有激活分布這種接法在多數(shù)情況下效果是負(fù)的。還有reduction設(shè)置過大擠壓過度丟信息。解決先補(bǔ)充或延長訓(xùn)練輪數(shù)把a(bǔ)ttention層訓(xùn)練得更充分后再對比。RELU之后的問題直接按照第3章給的接入位置改。如果延長訓(xùn)練后依舊退步把reduction從16調(diào)到8重跑一次再不行就換ECA對照看問題是出在“通道注意力”這個(gè)思想還是出在SE的具體實(shí)現(xiàn)上。退步本身也是消融實(shí)驗(yàn)的結(jié)論記錄下來寫清楚原因比強(qiáng)行讓Attention匹配基線更有科研價(jià)值。注意消融實(shí)驗(yàn)里“負(fù)結(jié)果”非常有價(jià)值因?yàn)樗軒湍愫Y掉無效的模塊復(fù)雜度。不要因?yàn)槟硞€(gè)attention加不加都差不多就軟磨硬泡去調(diào)超參真實(shí)情況是如果訓(xùn)練配置合理、接入位置正確、訓(xùn)練輪數(shù)充足加一行結(jié)論“SE在此任務(wù)上無顯著增益”反而能讓你的對比報(bào)告更可信。6. 把消融實(shí)驗(yàn)做成可復(fù)用的實(shí)驗(yàn)?zāi)_本配置驅(qū)動加自動存檔人臉表情識別的消融實(shí)驗(yàn)跑到后期最大的痛點(diǎn)是“組數(shù)多了之后對不上賬”。哪個(gè)配置跑過、每個(gè)配置用了什么學(xué)習(xí)率、當(dāng)時(shí)是什么seed單靠人肉記根本扛不住。我的做法是讓每個(gè)實(shí)驗(yàn)自己背著自己的配置文件和全部日志跑起來就是一個(gè)獨(dú)立目錄。EXPERIMENTS { A0: {backbone: resnet50, attention: None, note: baseline}, A1: {backbone: resnet50, attention: se, note: SE branch}, A2: {backbone: resnet50, attention: eca, note: ECA branch}, A3: {backbone: resnet50, attention: cbam, note: CBAM after add}, B0: {backbone: resnet18, attention: None, note: baseline resnet18}, B1: {backbone: resnet18, attention: cbam, note: cbam resnet18}, }每個(gè)實(shí)驗(yàn)的配置先寫進(jìn)這個(gè)字典train.py啟動時(shí)拉取對應(yīng)配置創(chuàng)建experiments/{exp_id}/{timestamp}目錄把配置json、日志文件、指標(biāo)結(jié)果全部落進(jìn)去。訓(xùn)練腳本里加上seed參數(shù)跑批的時(shí)候用shell直接串行執(zhí)行每個(gè)實(shí)驗(yàn)可以重復(fù)跑多個(gè)seed最后匯總結(jié)果做均值分析。批跑時(shí)用bash更直觀for exp in A0 A1 A2 A3 B0 B1; do for seed in 42 2024; do python train.py --exp_id $exp --seed $seed done done這份腳本的價(jià)值在于它把“實(shí)驗(yàn)管理”從代碼里剝離出來了。加一組實(shí)驗(yàn)只需要在EXPERIMENTS字典里加一行不需要改訓(xùn)練代碼不需要復(fù)制腳本。后端需求變少之后前端能專注在真正的模型設(shè)計(jì)和結(jié)果分析上。匯總時(shí)直接讀取整個(gè)experiments目錄的所有metrics.json按exp_id和seed分組生成總表。我現(xiàn)在養(yǎng)成的習(xí)慣是寫模型代碼之前先把metrics存檔的接口寫好跑第一個(gè)基線之前先把實(shí)驗(yàn)配置字典寫好。這兩個(gè)架子搭完后續(xù)所有對比實(shí)驗(yàn)只是在填寫表格而不是在整理亂賬。這個(gè)順序救過我很多次也省掉過我在答辯前夜對著十幾個(gè)沒標(biāo)seed的checkpoint懊惱的時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取