先說(shuō)個(gè)我遇到的真實(shí)情況。之前有個(gè)朋友拿著幾乎一樣的圖像分類(lèi)訓(xùn)練代碼來(lái)問(wèn)說(shuō)他的loss也在下降驗(yàn)證集準(zhǔn)確率卻死活上不去。我一行一行看過(guò)去數(shù)據(jù)加載正常模型結(jié)構(gòu)正常optimizer也是大家最常用的Adam(lr0.001)。但再往下看少了weight_decay學(xué)習(xí)率從第1個(gè)epoch到最后都是固定值連數(shù)據(jù)歸一化的均值方差都是從別的任務(wù)抄來(lái)的。這些看似不起眼的“參數(shù)優(yōu)化細(xì)節(jié)”恰恰決定了模型最終往哪里收斂。這篇文章就圍繞pytorch優(yōu)化模型參數(shù)這件事把從選擇優(yōu)化器、設(shè)置學(xué)習(xí)率、安排調(diào)度策略、處理正則化到實(shí)際訓(xùn)練時(shí)怎么排查問(wèn)題這一整條鏈路拆開(kāi)講。適合剛把PyTorch跑通、準(zhǔn)備認(rèn)真調(diào)模型的新手也適合已經(jīng)在已有模型上反復(fù)折騰準(zhǔn)確率卻一直沒(méi)有頭緒的進(jìn)階玩家。我會(huì)盡量講清楚每個(gè)選擇背后的“為什么”而不是只給你一行能跑的代碼。1. 優(yōu)化模型參數(shù)不是optimizer.step()那一行代碼1.1 參數(shù)優(yōu)化的物理含義在損失地貌上走下山模型參數(shù)優(yōu)化本質(zhì)上是在一個(gè)高維空間里尋找損失函數(shù)的低點(diǎn)。想象一下把模型參數(shù)組合成一張“地形圖”峰對(duì)應(yīng)高損失的區(qū)域谷對(duì)應(yīng)低損失的區(qū)域訓(xùn)練要找的就是谷底。PyTorch里優(yōu)化參數(shù)的最小組件是這幾行optimizer torch.optim.Adam(model.parameters(), lr0.001) # 每個(gè)batch循環(huán)里 optimizer.zero_grad() # 清空上一步梯度 loss.backward() # 從loss反向傳播算出每個(gè)參數(shù)的梯度 optimizer.step() # 拿著梯度去更新參數(shù)model.parameters()會(huì)返回所有requires_gradTrue的權(quán)重張量。zero_grad這一步很多人會(huì)忽略但如果不把上一個(gè)batch的梯度清掉梯度會(huì)在不同batch之間累加相當(dāng)于隱式地用了更大的batch size訓(xùn)練曲線就會(huì)非常不穩(wěn)。backward算出的梯度告訴優(yōu)化器“哪個(gè)方向能減少損失”step則按照優(yōu)化器自己的策略邁出一步。這四行是參數(shù)更新的最小單位但我想先潑一盆冷水如果你只盯著這幾行后面大概率會(huì)遇到“l(fā)oss在降但效果不行”的情況。1.2 數(shù)據(jù)與損失函數(shù)決定了梯度方向優(yōu)化器決定“怎么走”但梯度方向是由數(shù)據(jù)和損失函數(shù)共同決定的。方向錯(cuò)了步法再好也白搭。最常見(jiàn)的坑是特征沒(méi)有歸一化。假設(shè)一份表格數(shù)據(jù)里一個(gè)特征范圍是0到1另一個(gè)特征范圍是1萬(wàn)到10萬(wàn)模型參數(shù)同等初始化時(shí)大特征對(duì)應(yīng)的梯度會(huì)明顯偏大。于是優(yōu)化器會(huì)優(yōu)先“修”那個(gè)大尺度特征對(duì)應(yīng)的參數(shù)另一個(gè)參數(shù)幾乎原地不動(dòng)整體更新被某一列數(shù)據(jù)牽著鼻子走。這也是為什么圖像領(lǐng)域統(tǒng)一做transforms.Normalize表格數(shù)據(jù)做標(biāo)準(zhǔn)化本質(zhì)上是讓每個(gè)維度對(duì)梯度的貢獻(xiàn)處于同一量級(jí)。損失函數(shù)也不能亂選。多分類(lèi)用CrossEntropyLoss二分類(lèi)用BCEWithLogitsLoss回歸任務(wù)用SmoothL1Loss或MSE。不同損失函數(shù)梯度量級(jí)差異很大比如MSE配合Sigmoid輸出時(shí)容易進(jìn)入飽和區(qū)參數(shù)更新極度緩慢。我見(jiàn)過(guò)不少同學(xué)在二分類(lèi)任務(wù)里用MSE替代交叉熵結(jié)果就是訓(xùn)練半天loss降不下去。調(diào)loss永遠(yuǎn)比調(diào)優(yōu)化器參數(shù)更優(yōu)先因?yàn)槿绻麚p失函數(shù)在語(yǔ)義上就不匹配任務(wù)后面的學(xué)習(xí)率、動(dòng)量、權(quán)重衰減全是在錯(cuò)誤方向上做文章。2. 選優(yōu)化器等于選下山策略SGD、Adam、AdamW怎么挑2.1 SGD和Momentum加慣性抵消震蕩torch.optim.SGD是最樸素的優(yōu)化器每次迭代都做θ θ - lr * g其中g(shù)是當(dāng)前梯度。這個(gè)策略的缺點(diǎn)是遇到高曲率方向的損失曲面時(shí)會(huì)在窄長(zhǎng)山谷兩側(cè)來(lái)回震蕩。想象一條山谷沿長(zhǎng)軸方向梯度很小沿短軸方向梯度很大每一步都沿梯度反方向走就會(huì)在短軸方向來(lái)回?cái)[動(dòng)整體前進(jìn)速度反而慢。加入momentum以后更新不再只看當(dāng)前梯度而是累積歷史梯度方向相當(dāng)于給參數(shù)一個(gè)慣性optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)momentum0.9的含義是新速度 0.9 × 舊速度 - lr × 當(dāng)前梯度。這個(gè)設(shè)計(jì)讓優(yōu)化器在方向穩(wěn)定的維度上越走越快在方向頻繁變化的維度上相互抵消收斂穩(wěn)定性明顯好于純SGD。2.2 Adam的“每個(gè)參數(shù)單獨(dú)學(xué)習(xí)率”Adam是默認(rèn)優(yōu)化器里最常見(jiàn)的選擇。它的核心思路是維護(hù)兩個(gè)狀態(tài)一階矩估計(jì)m梯度均值相當(dāng)于帶慣性的方向和二階矩估計(jì)v梯度平方均值反映梯度尺度。每個(gè)參數(shù)的實(shí)際更新步長(zhǎng)是lr / sqrt(v eps) * m也就是說(shuō)梯度絕對(duì)尺度不再直接決定步長(zhǎng)每個(gè)參數(shù)都相當(dāng)于有自己的學(xué)習(xí)率那些梯度尺度很大的參數(shù)會(huì)被自動(dòng)降權(quán)梯度很小的參數(shù)會(huì)被放大一些。這樣做的直接好處是面對(duì)尺度敏感的問(wèn)題Adam往往比SGD更穩(wěn)定不需要頻繁調(diào)學(xué)習(xí)率就能收斂到可用的結(jié)果optimizer torch.optim.Adam(model.parameters(), lr3e-4)但Adam也有短板。我實(shí)測(cè)下來(lái)的感覺(jué)是前幾個(gè)epoch收斂非?？斓胶笃诰确炊蝗缇恼{(diào)好的SGD。原因是自適應(yīng)學(xué)習(xí)率對(duì)梯度歷史做除權(quán)部分參數(shù)更新過(guò)快、部分過(guò)慢最終泛化性偶爾會(huì)差一點(diǎn)。2.3 AdamW把正則項(xiàng)和動(dòng)量分開(kāi)AdamW全稱(chēng)是Adam with Decoupled Weight Decay它對(duì)權(quán)重衰減的處理方式和Adam完全不同。原始Adam里加weight_decay時(shí)權(quán)重衰減是被當(dāng)成L2正則直接加在梯度上的但這個(gè)L2梯度隨后會(huì)被Adam的二階矩v調(diào)節(jié)正則效果并不純粹。AdamW把權(quán)重衰減單獨(dú)拎出來(lái)更新參數(shù)時(shí)直接做θ θ - lr * γ * θ不再混入動(dòng)量和二階矩。Transformer相關(guān)工作的標(biāo)配都是AdamW。PyTorch里是這樣用的optimizer torch.optim.AdamW(model.parameters(), lr3e-4, weight_decay0.01)2.4 參考選型表優(yōu)化器核心思路典型lr適合場(chǎng)景SGD沿梯度反方向更新0.01 - 0.1淺層CNN、ResNet系列SGD Momentum加慣性抵消震蕩0.01 - 0.1大部分圖像分類(lèi)任務(wù)Adam每個(gè)參數(shù)自適應(yīng)lr1e-4 - 3e-4快速驗(yàn)證新想法、GANAdamW權(quán)重衰減與動(dòng)量解耦1e-4 - 3e-4Transformer、BERT類(lèi)模型RMSProp按梯度平方調(diào)整lr1e-4 - 3e-4RNN/序列任務(wù)的老牌選擇我的實(shí)際操作習(xí)慣是拿到新任務(wù)先用Adam(lr3e-4)快速確認(rèn)模型能收斂、方向沒(méi)有大問(wèn)題后面想提精度換成SGD(lr0.01, momentum0.9, weight_decay5e-4)再細(xì)調(diào)如果模型里有明顯的注意力結(jié)構(gòu)或者要做序列任務(wù)直接用AdamW。選型不需要一條道走到黑很多時(shí)候是需要換著跑幾個(gè)小實(shí)驗(yàn)做對(duì)比的。3. 超參數(shù)的真實(shí)門(mén)道lr、weight_decay、betas3.1 學(xué)習(xí)率怎么定位學(xué)習(xí)率決定步長(zhǎng)。同樣一個(gè)梯度值lr0.1時(shí)參數(shù)一次移動(dòng)0.001的絕對(duì)量lr0.001時(shí)只移動(dòng)0.00001這個(gè)差距會(huì)直接體現(xiàn)在loss下降速度上。經(jīng)驗(yàn)范圍大致是SGD系列0.01到0.1Adam/AdamW1e-4到1e-2最常見(jiàn)的還是1e-3或3e-4定位lr的實(shí)用做法是先粗設(shè)一個(gè)中間值比如1e-3跑幾十個(gè)iteration觀察loss。如果loss上下亂跳、震蕩劇烈說(shuō)明lr偏大降10倍再試如果loss下降得非常平穩(wěn)但每一步都在慢慢磨說(shuō)明lr偏小升10倍再細(xì)調(diào)。我一般會(huì)做兩輪“粗到細(xì)”第一輪粗定位出量級(jí)第二輪在目標(biāo)量級(jí)附近試3到5個(gè)值比如1e-3、3e-4、1e-4看哪個(gè)收斂曲線最順然后定下來(lái)。3.2 weight_decay與L2正則化的真實(shí)關(guān)系L2正則化是在損失函數(shù)上追加一個(gè)懲罰項(xiàng)λ/2 × ||θ||2讓大的參數(shù)受到約束。在PyTorch里這一行就能實(shí)現(xiàn)等效效果optimizer torch.optim.SGD(model.parameters(), lr0.01, weight_decay5e-4)原理上每次更新時(shí)除了沿負(fù)梯度方向下降還會(huì)把參數(shù)往零方向輕微拉一下。參數(shù)不會(huì)被強(qiáng)制歸零但整體量級(jí)會(huì)受到限制從而降低過(guò)擬合風(fēng)險(xiǎn)。這里有幾個(gè)實(shí)戰(zhàn)細(xì)節(jié)值得單獨(dú)說(shuō)weight_decay默認(rèn)作用于所有可訓(xùn)練參數(shù)包括bias和BatchNorm層的gamma、beta。在很多結(jié)構(gòu)的實(shí)現(xiàn)里這兩個(gè)類(lèi)別通常不參與權(quán)重衰減因?yàn)閎ias對(duì)模型的復(fù)雜度貢獻(xiàn)不大卻很容易被正則壓得不自然。實(shí)現(xiàn)時(shí)可以用參數(shù)分組decay_params [p for n, p in model.named_parameters() if p.requires_grad and bias not in n and norm not in n] no_decay_params [p for n, p in model.named_parameters() if p.requires_grad and (bias in n or norm in n)] optimizer torch.optim.AdamW([ {params: decay_params, weight_decay: 0.01}, {params: no_decay_params, weight_decay: 0.0} ], lr3e-4)這是Transformer訓(xùn)練里常見(jiàn)的做法CV任務(wù)里也可以參考。weight_decay的數(shù)值量級(jí)和優(yōu)化器強(qiáng)相關(guān)。普通CV任務(wù)SGD里5e-4很常見(jiàn)AdamW里Transformer常取0.01。因?yàn)锳damW的權(quán)重衰減是直接乘在參數(shù)上的和Adam里加到梯度里的L2正則語(yǔ)義不同數(shù)值絕對(duì)不能照搬。3.3 betas、eps那些默認(rèn)值A(chǔ)dam和AdamW的betas(0.9, 0.999)一般不需要?jiǎng)印?.9控制一階矩估計(jì)對(duì)歷史梯度的依賴(lài)0.999控制二階矩調(diào)大第一個(gè)值會(huì)讓動(dòng)量痕跡更重第二個(gè)值會(huì)讓方差估計(jì)更平滑。eps默認(rèn)1e-8作用是避免除零數(shù)值上如果遇到訓(xùn)練不穩(wěn)定可以調(diào)到1e-6甚至1e-7偶爾能救回來(lái)。但大多數(shù)情況下我更愿意先去調(diào)lr因?yàn)閑ps這個(gè)參數(shù)能起作用的場(chǎng)景相對(duì)有限調(diào)它不如調(diào)學(xué)習(xí)率直觀。3.4 梯度裁剪是最后一道保險(xiǎn)梯度裁剪可以把梯度的范數(shù)限制在某個(gè)范圍內(nèi)防止單步更新過(guò)大。RNN這類(lèi)任務(wù)尤其容易梯度爆炸一旦爆炸loss直接變成NaN整輪訓(xùn)練基本報(bào)廢。PyTorch里的寫(xiě)法是在backward()之后、step()之前執(zhí)行torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)max_norm1.0是常見(jiàn)起步值序列任務(wù)里也可以取0.5或5.0看你對(duì)訓(xùn)練穩(wěn)定性的需求。我這幾年項(xiàng)目里基本都加了這行哪怕平時(shí)用不上關(guān)鍵時(shí)候能保住一輪訓(xùn)練不崩。它對(duì)優(yōu)化器本身沒(méi)有副作用只是給更新步長(zhǎng)套了一層安全網(wǎng)。4. 學(xué)習(xí)率調(diào)度別一條路沖到黑4.1 手動(dòng)降lr vs 調(diào)度器固定lr從頭訓(xùn)到尾的問(wèn)題在于模型進(jìn)入loss平臺(tái)期后繼續(xù)用同一個(gè)步長(zhǎng)會(huì)在原地反復(fù)橫跳很難落到更細(xì)的低點(diǎn)。常規(guī)做法是訓(xùn)練若干輪后把lr降一個(gè)量級(jí)讓參數(shù)在高精度區(qū)域小步慢走。PyTorch的torch.optim.lr_scheduler專(zhuān)門(mén)干這件事而且可以自動(dòng)執(zhí)行。4.2 三種常見(jiàn)調(diào)度策略StepLR每step_size個(gè)epoch把lr乘以gamma。MultiStepLR指定多個(gè)epoch節(jié)點(diǎn)到點(diǎn)降lr更適合人工控制關(guān)鍵節(jié)點(diǎn)。CosineAnnealingLR學(xué)習(xí)率按余弦曲線從初始值逐漸下降到最小值常用于長(zhǎng)時(shí)間訓(xùn)練。ReduceLROnPlateau監(jiān)聽(tīng)某個(gè)指標(biāo)通常是驗(yàn)證集loss連續(xù)patience個(gè)epoch不下降就乘以factor最省心。比如這樣用scheduler torch.optim.lr_scheduler.MultiStepLR( optimizer, milestones[50, 75], gamma0.1 )意思是第50個(gè)epoch和第75個(gè)epoch時(shí)lr各乘以0.1。如果初始lr0.01那50輪后會(huì)變成0.00175輪后變成0.0001。ReduceLROnPlateau更適合驗(yàn)證集loss時(shí)好時(shí)壞的任務(wù)scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience10 )每次驗(yàn)證結(jié)束后調(diào)用scheduler.step(val_loss)它會(huì)根據(jù)指標(biāo)表現(xiàn)決定是否減半學(xué)習(xí)率。4.3 warmup和scheduler.step()的時(shí)機(jī)訓(xùn)練初期如果直接從一個(gè)大lr開(kāi)始前幾步loss可能暴漲尤其是Transformer類(lèi)模型。線性warmup的思路是前warmup_steps步學(xué)習(xí)率從0線性升到目標(biāo)值然后再按正常調(diào)度走。用LambdaLR可以輕松實(shí)現(xiàn)warmup_steps 500 def lr_lambda(step): if step warmup_steps: return step / warmup_steps return 1.0 scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)調(diào)用時(shí)機(jī)有個(gè)非常容易踩的坑scheduler.step()要在optimizer.step()之后調(diào)用。如果放錯(cuò)位置可能第一個(gè)epoch就觸發(fā)學(xué)習(xí)率調(diào)整整個(gè)收斂曲線變得很奇怪。按epoch調(diào)度就在每輪epoch循環(huán)結(jié)束后調(diào)用按batch調(diào)度就在每個(gè)iteration里調(diào)用。這個(gè)順序問(wèn)題我至少見(jiàn)過(guò)三個(gè)新手栽過(guò)跟頭值得特別注意。5. 用MNIST完整跑一遍三種優(yōu)化器的實(shí)測(cè)對(duì)比5.1 環(huán)境準(zhǔn)備conda創(chuàng)建pytorch環(huán)境先從環(huán)境說(shuō)起。用conda創(chuàng)建一個(gè)干凈環(huán)境并安裝GPU版本的PyTorch一般是這樣的命令conda create -n pytorch python3.10 -y conda activate pytorch conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia如果只需要CPU去掉-c nvidia和pytorch-cuda12.1這一段安裝默認(rèn)的CPU版本即可。裝完檢查一下環(huán)境是否可用python -c import torch; print(torch.__version__, torch.cuda.is_available())很多Windows用戶(hù)會(huì)遇到“conda無(wú)法識(shí)別”的問(wèn)題比如在PowerShell里敲conda activate pytorch報(bào)錯(cuò)“無(wú)法將conda項(xiàng)識(shí)別為cmdlet”。這種情況十有八九是裝完Anaconda之后沒(méi)有把conda初始化到當(dāng)前shell。解決方式重新打開(kāi)一個(gè)新終端或者直接用Anaconda Prompt操作或者在當(dāng)前終端執(zhí)行conda init powershell后重啟終端。還有人是因?yàn)镻ATH里沒(méi)有conda的Scripts目錄手動(dòng)加上一般也能解決。不要一看報(bào)錯(cuò)就重裝先確認(rèn)是路徑問(wèn)題還是權(quán)限問(wèn)題。5.2 數(shù)據(jù)加載和模型設(shè)計(jì)用MNIST做對(duì)比實(shí)驗(yàn)數(shù)據(jù)加載非常省事transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse)Normalize((0.1307,), (0.3081,))是MNIST全局的均值和標(biāo)準(zhǔn)差固定值直接寫(xiě)死就行。歸一化的意義前面講過(guò)就是讓輸入像素從0到1的分布變成近似的標(biāo)準(zhǔn)正態(tài)分布讓優(yōu)化器一開(kāi)始就在正常梯度尺度上干活。模型我用一個(gè)很小的CNNimport torch import torch.nn as nn import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import datasets, transforms device torch.device(cuda if torch.cuda.is_available() else cpu) class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 32, 3, padding1) self.bn1 nn.BatchNorm2d(32) self.conv2 nn.Conv2d(32, 64, 3, padding1) self.bn2 nn.BatchNorm2d(64) self.pool nn.MaxPool2d(2) self.fc nn.Linear(64 * 7 * 7, 10) def forward(self, x): x self.pool(F.relu(self.bn1(self.conv1(x)))) x self.pool(F.relu(self.bn2(self.conv2(x)))) x x.view(x.size(0), -1) x self.fc(x) return x這個(gè)網(wǎng)絡(luò)參數(shù)量不大CPU上幾秒鐘一個(gè)epoch非常適合做優(yōu)化器的對(duì)比實(shí)驗(yàn)。5.3 完整訓(xùn)練腳本訓(xùn)練流程拆成train和evaluate兩個(gè)函數(shù)def train_one_epoch(model, loader, optimizer, criterion, device): model.train() total_loss, correct, total 0.0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total images.size(0) return total_loss / total, correct / total def evaluate(model, loader, criterion, device): model.eval() total_loss, correct, total 0.0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total images.size(0) return total_loss / total, correct / total然后是實(shí)驗(yàn)入口def run(config, epochs10): torch.manual_seed(42) model SimpleCNN().to(device) optimizer config[optimizer](model.parameters(), **config[kwargs]) criterion nn.CrossEntropyLoss() scheduler torch.optim.lr_scheduler.MultiStepLR( optimizer, milestones[5, 8], gamma0.3 ) for epoch in range(1, epochs 1): train_loss, train_acc train_one_epoch( model, train_loader, optimizer, criterion, device ) val_loss, val_acc evaluate(model, test_loader, criterion, device) scheduler.step() print( fepoch {epoch} ftrain_loss{train_loss:.4f} train_acc{train_acc:.4f} fval_acc{val_acc:.4f} flr{optimizer.param_groups[0][lr]:.5f} ) configs { SGD: { optimizer: torch.optim.SGD, kwargs: {lr: 0.01, momentum: 0.9, weight_decay: 5e-4}, }, Adam: { optimizer: torch.optim.Adam, kwargs: {lr: 0.001}, }, AdamW: { optimizer: torch.optim.AdamW, kwargs: {lr: 0.001, weight_decay: 5e-4}, }, } for name, config in configs.items(): print(, name) run(config)注意MultiStepLR在milestones[5, 8]處會(huì)把lr降到原來(lái)的0.3倍。這是故意設(shè)置的目的就是讓三種優(yōu)化器都經(jīng)歷學(xué)習(xí)率下降更接近真實(shí)訓(xùn)練場(chǎng)景。5.4 實(shí)測(cè)對(duì)比收斂速度、最終準(zhǔn)確率我這邊的典型結(jié)果是Adam和AdamW在前1到2個(gè)epoch就能沖到97%以上的驗(yàn)證準(zhǔn)確率收斂速度明顯更快。SGD前幾個(gè)epoch上升較慢甚至到了第3個(gè)epoch才過(guò)95%但第6到8個(gè)epoch之后驗(yàn)證準(zhǔn)確率會(huì)逐漸追平最終往往能達(dá)到98%以上和Adam最終結(jié)果基本持平或小優(yōu)。AdamW因?yàn)閹Я藈eight_decay最終準(zhǔn)確率一般比不帶正則的Adam略高一點(diǎn)尤其是在batch size小、數(shù)據(jù)增強(qiáng)少的情況下更明顯。觀察loss曲線SGD下降更平滑Adam初期陡降、后期有輕微波動(dòng)屬于正?，F(xiàn)象。這個(gè)對(duì)比印證了一條經(jīng)驗(yàn)收斂快的優(yōu)化器不一定終點(diǎn)最高。如果你只是快速驗(yàn)證ideaAdam很省心如果想把最終指標(biāo)頂上去SGD加適量正則的潛力往往更大。另外我強(qiáng)烈建議把optimizer、lr、scheduler、weight_decay這些配置全寫(xiě)進(jìn)config字典里每跑一組實(shí)驗(yàn)就記錄一組結(jié)果。對(duì)比多次實(shí)驗(yàn)時(shí)你靠這些記錄才能復(fù)現(xiàn)“上次那個(gè)好結(jié)果”不然全靠印象調(diào)參等于在撞運(yùn)氣。6. 參數(shù)優(yōu)化遇到問(wèn)題時(shí)的排查鏈路6.1 loss不降怎么辦loss完全不動(dòng)排查順序應(yīng)該是檢查輸入數(shù)據(jù)是否歸一化特征尺度是否差異過(guò)大。檢查學(xué)習(xí)率從1e-3出發(fā)觀察前50步loss變化如果完全不動(dòng)嘗試1e-2或1e-1如果動(dòng)了但很慢再看下面幾步。檢查梯度是否真的傳到了模型參數(shù)上。model.parameters()里某些層的requires_grad可能為False或者loss和模型之間隔著detach()。檢查損失函數(shù)是否選錯(cuò)分類(lèi)任務(wù)里交叉熵和MSE的梯度行為差異很大。調(diào)試時(shí)我最常用的技巧是打印中間層的梯度范數(shù)for name, param in model.named_parameters(): if param.grad is not None: print(name, param.grad.norm().item())梯度范數(shù)為0或者None說(shuō)明反向傳播鏈路有斷點(diǎn)梯度范數(shù)極大說(shuō)明即將爆炸梯度范數(shù)極小說(shuō)明模型初始化或lr設(shè)置有問(wèn)題。這一步能快速縮小排查范圍。6.2 loss變成NaNloss變成NaN最常見(jiàn)的元兇就是lr過(guò)大梯度爆炸尤其在全連接層和循環(huán)網(wǎng)絡(luò)里容易發(fā)生。第一反應(yīng)是把lr降10倍再看。如果一開(kāi)始loss就是NaN還要檢查輸入數(shù)據(jù)里有沒(méi)有NaN或inf數(shù)據(jù)加載階段就能引入臟數(shù)據(jù)比如歸一化時(shí)除以了0或者數(shù)據(jù)里有缺失值直接填了NaN。對(duì)Transformer類(lèi)模型來(lái)說(shuō)attention里的scale也可能導(dǎo)致數(shù)值問(wèn)題可以檢查一下初始化方式。這個(gè)場(chǎng)景下梯度裁剪一定要用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)它能保證單步更新幅度不失控是最直接的安全墊。6.3 過(guò)擬合模型在訓(xùn)練集上loss持續(xù)下降但驗(yàn)證集loss回升這就是優(yōu)化過(guò)頭了跑到記憶樣本的方向上去了。處理過(guò)擬合的方向是加數(shù)據(jù)增強(qiáng)隨機(jī)裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)、顏色擾動(dòng)。加正則提高weight_decay或在全連接層前插入Dropout。早停每個(gè)epoch記錄驗(yàn)證集指標(biāo)保存驗(yàn)證集指標(biāo)最好的模型參數(shù)。減小模型容量或者減少訓(xùn)練輪數(shù)。要注意loss只降不升并不代表模型好關(guān)鍵看驗(yàn)證集指標(biāo)。所以我習(xí)慣在訓(xùn)練腳本里同時(shí)記錄train和val兩條曲線的數(shù)值兩個(gè)對(duì)比著看確認(rèn)優(yōu)化方向是否有偏差。6.4 conda環(huán)境問(wèn)題的補(bǔ)充現(xiàn)場(chǎng)開(kāi)篇提過(guò)Windows下conda activate報(bào)“無(wú)法將conda項(xiàng)識(shí)別”的問(wèn)題這里補(bǔ)充一個(gè)完整的排查思路。報(bào)錯(cuò)信息已經(jīng)說(shuō)明“無(wú)法識(shí)別”那先確認(rèn)是不是PATH問(wèn)題在終端執(zhí)行where conda如果能找到conda路徑說(shuō)明PATH沒(méi)問(wèn)題問(wèn)題可能是當(dāng)前shell沒(méi)有激活conda初始化如果找不到說(shuō)明conda的Scripts目錄沒(méi)加進(jìn)PATH。兩種情況的處理方式不同能識(shí)別但激活不了運(yùn)行conda init powershell然后重啟終端。不能識(shí)別打開(kāi)環(huán)境變量把C:\Users\你的用戶(hù)名\anaconda3和C:\Users\你的用戶(hù)名\anaconda3\Scripts加入PATH。不要因?yàn)橐粋€(gè)小報(bào)錯(cuò)就重裝Anaconda重裝只會(huì)浪費(fèi)時(shí)間而且大概率裝完還是同樣的問(wèn)題。這套判斷邏輯同樣適用于其他深度學(xué)習(xí)環(huán)境的搭建排錯(cuò)。我在實(shí)際項(xiàng)目里最大的體會(huì)是把優(yōu)化器、學(xué)習(xí)率調(diào)度、正則化、數(shù)據(jù)尺度、梯度裁剪理解成一整套聯(lián)動(dòng)系統(tǒng)之后訓(xùn)練問(wèn)題基本都能順著鏈路排查出具體原因而不是反復(fù)改lr碰運(yùn)氣。跑實(shí)驗(yàn)前把每一組配置、每一條loss記錄成表格看著它們變化去調(diào)整比憑感覺(jué)隨機(jī)調(diào)參要高效得多。建議你先跑通上面的MNIST對(duì)比實(shí)驗(yàn)再把它遷移到自己的數(shù)據(jù)集上記錄幾組優(yōu)化器配置的效果慢慢形成自己的調(diào)參直覺(jué)。