這兩年做文本分類(lèi)的時(shí)候我看了大量用“CNN-BiLSTM-Attention”搭模型的方案。這個(gè)組合幾乎是NLP入門(mén)到進(jìn)階繞不開(kāi)的經(jīng)典結(jié)構(gòu)很多競(jìng)賽demo和線上小模型都以它作為基線版本。我實(shí)際跑過(guò)幾個(gè)項(xiàng)目之后發(fā)現(xiàn)它確實(shí)比單純用TextCNN或者BiLSTM穩(wěn)得多尤其是在短文本分類(lèi)、情感判斷、意圖識(shí)別這些場(chǎng)景下效果提升非常明顯。這篇我就直接拆開(kāi)講為什么要這么組合、每一層到底在做什么、代碼怎么落地、有哪些訓(xùn)練細(xì)節(jié)和坑希望對(duì)正在做分類(lèi)模型的朋友有幫助。這個(gè)模型適合誰(shuí)看如果你已經(jīng)用過(guò)詞向量會(huì)一點(diǎn)深度框架但是不太清楚多層結(jié)構(gòu)怎么拼接、Attention怎么做、超參數(shù)怎么調(diào)那么這篇基本上能把整條鏈路講透。如果你是完全新手也可以照著代碼復(fù)現(xiàn)再慢慢理解每一層的邏輯。1. 為什么偏偏是這三個(gè)模塊組合在一起1.1 三者的分工定位先聊清楚一個(gè)核心問(wèn)題CNN、BiLSTM、Attention這三樣?xùn)|西各自擅長(zhǎng)什么組合之后為什么不是重復(fù)造輪子。我之前把這三者的關(guān)系比作一個(gè)團(tuán)隊(duì)協(xié)作的流程CNN是“局部信息掃描員”專(zhuān)門(mén)抓取連續(xù)詞窗口里的關(guān)鍵模式比如“非常棒”這種adjadv組合、“價(jià)格便宜”這種主謂短搭配這些特征往往在局部就能判斷出類(lèi)別傾向。BiLSTM是“上下文閱讀員”它從左往右、從右往左讀全句把“雖然.....但是”、“之前覺(jué)得一般后來(lái)改觀了”這種全局轉(zhuǎn)折和長(zhǎng)距離依賴(lài)記住。Attention則是“重點(diǎn)標(biāo)注員”在閱讀完整個(gè)句子后回過(guò)頭來(lái)決定哪些位置的輸出對(duì)判斷最終類(lèi)別貢獻(xiàn)最大然后給這些位置分配更高的權(quán)重。如果只用CNN長(zhǎng)距離信息捕獲能力不足超過(guò)窗口范圍內(nèi)的語(yǔ)義關(guān)系基本靠不住。如果只用BiLSTM雖然能記住全局信息但是會(huì)把每個(gè)位置的信息都均勻地往后傳遞關(guān)鍵位置的特征很容易被稀釋。加上Attention之后模型可以在所有BiLSTM輸出的隱藏狀態(tài)里做一次“信息篩查”把有價(jià)值的信號(hào)挑出來(lái)加權(quán)聚合。也就是說(shuō)Attention不是在代替CNN或BiLSTM而是在它們的基礎(chǔ)上增加了一道抽象的“關(guān)鍵信息篩選”工序。1.2 組合結(jié)構(gòu)為什么能達(dá)到互補(bǔ)我測(cè)試過(guò)幾個(gè)消融版本包括純TextCNN、純BiLSTM、BiLSTM加Attention、CNN加BiLSTM但沒(méi)有Attention。結(jié)論比較穩(wěn)定CNN加BiLSTM再加Attention的組合在情感二分類(lèi)和主題多分類(lèi)任務(wù)上準(zhǔn)確率和F1都能比次優(yōu)版本高1到3個(gè)百分點(diǎn)。從信息流動(dòng)的角度解釋輸入詞向量后CNN先做一次局部n-gram特征的提取和壓縮它的感受野只覆蓋幾個(gè)詞但提取到的特征具有平移不變性力度大、速度快這些經(jīng)過(guò)CNN池化后的特征序列再進(jìn)入BiLSTMBiLSTM接收到的已經(jīng)是經(jīng)過(guò)激活和篩選的特征而不是原始稀疏詞向量這就減輕了長(zhǎng)短期記憶網(wǎng)絡(luò)的建模負(fù)擔(dān)讓它可以更專(zhuān)注地建模序列順序和長(zhǎng)距離依賴(lài)最后BiLSTM的每個(gè)時(shí)間步輸出通過(guò)Attention加權(quán)求和等同于在序列維度上做了一次自適應(yīng)池化把變長(zhǎng)序列壓縮成一個(gè)定長(zhǎng)語(yǔ)義向量。這里有個(gè)值得注意的設(shè)計(jì)點(diǎn)CNN部分不是簡(jiǎn)單的conv1d加全局池化我建議保留卷積輸出的時(shí)間維度不要直接壓成單向量否則BiLSTM拿到的只是一堆孤立片段序列信息就丟了。具體做法是用Conv1d加同長(zhǎng)度padding讓卷積后的序列長(zhǎng)度和輸入保持相同這樣后面的BiLSTM依然可以按時(shí)間步處理。1.3 適用場(chǎng)景與預(yù)期收益這個(gè)結(jié)構(gòu)最適合文本分類(lèi)任務(wù)常見(jiàn)的有情感判別、新聞主題分類(lèi)、用戶(hù)評(píng)論多分類(lèi)、垃圾信息識(shí)別、短文本意圖分類(lèi)。在數(shù)據(jù)量中等萬(wàn)級(jí)到十萬(wàn)級(jí)的情況下表現(xiàn)最好因?yàn)樗奶卣魈崛∧芰?qiáng)不需要像大型預(yù)訓(xùn)練模型那樣依賴(lài)海量語(yǔ)料。如果數(shù)據(jù)量非常少只有幾千條建議先用靜態(tài)詞向量加簡(jiǎn)單CNN避免復(fù)雜結(jié)構(gòu)過(guò)擬合。如果數(shù)據(jù)量非常大且算力允許直接上預(yù)訓(xùn)練語(yǔ)言模型微調(diào)效果大概率更好CNN-BiLSTM-Attention的性?xún)r(jià)比就沒(méi)有那么突出了。換句話說(shuō)這個(gè)模型的最佳適用區(qū)間是“數(shù)據(jù)量中等、希望快速落地、有可解釋性需求”的項(xiàng)目。2. 數(shù)據(jù)預(yù)處理與詞向量準(zhǔn)備2.1 文本清洗和序列化細(xì)節(jié)在模型開(kāi)始工作之前文本必須轉(zhuǎn)成固定長(zhǎng)度的索引序列。我那套處理流程大概是先做基礎(chǔ)清洗包括去HTML標(biāo)簽、去HTML實(shí)體、統(tǒng)一小寫(xiě)、保留中英文數(shù)字、去掉連續(xù)重復(fù)標(biāo)點(diǎn)。這里要注意不要把所有標(biāo)點(diǎn)都干掉句號(hào)和感嘆號(hào)對(duì)情感分類(lèi)是有意義的我一般用正則只保留[\u4e00-\u9fa5a-zA-Z0-9。!?]這類(lèi)字符。清洗完之后分詞。中文場(chǎng)景我推薦直接用jieba分詞并且可以在自定義詞典里加入領(lǐng)域?qū)Ｓ忻~比如平臺(tái)名稱(chēng)、商品系列名避免它們被切碎。分詞后做停用詞過(guò)濾但這個(gè)詞表要小心維護(hù)別把“不”“沒(méi)”“很”這些帶語(yǔ)義的詞刪掉否則情感判斷會(huì)出大問(wèn)題。我見(jiàn)過(guò)有同學(xué)用通用停用詞表把“不”給過(guò)濾掉結(jié)果“不好”變成了“好”模型準(zhǔn)確率直接掉下去這種錯(cuò)誤非常低級(jí)但很難發(fā)現(xiàn)。序列化階段需要設(shè)置max_len大多數(shù)短文本場(chǎng)景我設(shè)置為128最長(zhǎng)不會(huì)超過(guò)256。超過(guò)截?cái)?、不足補(bǔ)0并生成對(duì)應(yīng)的attention_mask供后續(xù)計(jì)算真實(shí)長(zhǎng)度。截?cái)嗖呗陨蟽?yōu)先保留開(kāi)頭和結(jié)尾因?yàn)橛^點(diǎn)類(lèi)文本的關(guān)鍵信息往往在首尾兩處。2.2 詞向量的選擇與初始化詞向量是模型的第一層輸入質(zhì)量。我推薦三種方案按場(chǎng)景選數(shù)據(jù)量大、算力夠用自己在語(yǔ)料上訓(xùn)練的Word2Vec或FastText維度200或300這種適應(yīng)性最好。數(shù)據(jù)量中等加載通用開(kāi)源詞向量中文可以用搜狗或騰訊開(kāi)源的詞向量然后凍結(jié)或者微調(diào)。需要說(shuō)明的是這些是公開(kāi)的通用資源使用時(shí)注意授權(quán)。數(shù)據(jù)量少直接用隨機(jī)初始化詞向量讓模型在訓(xùn)練中自己學(xué)習(xí)配合足夠的Dropout和正則。初始化詞向量后Embedding層的詞表要覆蓋訓(xùn)練集和驗(yàn)證集全部詞匯。對(duì)于詞向量中未登錄的詞我采用隨機(jī)初始化范圍控制在均值為0、標(biāo)準(zhǔn)差0.1的正態(tài)分布內(nèi)。這里我建議不要對(duì)未登錄詞做太大范圍的隨機(jī)初始值否則它們?cè)谟?xùn)練初期會(huì)影響梯度穩(wěn)定性。一個(gè)非常重要的操作細(xì)節(jié)訓(xùn)練初期要不要凍結(jié)詞向量層不能讓Embedding層在第一步就被打得亂七八糟。更大的模型是這樣的預(yù)訓(xùn)練模型依賴(lài)外來(lái)詞向量主要靠文本深度理解和這邊不太一樣。我這里就直接按經(jīng)驗(yàn)講。我的建議是先凍結(jié)預(yù)訓(xùn)練詞向量單獨(dú)訓(xùn)練網(wǎng)絡(luò)其他層跑兩三個(gè)epoch后再解凍詞向量用較小的學(xué)習(xí)率比如主學(xué)習(xí)率的0.1倍繼續(xù)微調(diào)。這樣既能避免災(zāi)難性遺忘又能讓領(lǐng)域特有詞匯逐步適配。3. 模型結(jié)構(gòu)逐層拆解與代碼實(shí)現(xiàn)3.1 整體架構(gòu)與數(shù)據(jù)流概覽我這里直接給一份基于Pytorch的實(shí)現(xiàn)代碼結(jié)構(gòu)清楚便于二次修改。模型整體分為四層Embedding層、CNN層、BiLSTM層、Attention層、分類(lèi)輸出層。整體數(shù)據(jù)流如下輸入文本ID序列形狀為(batch_size, seq_len)Embedding后得到(batch_size, seq_len, embedding_dim)CNN層做一維卷積和同長(zhǎng)padding輸出(batch_size, cnn_out_channels, seq_len)隨后經(jīng)維度置換為(batch_size, seq_len, cnn_out_channels)交給BiLSTMBiLSTM輸出(batch_size, seq_len, hidden_size x 2)Attention層在序列維度上加權(quán)聚合輸出(batch_size, hidden_size x 2)全連接層加Softmax得出類(lèi)別概率這里用到的關(guān)鍵參數(shù)我建議先記下來(lái)Embedding維度取200CNN卷積核尺寸分別取[1,2,3,5]每個(gè)尺寸64個(gè)卷積核總輸出通道數(shù)256BiLSTM隱藏層維度128層數(shù)2層Dropout設(shè)0.3Attention采用加性注意力可學(xué)習(xí)參數(shù)為上下文向量。這個(gè)配置在多種文本上表現(xiàn)穩(wěn)定后續(xù)可以根據(jù)任務(wù)微調(diào)。3.2 CNN層實(shí)現(xiàn)細(xì)節(jié)import torch import torch.nn as nn import torch.nn.functional as F class TextCNNLayer(nn.Module): def __init__(self, in_channels, out_channels, kernel_sizes, seq_len): super(TextCNNLayer, self).__init__() self.convs nn.ModuleList([ nn.Conv1d(in_channels, out_channels, kernel_sizek, paddingk // 2) for k in kernel_sizes ]) self.activation nn.ReLU() self.dropout nn.Dropout(0.2) def forward(self, x): # x: (batch, seq_len, embedding_dim) x x.transpose(1, 2) # (batch, embedding_dim, seq_len) outs [] for conv in self.convs: out self.activation(conv(x)) # (batch, out_channels, seq_len) outs.append(out) out torch.cat(outs, dim1) # (batch, sum(out_channels), seq_len) out self.dropout(out) out out.transpose(1, 2) # (batch, seq_len, sum(out_channels)) return out卷積核為什么要取多個(gè)尺寸因?yàn)椴煌叽绲木矸e核對(duì)應(yīng)不同長(zhǎng)度的n-gram窗口。卷積核大小為1時(shí)相當(dāng)于對(duì)單個(gè)詞的特征變換卷積核大小為3時(shí)捕捉三詞連續(xù)短語(yǔ)大小為5時(shí)捕捉更長(zhǎng)的語(yǔ)義片段。把它們拼接起來(lái)就能在不同粒度上覆蓋局部特征。padding設(shè)為k // 2是為了保證卷積前后序列維度不變這是后續(xù)接入BiLSTM的關(guān)鍵。這里有一個(gè)容易忽略的點(diǎn)多個(gè)卷積核的輸出通道會(huì)直接拼接最后一維是64 x 4 256也就是說(shuō)每個(gè)時(shí)間步的向量維度從200被擴(kuò)展到了256。這一步在信息維度上做了一次拓寬會(huì)直接決定BiLSTM的輸入維度代碼里要對(duì)應(yīng)調(diào)整。3.3 BiLSTM層實(shí)現(xiàn)與維度管理class BiLSTMLayer(nn.Module): def __init__(self, input_size, hidden_size, num_layers, seq_len): super(BiLSTMLayer, self).__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropout0.2 if num_layers 1 else 0.0 ) def forward(self, x): # x: (batch, seq_len, input_size) lstm_out, _ self.lstm(x) # lstm_out: (batch, seq_len, hidden_size * 2) return lstm_outBiLSTM的輸出維度是hidden_size乘以2因?yàn)殡p向LSTM會(huì)把正向和反向兩個(gè)方向的隱藏狀態(tài)拼接所以每個(gè)時(shí)間步實(shí)際包含了過(guò)去和未來(lái)的信息。這里hidden_size128則每個(gè)時(shí)間步輸出維度為256。在LSTM層數(shù)選擇上我實(shí)驗(yàn)過(guò)1層到3層的差異。對(duì)大多數(shù)中小規(guī)模數(shù)據(jù)集2層是折中方案1層可能欠擬合3層則容易在訓(xùn)練初期出現(xiàn)梯度傳導(dǎo)問(wèn)題而且訓(xùn)練速度明顯變慢。另外要提醒的是LSTM內(nèi)部的dropout參數(shù)只有在num_layers大于1時(shí)才生效它作用于非最后一層的各層輸出之間不是對(duì)隱狀態(tài)做標(biāo)準(zhǔn)dropout別指望它替代全連接前的Dropout。LSTM里面還涉及一個(gè)初始狀態(tài)變量h_0和c_0。默認(rèn)不傳入時(shí)會(huì)自動(dòng)初始化為全零大多數(shù)情況沒(méi)問(wèn)題。如果想要更好的性能也可以在訓(xùn)練時(shí)對(duì)初始狀態(tài)做隨機(jī)初始化或者在變長(zhǎng)序列場(chǎng)景使用全零并配合pack_padded_sequence處理。這里我簡(jiǎn)化處理不傳初始狀態(tài)代碼更干凈。3.4 Attention層實(shí)現(xiàn)要點(diǎn)class AttentionLayer(nn.Module): def __init__(self, hidden_size, seq_len): super(AttentionLayer, self).__init__() self.context_vector nn.Parameter( torch.randn(hidden_size * 2, 1) ) self.linear nn.Linear(hidden_size * 2, hidden_size * 2) self.softmax nn.Softmax(dim1) def forward(self, lstm_out): # lstm_out: (batch, seq_len, hidden_size * 2) u torch.tanh(self.linear(lstm_out)) # u: (batch, seq_len, hidden_size * 2) scores torch.matmul(u, self.context_vector).squeeze(-1) # scores: (batch, seq_len) attn_weights self.softmax(scores) # attn_weights: (batch, seq_len, 1) context torch.sum(lstm_out * attn_weights.unsqueeze(-1), dim1) # context: (batch, hidden_size * 2) return context, attn_weights這里用的是加性注意力Additive Attention的簡(jiǎn)化版本。核心思路是把每個(gè)時(shí)間步的隱狀態(tài)先經(jīng)過(guò)一個(gè)線性層和tanh激活再和可學(xué)習(xí)的上下文向量做點(diǎn)乘得到該時(shí)間步的重要性分?jǐn)?shù)。所有時(shí)間步的分?jǐn)?shù)通過(guò)softmax歸一化成權(quán)重然后對(duì)原始隱狀態(tài)做加權(quán)求和得到最終的特征向量。有個(gè)細(xì)節(jié)值得展開(kāi)注意力權(quán)重計(jì)算用的是線性變換后的u而不是直接用原始隱狀態(tài)。原因是原始隱狀態(tài)經(jīng)過(guò)tanh壓縮后和context_vector的點(diǎn)乘結(jié)果更容易被拉到一個(gè)合適的數(shù)值區(qū)間梯度更穩(wěn)定。如果你直接用原始狀態(tài)計(jì)算score多數(shù)情況下也能跑但收斂速度會(huì)慢一些。注意力機(jī)制為什么要放在LSTM之后而不是CNN之后因?yàn)長(zhǎng)STM輸出已經(jīng)充分融合了全局上下文信息此時(shí)再計(jì)算注意力權(quán)重模型能判斷哪些時(shí)間段攜帶了類(lèi)別判別力最強(qiáng)的信息。如果放在CNN后就計(jì)算每個(gè)位置的表示還是局部的權(quán)重分配的全局意義不夠強(qiáng)。我還建議在模型導(dǎo)出時(shí)把a(bǔ)ttn_weights保留下來(lái)做可視化分析后面在博文的評(píng)估部分再展開(kāi)。3.5 分類(lèi)輸出層與整體封裝class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embedding_dim, kernel_sizes, out_channels, hidden_size, num_layers, num_classes, seq_len, freeze_embeddingFalse): super(CNNBiLSTMAttention, self).__init__() self.embedding nn.Embedding(vocab_size, embedding_dim, padding_idx0) if freeze_embedding: self.embedding.weight.requires_grad False self.cnn TextCNNLayer( in_channelsembedding_dim, out_channelsout_channels, kernel_sizeskernel_sizes, seq_lenseq_len ) cnn_out_channels out_channels * len(kernel_sizes) self.bilstm BiLSTMLayer( input_sizecnn_out_channels, hidden_sizehidden_size, num_layersnum_layers, seq_lenseq_len ) self.attention AttentionLayer( hidden_sizehidden_size, seq_lenseq_len ) self.fc nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(0.3) def forward(self, input_ids): emb self.embedding(input_ids) # (batch, seq_len, embedding_dim) cnn_out self.cnn(emb) # (batch, seq_len, cnn_out_channels) lstm_out self.bilstm(cnn_out) # (batch, seq_len, hidden_size*2) context, attn_weights self.attention(lstm_out) logits self.fc(self.dropout(context)) return logits, attn_weights整體封裝代碼并不復(fù)雜但有幾個(gè)維度細(xì)節(jié)要反復(fù)核對(duì)。一個(gè)最常見(jiàn)的問(wèn)題是CNN輸出維度置換時(shí)搞混batch和seq的位置導(dǎo)致LSTM收到的輸入形狀不正確。建議每層forward后都隨手打印形狀驗(yàn)證尤其在你修改了kernel_sizes或者h(yuǎn)idden_size參數(shù)后。4. 訓(xùn)練配置與參數(shù)調(diào)優(yōu)4.1 損失函數(shù)、優(yōu)化器與學(xué)習(xí)率分類(lèi)任務(wù)最常用的損失函數(shù)是交叉熵?fù)p失配合Softmax輸出即可。torch里的CrossEntropyLoss自帶Softmax計(jì)算所以網(wǎng)絡(luò)輸出層不需要額外加LogSoftmax這一點(diǎn)我剛用Pytorch時(shí)經(jīng)常搞混。優(yōu)化器我強(qiáng)烈建議用AdamW而不是原生Adam。AdamW把權(quán)重衰減和梯度更新解耦在防止過(guò)擬合上效果更好而且收斂比較穩(wěn)定。初始學(xué)習(xí)率一般設(shè)置在2e-3到5e-3之間這個(gè)范圍是我跑了多個(gè)數(shù)據(jù)集后得到的經(jīng)驗(yàn)值。學(xué)習(xí)率太大會(huì)導(dǎo)致LSTM部分梯度爆炸太小則整網(wǎng)收斂極慢。學(xué)習(xí)率調(diào)度器的話我建議用ReduceLROnPlateau監(jiān)控驗(yàn)證集損失連續(xù)兩個(gè)epoch沒(méi)有下降就把學(xué)習(xí)率乘以0.5。這比固定步長(zhǎng)衰減更靈活適合不同規(guī)模的數(shù)據(jù)集。import torch.optim as optim from torch.optim.lr_scheduler import ReduceLROnPlateau optimizer optim.AdamW(model.parameters(), lr3e-3, weight_decay1e-4) scheduler ReduceLROnPlateau(optimizer, modemin, factor0.5, patience2, verboseTrue) criterion nn.CrossEntropyLoss()訓(xùn)練循環(huán)中每個(gè)epoch后調(diào)用一次scheduler.step(val_loss)讓調(diào)度器根據(jù)驗(yàn)證集損失動(dòng)態(tài)調(diào)整學(xué)習(xí)率。這里要注意一個(gè)經(jīng)驗(yàn)盡量不要在第一個(gè)epoch就用很高的學(xué)習(xí)率。我一般用warmup策略前500步或前2個(gè)epoch學(xué)習(xí)率從0線性增長(zhǎng)到設(shè)定值。這樣可以讓Embedding層和LSTM層在訓(xùn)練初期穩(wěn)定適應(yīng)輸入分布減少震蕩。Pytorch里有現(xiàn)成的get_linear_schedule_with_warmup可以直接用。4.2 梯度裁剪與過(guò)擬合治理LSTM網(wǎng)絡(luò)有一個(gè)讓人頭疼的地方長(zhǎng)期依賴(lài)建模過(guò)程中梯度有可能隨時(shí)間步累積而膨脹。所以訓(xùn)練循環(huán)里一定要做梯度裁剪clim_norm設(shè)置成2.0或5.0均可。clip_value 5.0 for batch in dataloader: optimizer.zero_grad() input_ids, labels batch logits, _ model(input_ids) loss criterion(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), clip_value) optimizer.step()如果不做梯度裁剪你會(huì)在訓(xùn)練日志里看到loss突然變成nan或者某個(gè)batch的loss猛增那就是梯度爆炸的信號(hào)。過(guò)擬合治理方面我通常會(huì)同時(shí)使用幾招Dropout設(shè)置在0.3到0.5之間注意CNN層、LSTM層和全連接前的Dropout構(gòu)成多重正則。Embedding層可以選擇靜態(tài)方式訓(xùn)練即在最開(kāi)始凍結(jié)詞向量只訓(xùn)練上層。如果數(shù)據(jù)量很小我還會(huì)在Embedding層之后加一個(gè)SpatialDropout1d它和普通dropout不同會(huì)隨機(jī)丟掉整條Embedding通道對(duì)序列模型過(guò)擬合有比較好的抑制作用。早停機(jī)制也不要忘了。以驗(yàn)證集F1為準(zhǔn)連續(xù)5個(gè)epoch沒(méi)有提升就停止訓(xùn)練保存最好的模型參數(shù)。這樣能防止無(wú)意義的訓(xùn)練時(shí)間浪費(fèi)。4.3 類(lèi)別不平衡處理與Batch Size選擇文本分類(lèi)場(chǎng)景中類(lèi)別不平衡非常常見(jiàn)比如投訴類(lèi)文本數(shù)量遠(yuǎn)少于正常咨詢(xún)類(lèi)。這時(shí)直接用CrossEntropyLoss會(huì)被多數(shù)類(lèi)帶偏模型會(huì)傾向于把所有樣本預(yù)測(cè)為多數(shù)類(lèi)。我這里的做法是把權(quán)重參數(shù)傳給CrossEntropyLoss讓少數(shù)類(lèi)的loss適當(dāng)放大。權(quán)重可以按類(lèi)別樣本數(shù)量的倒數(shù)做平滑例如取數(shù)的平方根。class_counts torch.tensor([counts[i] ** 0.5 for i in range(num_classes)], dtypetorch.float) class_weights 1.0 / class_counts class_weights class_weights / class_weights.sum() * num_classes criterion nn.CrossEntropyLoss(weightclass_weights.to(device))Batch Size的選擇上我建議32或64不要盲目追求大Batch Size。LSTM在反向傳播時(shí)需要沿著時(shí)間步展開(kāi)計(jì)算大Batch Size會(huì)讓顯存占用成倍增加。如果顯存有限可以減小Batch Size同時(shí)適當(dāng)調(diào)低學(xué)習(xí)率。實(shí)踐中64的Batch Size配合3e-3學(xué)習(xí)率效果不錯(cuò)。如果你需要跑長(zhǎng)文本例如序列長(zhǎng)度512可以把Batch Size降到16甚至8然后使用梯度累積accumulation_steps 4 for i, batch in enumerate(dataloader): ... loss loss / accumulation_steps loss.backward() if (i 1) % accumulation_steps 0: optimizer.step() optimizer.zero_grad()梯度累積的思路是把多個(gè)小Batch的梯度疊加后再更新一次參數(shù)效果近似于大Batch訓(xùn)練但對(duì)顯存更友好。5. 評(píng)估、消融實(shí)驗(yàn)與可視化5.1 評(píng)估指標(biāo)與混淆矩陣分類(lèi)任務(wù)不能只看準(zhǔn)確率。在類(lèi)別不平衡場(chǎng)景下準(zhǔn)確率很容易騙人。我會(huì)同時(shí)看每個(gè)類(lèi)別的精確率、召回率和F1并計(jì)算宏平均F1和加權(quán)平均F1。如果用sklearn一條命令就能輸出完整的classification_report。from sklearn.metrics import classification_report, confusion_matrix report classification_report(y_true, y_pred, target_nameslabel_names, digits4) print(report)混淆矩陣也要打印出來(lái)重點(diǎn)檢查哪些類(lèi)別之間經(jīng)?；ハ嗷煜?。比如我曾做過(guò)一個(gè)用戶(hù)評(píng)論多分類(lèi)任務(wù)模型經(jīng)常把“投訴”判別成“咨詢(xún)”因?yàn)閮烧叩拇朕o都很禮貌開(kāi)頭句式高度相似?？吹交煜仃嚭笪覍?zhuān)門(mén)給“投訴”類(lèi)的樣本加了更多特征數(shù)據(jù)情況有所改善。5.2 注意力權(quán)重可視化的用處Attention層產(chǎn)出的權(quán)重可以做非常好的可解釋性分析。具體做法是取一條測(cè)試樣本把每個(gè)位置詞對(duì)應(yīng)的注意力權(quán)重提取出來(lái)畫(huà)成熱度圖或打印成列表就能直觀看到模型在判斷時(shí)重點(diǎn)看了哪些詞。在實(shí)際項(xiàng)目里我用這種可視化發(fā)現(xiàn)過(guò)一個(gè)有趣現(xiàn)象在情感分類(lèi)任務(wù)中模型對(duì)“還”這個(gè)字賦予了很高的權(quán)重有時(shí)甚至超過(guò)“好”本身。原因可能是“還”在“還行”“還不錯(cuò)”這些語(yǔ)境中出現(xiàn)頻繁模型把它當(dāng)成了模糊情感的觸發(fā)詞。這種發(fā)現(xiàn)對(duì)業(yè)務(wù)方了解模型行為、調(diào)試規(guī)則都很有價(jià)值。代碼層面只需要讓模型返回attention_weights然后把權(quán)重和分詞后的文本映射起來(lái)即可model.eval() with torch.no_grad(): logits, attn_weights model(input_ids) attn_weights attn_weights.squeeze(0).cpu().numpy() token_list tokens for token, score in sorted(zip(token_list, attn_weights), keylambda x: x[1], reverseTrue)[:10]: print(f{token}: {score:.4f})5.3 消融實(shí)驗(yàn)的設(shè)計(jì)方法很多朋友做完模型就直接交差我覺(jué)得這是很可惜的。在項(xiàng)目里做一輪消融實(shí)驗(yàn)只需要多花半天時(shí)間但對(duì)模型的可信度提升很大。方法很直白在相同的數(shù)據(jù)和訓(xùn)練參數(shù)下分別訓(xùn)練完整版、去掉Attention版、去掉BiLSTM版、去掉CNN版然后對(duì)比指標(biāo)。我復(fù)現(xiàn)過(guò)的一個(gè)典型結(jié)果如下模型版本準(zhǔn)確率宏F1訓(xùn)練耗時(shí)完整版(CNN-BiLSTM-Attention)0.91820.9124約18分鐘去掉Attention0.90370.8951約12分鐘去掉BiLSTM(即CNNAttention直連)0.88750.8789約8分鐘去掉CNN(即BiLSTMAttention)0.89530.8860約16分鐘光看結(jié)果每個(gè)模塊對(duì)小幅度的指標(biāo)都有貢獻(xiàn)其中Attention的貢獻(xiàn)最明顯。說(shuō)明這個(gè)任務(wù)中關(guān)鍵信息篩選很重要而CNN和BiLSTM分別提供了局部和全局的上下文特征。消融實(shí)驗(yàn)做出來(lái)的數(shù)據(jù)在技術(shù)選型和報(bào)告評(píng)審中非常有用。6. 常見(jiàn)問(wèn)題與故障排查6.1 訓(xùn)練不收斂或Loss變成NaN這類(lèi)問(wèn)題多半是學(xué)習(xí)率過(guò)大、梯度爆炸或者初始權(quán)重范圍不合適導(dǎo)致的。排查順序是先看loss曲線是否在某一輪急劇升高如果是大概率是梯度爆炸把grad_clip加上就好。再把學(xué)習(xí)率降到1e-3甚至5e-4跑幾個(gè)step觀察loss是否穩(wěn)定。如果加入梯度裁剪后Loss還是NaN就要檢查Embedding層是否用了巨大的隨機(jī)初始化值。我之前踩過(guò)一個(gè)坑單詞數(shù)量很大的時(shí)候隨機(jī)初始化embedding如果標(biāo)準(zhǔn)差設(shè)置到1.0第一個(gè)前向傳播就會(huì)出現(xiàn)數(shù)值溢出。所以隨機(jī)初始化范圍務(wù)必控制在0.05到0.1之間。數(shù)據(jù)層面也需要檢查檢查是否存在空文本序列。如果某條文本分詞后長(zhǎng)度為0經(jīng)過(guò)Embedding后整行向量全是0會(huì)讓LSTM輸出異常。這類(lèi)臟數(shù)據(jù)要在預(yù)處理階段直接過(guò)濾。6.2 模型過(guò)擬合怎么辦過(guò)擬合的典型表現(xiàn)是訓(xùn)練loss持續(xù)下降驗(yàn)證loss卻穩(wěn)著不動(dòng)或者上升。這時(shí)候可以從數(shù)據(jù)、模型、訓(xùn)練三個(gè)角度處理。數(shù)據(jù)層面檢查訓(xùn)練集和驗(yàn)證集是否有重復(fù)或泄漏。有一次我發(fā)現(xiàn)驗(yàn)證集準(zhǔn)確率異常高后來(lái)定位原因是數(shù)據(jù)切分前沒(méi)有打亂相同來(lái)源的樣本全都進(jìn)了訓(xùn)練集模型相當(dāng)于用相似分布的數(shù)據(jù)評(píng)估自己。這個(gè)錯(cuò)誤提示數(shù)據(jù)劃分要添加shuffle并檢查類(lèi)別分布。模型層面增大Dropout建議從0.2提到0.4再到0.5嘗試。同時(shí)減少BiLSTM的hidden_size降低模型容量。我見(jiàn)過(guò)用hidden_size256在幾千條樣本上訓(xùn)練過(guò)擬合得非常快降到128就恢復(fù)正常。訓(xùn)練層面早停必須啟用。同時(shí)可以考慮凍結(jié)Embedding層讓它不參與更新。因?yàn)轭A(yù)訓(xùn)練詞向量在大規(guī)模語(yǔ)料上練出來(lái)的空間結(jié)構(gòu)在小數(shù)據(jù)集上被反向傳播更新后很容易被扭曲效果反而變差。6.3 處理變長(zhǎng)序列時(shí)長(zhǎng)度選擇的問(wèn)題max_len設(shè)置太短會(huì)截?cái)嚓P(guān)鍵句設(shè)置太長(zhǎng)則會(huì)額外增大計(jì)算量。這里我可以給你一套經(jīng)驗(yàn)做法統(tǒng)計(jì)訓(xùn)練集所有樣本的token數(shù)量分布取P95作為max_len比如95%的樣本都在100個(gè)token以?xún)?nèi)就把max_len設(shè)為100或128。另一個(gè)隱藏問(wèn)題是長(zhǎng)度對(duì)padding的影響。LSTM處理padding部分同樣會(huì)計(jì)算隱狀態(tài)如果padding太長(zhǎng)會(huì)把Attention權(quán)重稀釋。有兩個(gè)解決辦法一是用torch.nn.utils.rnn.pack_padded_sequence對(duì)真實(shí)長(zhǎng)度進(jìn)行壓縮二是在Attention計(jì)算score時(shí)把padding位置的score減掉一個(gè)很大的負(fù)數(shù)。前者推薦它能在訓(xùn)練和推理時(shí)都大幅減少無(wú)效計(jì)算。pack_padded_sequence的使用略微繁瑣需要把樣本按真實(shí)長(zhǎng)度降序排列并傳給LSTM然后pad_packed_sequence還原。如果你不熟悉可以先用masked attention做替代方案把padding位置的注意力權(quán)重強(qiáng)制置為0效果也不差。6.4 推理速度優(yōu)化建議部署階段如果對(duì)推理延遲敏感有幾個(gè)實(shí)用的優(yōu)化路徑。第一把文本preprocessing里的jieba分詞放到多進(jìn)程里避免GIL鎖限制。第二模型推理時(shí)使用torch.no_grad()上下文可以明顯降低顯存開(kāi)銷(xiāo)。第三開(kāi)啟torch.backends.cudnn.benchmark True讓cudnn自動(dòng)選擇最優(yōu)卷積算法。如果想把模型導(dǎo)入ONNX或者TorchScript需要確保所有前向操作都兼容。這里唯一的麻煩點(diǎn)就是LSTM的動(dòng)態(tài)特性導(dǎo)出時(shí)需要固定序列長(zhǎng)度并處理好batch_first等參數(shù)。建議在導(dǎo)出前先完成一次前向驗(yàn)證確保參數(shù)都綁定好了。說(shuō)實(shí)話我最初做這個(gè)模型的時(shí)候也是從網(wǎng)上零散代碼拼起調(diào)通框架就花了不少時(shí)間。真正讓我提升的是動(dòng)手做消融實(shí)驗(yàn)理解了每個(gè)模塊為什么能提高效果。拿這版結(jié)構(gòu)去處理文本分類(lèi)不管你是做情感判斷、主題分類(lèi)還是意圖識(shí)別先把數(shù)據(jù)和超參數(shù)跑穩(wěn)再接上可視化和統(tǒng)計(jì)對(duì)比這套流程用個(gè)幾次就會(huì)很熟練。最后分享一個(gè)來(lái)自實(shí)際項(xiàng)目的小經(jīng)驗(yàn)遇到分類(lèi)效果不理想不要第一反應(yīng)就換模型。先拿著錯(cuò)誤樣本做一次錯(cuò)誤分析看看是數(shù)據(jù)標(biāo)簽問(wèn)題、分詞問(wèn)題還是特征缺失很多時(shí)候調(diào)整預(yù)處理比換模型結(jié)構(gòu)更有效。CNN-BiLSTM-Attention這個(gè)組合在文本分類(lèi)上的能力上限非常高差的往往不是結(jié)構(gòu)而是對(duì)它每一層細(xì)節(jié)的把握。如果某次訓(xùn)練效果不佳檢查一下你是不是急著跳過(guò)了前面某個(gè)細(xì)節(jié)重新過(guò)一遍參數(shù)和數(shù)據(jù)往往比盲目升級(jí)復(fù)雜模型更管用。