郵件分類數(shù)據(jù)的價(jià)值很多人低估了它。做了幾年郵件安全相關(guān)的數(shù)據(jù)處理和模型訓(xùn)練我最大的體會(huì)是垃圾郵件過(guò)濾這個(gè)賽道真正的門(mén)檻早就不是算法有多花哨而是數(shù)據(jù)有多扎實(shí)。最近我完成了一套原創(chuàng)的電子郵件垃圾郵件過(guò)濾數(shù)據(jù)集構(gòu)建配合深度學(xué)習(xí)模型的微調(diào)實(shí)驗(yàn)從CSV格式設(shè)計(jì)、二元分類標(biāo)簽標(biāo)注到多語(yǔ)言NLP樣本整理、GDPR合規(guī)脫敏再到BERT微調(diào)、釣魚(yú)郵件識(shí)別的完整鏈路都跑了一遍。這篇文章就把整個(gè)過(guò)程中用得順手的方案、踩過(guò)的坑、以及實(shí)測(cè)下來(lái)的關(guān)鍵參數(shù)全部攤開(kāi)來(lái)講。無(wú)論你是剛接觸NLP分類任務(wù)的學(xué)生還是需要給業(yè)務(wù)系統(tǒng)配一套郵件過(guò)濾能力的工程師只要你準(zhǔn)備用BERT這類模型做文本分類這套從數(shù)據(jù)到訓(xùn)練的完整思路都應(yīng)該能給你一些參考。1. 項(xiàng)目概述垃圾郵件過(guò)濾的數(shù)據(jù)難題在哪1.1 核心需求拆解這個(gè)項(xiàng)目的原始需求其實(shí)很樸素構(gòu)建一份高質(zhì)量的郵件分類數(shù)據(jù)集能夠支撐垃圾郵件過(guò)濾算法的優(yōu)化和深度學(xué)習(xí)模型的訓(xùn)練。但高質(zhì)量三個(gè)字背后藏著幾個(gè)很具體的問(wèn)題。第一個(gè)問(wèn)題是樣本形態(tài)。郵件和普通短文本不一樣它天生就是半結(jié)構(gòu)化的有主題、有正文、有發(fā)件人、有HTML結(jié)構(gòu)、甚至還有附件信息。直接拿一個(gè)純文本的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型學(xué)到的只是字面意思學(xué)不到垃圾郵件的行為模式。所以數(shù)據(jù)集在設(shè)計(jì)時(shí)就必須保留足夠豐富的字段但又不能把原始郵件原封不動(dòng)丟進(jìn)去否則隱私合規(guī)這一關(guān)就過(guò)不去。第二個(gè)問(wèn)題是標(biāo)簽質(zhì)量。垃圾郵件分類是一個(gè)典型的二元分類問(wèn)題但兩類樣本的邊界在現(xiàn)實(shí)中非常模糊。營(yíng)銷(xiāo)郵件算不算垃圾帶退訂鏈接的算不算純圖片型廣告郵件怎么標(biāo)注這些問(wèn)題如果沒(méi)有一套明確的標(biāo)注規(guī)范最終做出來(lái)的數(shù)據(jù)集就是給模型喂噪聲。第三個(gè)問(wèn)題是泛化能力。國(guó)內(nèi)外的垃圾郵件在語(yǔ)言習(xí)慣、詐騙話術(shù)、內(nèi)容主題上差異巨大。單一語(yǔ)言的語(yǔ)料只能讓模型在特定場(chǎng)景下好用做不到跨語(yǔ)言遷移。所以這次構(gòu)建數(shù)據(jù)集的時(shí)候我把多語(yǔ)言樣本作為硬性要求之一中文、英文、以及部分歐洲語(yǔ)種的郵件都按比例納入了。1.2 數(shù)據(jù)集定位與技術(shù)選型邏輯明確了需求之后技術(shù)選型就順理成章了。存儲(chǔ)格式選擇CSV而不是JSON或者數(shù)據(jù)庫(kù)主要考慮兩點(diǎn)一是CSV對(duì)訓(xùn)練管線友好pandas直接讀取切成DataFrame就能做數(shù)據(jù)清洗不需要額外的解析邏輯二是CSV天然適合人工審查Excel或者任意文本編輯器都能打開(kāi)標(biāo)簽校驗(yàn)成本低。對(duì)于萬(wàn)級(jí)到十萬(wàn)級(jí)規(guī)模的數(shù)據(jù)集CSV的性能完全不是瓶頸。標(biāo)簽采用二元分類即0代表正常郵件ham1代表垃圾郵件spam這是文本分類中最穩(wěn)的起點(diǎn)。不要一上來(lái)就搞垃圾郵件/釣魚(yú)郵件/營(yíng)銷(xiāo)郵件/正常郵件四分類因?yàn)轭悇e之間邊界模糊標(biāo)注一致性很難保證而且貝葉斯錯(cuò)誤率會(huì)非常高。先做好二分類如果業(yè)務(wù)確實(shí)需要細(xì)分可以在二分類的基礎(chǔ)上再做一次聚類或者規(guī)則細(xì)分。模型選型上我最終以BERT微調(diào)作為主路徑。原因也很直接預(yù)訓(xùn)練語(yǔ)言模型對(duì)語(yǔ)義理解的泛化能力遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)TF-IDF加邏輯回歸的組合尤其是在釣魚(yú)郵件這種需要讀懂話術(shù)意圖的場(chǎng)景里語(yǔ)義級(jí)特征比詞頻統(tǒng)計(jì)可靠得多。提示如果你的數(shù)據(jù)集規(guī)模只有幾百條別碰BERT老老實(shí)實(shí)用TF-IDF加邏輯回歸或者樸素貝葉斯效果反而更好。深度學(xué)習(xí)模型的收益需要數(shù)據(jù)量支撐盲目上大模型只會(huì)得到過(guò)擬合和一片紅的顯存報(bào)錯(cuò)。2. 數(shù)據(jù)集構(gòu)建從原始郵件到高質(zhì)量CSV2.1 CSV字段設(shè)計(jì)與樣本格式數(shù)據(jù)集的字段設(shè)計(jì)是整個(gè)工程的骨架。我這次采用的字段結(jié)構(gòu)如下字段名類型說(shuō)明idstring樣本唯一標(biāo)識(shí)脫敏后生成subjectstring郵件主題已去除個(gè)人隱私信息bodytext郵件正文已去除HTML標(biāo)簽和PIIlanguagestring語(yǔ)言代碼如zh、en、de、frlabelint二元標(biāo)簽0為正常1為垃圾sourcestring數(shù)據(jù)來(lái)源分類僅用于內(nèi)部審計(jì)timestampstring脫敏后的時(shí)間戳精確到天這里有幾個(gè)細(xì)節(jié)值得單獨(dú)說(shuō)。正文字段我保存的是清洗后的純文本而不是原始HTML。原因有兩個(gè)一是BERT的輸入是token序列HTML標(biāo)簽除了極少數(shù)特殊場(chǎng)景外基本是噪聲二是原始HTML中包含大量用戶追蹤像素、個(gè)性化鏈接和隱藏的元數(shù)據(jù)這些都屬于隱私敏感信息必須在入庫(kù)前剝離。實(shí)測(cè)下來(lái)去掉HTML后用正則做一輪基礎(chǔ)清洗模型的F1分?jǐn)?shù)比直接用原始HTML高出大概2到3個(gè)百分點(diǎn)效果非常明顯。subject字段保留了因?yàn)猷]件的主題行往往是判斷垃圾郵件的最強(qiáng)信號(hào)之一。典型的垃圾郵件主題喜歡用限時(shí)優(yōu)惠中獎(jiǎng)通知您的訂單已發(fā)貨這類高誘惑詞匯而正常郵件的主題通常更克制。讓模型同時(shí)看到主題和正文等于給了它兩組互補(bǔ)特征。脫敏后的時(shí)間戳也很重要。如果你的訓(xùn)練集和測(cè)試集切分不當(dāng)比如按照時(shí)間切分時(shí)讓測(cè)試集的時(shí)間范圍落在訓(xùn)練集之前就會(huì)引入數(shù)據(jù)泄漏。保留時(shí)間戳字段方便做時(shí)間序列驗(yàn)證。2.2 二元分類標(biāo)簽的標(biāo)注策略與質(zhì)量控制標(biāo)簽標(biāo)注是整個(gè)數(shù)據(jù)集中最費(fèi)體力、也最決定上限的環(huán)節(jié)。我采用的標(biāo)注策略是三階段流程初標(biāo)、復(fù)審、抽檢。初標(biāo)階段標(biāo)注人員只做一件事判斷是否垃圾郵件拒絕做任何主觀細(xì)分。這聽(tīng)起來(lái)簡(jiǎn)單但實(shí)際執(zhí)行時(shí)會(huì)有大量灰色樣本。我的處理原則是不確定就標(biāo)注為疑似單獨(dú)拎出來(lái)討論絕不硬著頭皮給出文件標(biāo)簽。營(yíng)銷(xiāo)郵件就是典型的灰色地帶大部分用戶會(huì)覺(jué)得是騷擾但從平臺(tái)規(guī)則角度它又確實(shí)是用戶主動(dòng)訂閱的。這種樣本需要單獨(dú)標(biāo)記避免污染核心分類任務(wù)的標(biāo)簽分布。復(fù)審階段我會(huì)隨機(jī)抽取約20%的已標(biāo)注樣本由另一組人獨(dú)立重新標(biāo)注然后計(jì)算標(biāo)注一致性。如果兩人對(duì)某一條樣本的判斷不一致這條樣本會(huì)被標(biāo)記為爭(zhēng)議樣本進(jìn)入仲裁。仲裁規(guī)則很簡(jiǎn)單爭(zhēng)議樣本如果占整體比例超過(guò)3%說(shuō)明標(biāo)注指南本身有問(wèn)題需要先修正指南再繼續(xù)。抽檢階段用規(guī)則做輔助校驗(yàn)。比如正文中包含大量退款轉(zhuǎn)賬驗(yàn)證碼等關(guān)鍵詞但標(biāo)簽是0的樣本全部拉出來(lái)人工復(fù)查。這里的原因很實(shí)際釣魚(yú)郵件和正常郵件在高頻詞分布上有重疊如果人工標(biāo)注時(shí)只看主題不看正文鏈接很容易漏掉釣魚(yú)特征。注意不要迷信開(kāi)源數(shù)據(jù)集自帶的標(biāo)簽。很多公開(kāi)郵件語(yǔ)料庫(kù)的標(biāo)簽標(biāo)注標(biāo)準(zhǔn)非常隨意有的甚至只用發(fā)件域名來(lái)判別這會(huì)導(dǎo)致標(biāo)簽噪聲極高。自己構(gòu)建數(shù)據(jù)集時(shí)寧可樣本量小一點(diǎn)也要保證標(biāo)簽質(zhì)量。臟標(biāo)簽對(duì)模型上限的影響遠(yuǎn)大于樣本數(shù)量不足的影響。2.3 多語(yǔ)言樣本的構(gòu)建細(xì)節(jié)多語(yǔ)言NLP樣本不是簡(jiǎn)單地把不同語(yǔ)言的郵件丟進(jìn)同一個(gè)CSV里就完事。如果直接混合訓(xùn)練你會(huì)發(fā)現(xiàn)模型在參數(shù)量不增加的情況下每種語(yǔ)言的表現(xiàn)在單獨(dú)評(píng)測(cè)時(shí)都不如同等規(guī)模的單語(yǔ)模型因?yàn)樵~表被稀釋了。我這次的處理方式是分層采樣。先說(shuō)目標(biāo)比例中文約40%、英文約40%、其他歐洲語(yǔ)言約20%覆蓋德、法、西、意四種語(yǔ)言每種語(yǔ)言各5%左右。然后在BERT微調(diào)時(shí)使用多語(yǔ)言預(yù)訓(xùn)練模型而不是分別訓(xùn)練多個(gè)單語(yǔ)模型。這樣一來(lái)模型可以共享底層的通用語(yǔ)言表征跨語(yǔ)言時(shí)只需要少量目標(biāo)語(yǔ)言樣本做適配。在構(gòu)建多語(yǔ)言樣本時(shí)有三個(gè)細(xì)節(jié)非常容易被忽略。第一同一個(gè)語(yǔ)義內(nèi)容的垃圾郵件在不同語(yǔ)言里表達(dá)方式完全不同不要嘗試做翻譯對(duì)齊。翻譯過(guò)來(lái)的樣本帶有強(qiáng)烈的翻譯腔模型學(xué)到的不是真實(shí)語(yǔ)境中的垃圾郵件語(yǔ)感而是翻譯噪聲。第二字符編碼處理。中文郵件經(jīng)?；煊腥前虢欠?hào)英文郵件里又有各種Unicode變體。入庫(kù)前統(tǒng)一做NFKC歸一化避免${和$被當(dāng)成兩個(gè)不同token。第三時(shí)區(qū)和文化差異。歐美地區(qū)的垃圾郵件高峰和中文地區(qū)完全不同促銷(xiāo)郵件在黑色星期五前后暴增國(guó)內(nèi)則是在雙十一前后。如果數(shù)據(jù)集構(gòu)建時(shí)不做時(shí)間段上的均勻采樣模型容易學(xué)到時(shí)間段這種虛假特征。import pandas as pd df pd.read_csv(email_dataset.csv) df[body_length] df[body].str.len() print(df.groupby(language)[label].value_counts(normalizeTrue))這段代碼是用來(lái)檢查各語(yǔ)言下標(biāo)簽分布是否均衡的。如果發(fā)現(xiàn)某一種語(yǔ)言下垃圾郵件占比明顯偏高或偏低需要回到原始語(yǔ)料里去重新采樣而不是直接在訓(xùn)練時(shí)做樣本加權(quán)。因?yàn)闃颖炯訖?quán)只能調(diào)整損失函數(shù)的數(shù)值改變不了模型對(duì)該語(yǔ)言語(yǔ)義特征的建模質(zhì)量。2.4 GDPR合規(guī)處理流程GDPR合規(guī)是整個(gè)項(xiàng)目里最容易被忽略、但一旦出錯(cuò)后果最嚴(yán)重的部分。郵件數(shù)據(jù)幾乎天然包含個(gè)人數(shù)據(jù)姓名、郵箱地址、電話號(hào)碼、甚至郵件正文里可能出現(xiàn)的身份證號(hào)和銀行賬號(hào)。如果這些數(shù)據(jù)直接進(jìn)入訓(xùn)練集不僅違反隱私保護(hù)原則在真實(shí)業(yè)務(wù)場(chǎng)景里還會(huì)帶來(lái)法律風(fēng)險(xiǎn)。我的合規(guī)處理流程分四步每一步都單獨(dú)驗(yàn)證。第一步是PII識(shí)別與剔除。先用正則和實(shí)體識(shí)別模型掃描所有字段把郵箱地址、手機(jī)號(hào)、地址、人名等個(gè)人信息的出現(xiàn)位置標(biāo)記出來(lái)。標(biāo)記之后直接替換為占位符比如[EMAIL]、[PHONE]而不是刪除整段內(nèi)容。保留占位符的目的是讓模型知道這里有一個(gè)實(shí)體出現(xiàn)但不知道具體實(shí)體是什么。這一步在釣魚(yú)郵件識(shí)別場(chǎng)景里尤其關(guān)鍵因?yàn)楹芏嗬]件恰好是圍繞郵箱前綴猜測(cè)和定向稱呼來(lái)構(gòu)建的。第二步是差分隱私加噪。不需要整個(gè)數(shù)據(jù)集都做嚴(yán)格的差分隱私這會(huì)破壞語(yǔ)義完整性。我采用的是輕量級(jí)方案在文本向量化的過(guò)程中以極低概率對(duì)高頻詞做詞替換操作破壞可能的指紋關(guān)聯(lián)。實(shí)測(cè)下來(lái)詞替換比例控制在1%以下時(shí)BERT微調(diào)的效果下降可以忽略但外部攻擊者通過(guò)交叉比對(duì)還原個(gè)人信息的難度會(huì)顯著上升。第三步是數(shù)據(jù)最小化。CSV里只保留任務(wù)必需的字段上文提到的八個(gè)字段就是最終保留的全部?jī)?nèi)容。任何與分類任務(wù)無(wú)關(guān)的字段比如郵件原文的完整頭信息、用戶客戶端類型、IP地址一律不入庫(kù)。第四步是訪問(wèn)控制和審計(jì)留存。數(shù)據(jù)集文件本身做了字段級(jí)加密只有通過(guò)內(nèi)部授權(quán)的訓(xùn)練環(huán)境才能讀取。同時(shí)保留source字段用于內(nèi)部審計(jì)追蹤但source字段只記錄數(shù)據(jù)來(lái)源類別不記錄任何個(gè)人標(biāo)識(shí)。提示如果你的訓(xùn)練數(shù)據(jù)來(lái)自公開(kāi)的郵件語(yǔ)料庫(kù)不要以為公開(kāi)可得就等于合規(guī)可用。公開(kāi)語(yǔ)料庫(kù)中的轉(zhuǎn)發(fā)鏈本身就攜帶大量第三方個(gè)人信息必須做同樣的PII清洗否則數(shù)據(jù)集發(fā)布后任何人的個(gè)人信息被識(shí)別出來(lái)責(zé)任都在數(shù)據(jù)處理者身上。3. 深度學(xué)習(xí)模型訓(xùn)練BERT微調(diào)實(shí)操記錄3.1 數(shù)據(jù)準(zhǔn)備切分、清洗、tokenization數(shù)據(jù)準(zhǔn)備好之后正式進(jìn)入訓(xùn)練環(huán)節(jié)。第一步是數(shù)據(jù)切分這里有一個(gè)非常關(guān)鍵的決策不能全量隨機(jī)切分因?yàn)橥环忄]件的變體可能會(huì)出現(xiàn)在多個(gè)樣本里。我遇到的實(shí)際情況是很多垃圾郵件是模板生成的同一模板會(huì)衍生出幾十封僅有細(xì)微差別的變體郵件。如果隨機(jī)切分很有可能同一模板的變體同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里導(dǎo)致驗(yàn)證集的指標(biāo)嚴(yán)重虛高。我采用的切分策略是先按郵件模板的哈希值做去重只保留每個(gè)模板下的一到兩條代表性樣本然后對(duì)去重后的數(shù)據(jù)按照時(shí)間先后排序前80%做訓(xùn)練后20%做驗(yàn)證。這種切分方式更接近真實(shí)場(chǎng)景——你永遠(yuǎn)是在用歷史數(shù)據(jù)預(yù)測(cè)未來(lái)到達(dá)的郵件。Tokenization方面直接使用BERT對(duì)應(yīng)語(yǔ)種的tokenizer即可但我增加了兩個(gè)自定義處理。第一個(gè)是超長(zhǎng)文本截?cái)嗖呗浴ERT的序列長(zhǎng)度通常限制在512個(gè)token以內(nèi)而郵件正文很容易超過(guò)這個(gè)長(zhǎng)度。我的處理是不從頭截?cái)喽遣捎檬锥渭游捕纹唇拥牟呗员Ａ羟?28個(gè)token和后256個(gè)token中間的丟棄。原因很實(shí)際垃圾郵件的關(guān)鍵信息大多在開(kāi)頭和結(jié)尾開(kāi)頭是營(yíng)銷(xiāo)話術(shù)結(jié)尾是行動(dòng)號(hào)召和鏈接引導(dǎo)中間往往是湊字?jǐn)?shù)的內(nèi)容。第二個(gè)是URL的特殊標(biāo)記處理。郵件正文中的URL本身是判斷垃圾郵件的重要特征比如短鏈接非常規(guī)域名批量參數(shù)的組合。但直接丟給tokenizer會(huì)被切得七零八落。我先把URL整體替換為[URL_0]、[URL_1]這種帶序號(hào)的占位符然后把URL特征域名長(zhǎng)度、是否IP直連、端口非常規(guī)程度等拼接到token序列的末尾作為附加特征。from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(bert-base-multilingual-cased) def tokenize_email(row): subject_tokens tokenizer.tokenize(row[subject])[:64] body_tokens tokenizer.tokenize(row[body]) head body_tokens[:128] tail body_tokens[-256:] if len(body_tokens) 384 else body_tokens[128:] final_tokens subject_tokens [[SEP]] head tail final_tokens final_tokens[:510] [[SEP]] return final_tokens這段代碼保存下來(lái)后面所有實(shí)驗(yàn)都復(fù)用同一個(gè)tokenization邏輯保證訓(xùn)練集和推理時(shí)的輸入分布完全一致。3.2 微調(diào)參數(shù)設(shè)計(jì)與實(shí)驗(yàn)過(guò)程BERT微調(diào)的參數(shù)選擇我推薦從相對(duì)保守的配置開(kāi)始。我這次使用的核心參數(shù)如下參數(shù)取值說(shuō)明模型bert-base-multilingual-cased多語(yǔ)言模型覆蓋中英德法西意最大序列長(zhǎng)度512配合首尾截?cái)嗖呗詁atch size16單卡顯存不夠時(shí)可降到8學(xué)習(xí)率2e-5BERT微調(diào)的標(biāo)準(zhǔn)起點(diǎn)warmup比例10%防止早期訓(xùn)練不穩(wěn)定epoch數(shù)3二分類任務(wù)3輪足夠再多會(huì)過(guò)擬合損失函數(shù)CrossEntropyLoss配合類別權(quán)重處理類別不平衡訓(xùn)練過(guò)程我記錄幾個(gè)關(guān)鍵觀察點(diǎn)這些是文檔里不會(huì)寫(xiě)的。第一輪epoch結(jié)束后我觀察到訓(xùn)練集準(zhǔn)確率已經(jīng)接近95%但驗(yàn)證集只有88%左右。這個(gè)差距不是過(guò)擬合而是前面提到的模板變體問(wèn)題訓(xùn)練集里雖然做了模板去重但驗(yàn)證集中仍然有大量全新模板模型對(duì)未見(jiàn)模板的泛化能力還不足。這時(shí)候不要慌更不要提前停止訓(xùn)練讓模型跑完三輪再看。第二輪epoch開(kāi)始驗(yàn)證集指標(biāo)明顯爬升說(shuō)明模型逐步學(xué)會(huì)了模板之外的語(yǔ)義級(jí)特征比如內(nèi)容空洞但強(qiáng)調(diào)緊迫性這類話術(shù)模式。第三輪結(jié)束時(shí)驗(yàn)證集F1穩(wěn)定在0.93左右。對(duì)比實(shí)驗(yàn)里直接用原始文本不做首尾截?cái)嗟姆桨窮1只有0.89說(shuō)明針對(duì)郵件形態(tài)的預(yù)處理策略確實(shí)有效。注意BERT微調(diào)最忌諱頻繁調(diào)整學(xué)習(xí)率。只要loss曲線沒(méi)有出現(xiàn)劇烈震蕩就讓它跑完。我見(jiàn)過(guò)太多人因?yàn)轵?yàn)證集loss輕微上漲就立刻調(diào)參結(jié)果永遠(yuǎn)在訓(xùn)練的前1000步里打轉(zhuǎn)。3.3 釣魚(yú)郵件識(shí)別的專項(xiàng)優(yōu)化釣魚(yú)郵件和普通垃圾郵件雖然share同一個(gè)二元標(biāo)簽體系但它的識(shí)別難度完全不同。普通垃圾郵件靠高頻詞匯就能識(shí)別釣魚(yú)郵件則需要模型理解意圖。釣魚(yú)郵件的典型特征是模仿正常通信冒充銀行、冒充物流公司、冒充內(nèi)部IT部門(mén)。它們?cè)谠~匯層面和正常郵件的重合度極高必須依賴更細(xì)粒度的特征才能區(qū)分。我在這個(gè)項(xiàng)目里做了三層專項(xiàng)優(yōu)化效果比較明顯。第一層是發(fā)件人特征增強(qiáng)。在模型輸入序列的最前面拼接一段特殊的發(fā)件域信息用[FROM_DOMAIN]標(biāo)記。釣魚(yú)郵件最顯著的特征之一是發(fā)件域名的偽裝比如用rnicrosoft.com冒充microsoft.com。BERT本身無(wú)法直接識(shí)別這種視覺(jué)混淆但把這個(gè)信息顯式輸入后模型可以學(xué)到域名真實(shí)性和正文話術(shù)之間的匹配關(guān)系。第二層是鏈接行為特征。釣魚(yú)郵件的正文里通常有一個(gè)點(diǎn)我了解詳情按鈕鏈接指向的卻是完全無(wú)關(guān)的域名。我在數(shù)據(jù)預(yù)處理階段把這些鏈接的落地頁(yè)域名和郵件正文里的聲稱來(lái)源提取出來(lái)計(jì)算兩者的語(yǔ)義相似度相似度分?jǐn)?shù)作為附加特征拼入輸入。這個(gè)特征對(duì)釣魚(yú)郵件的識(shí)別率提升非常顯著F1從0.93提升到了0.96。第三層是緊急催辦類話術(shù)識(shí)別。真實(shí)的釣魚(yú)郵件幾乎都有一個(gè)共性制造緊迫感要求用戶在極短時(shí)間內(nèi)操作。24小時(shí)內(nèi)不處理您的賬戶將被凍結(jié)這種話術(shù)正常業(yè)務(wù)郵件很少使用。我檢查了BERT的注意力分布發(fā)現(xiàn)模型確實(shí)學(xué)會(huì)了把注意力集中在表示時(shí)間壓力和行為壓力等詞匯上這證實(shí)了預(yù)訓(xùn)練模型本身就具備這類語(yǔ)義理解能力只需要訓(xùn)練數(shù)據(jù)里提供足夠多的正例樣本。4. 算法優(yōu)化從基線到高精度分類器4.1 基線實(shí)驗(yàn)與對(duì)比分析任何模型實(shí)驗(yàn)都應(yīng)該從基線開(kāi)始。我這次跑了三個(gè)基線分別是傳統(tǒng)TF-IDF加邏輯回歸、一個(gè)輕量級(jí)的蒸餾BERT模型、以及完整版的多語(yǔ)言BERT。對(duì)比結(jié)果驚醒了很多人。模型驗(yàn)證集F1單條推理耗時(shí)備注TF-IDF 邏輯回歸0.860.5ms高頻詞特征為主蒸餾BERT6層0.908ms速度與效果折中多語(yǔ)言BERT完整0.9320ms語(yǔ)義理解最強(qiáng)多語(yǔ)言BERT 鏈接特征0.9622ms最終方案這個(gè)對(duì)比告訴我們兩件事。第一如果你的業(yè)務(wù)對(duì)延遲敏感、對(duì)GPU資源有嚴(yán)格限制蒸餾BERT已經(jīng)能覆蓋絕大多數(shù)場(chǎng)景0.90的F1在真實(shí)業(yè)務(wù)中已經(jīng)可以攔截絕大部分垃圾郵件。第二完整版BERT多出來(lái)的0.03到0.06個(gè)點(diǎn)的F1來(lái)自對(duì)語(yǔ)義細(xì)節(jié)的把控而這種把控恰恰是釣魚(yú)郵件識(shí)別這種難任務(wù)最需要的。如果只是單純做促銷(xiāo)郵件攔截蒸餾版完全夠用。4.2 類別不平衡問(wèn)題的處理垃圾郵件數(shù)據(jù)集天然存在類別不平衡因?yàn)檎鎸?shí)環(huán)境中正常郵件總是占多數(shù)。我這次的數(shù)據(jù)集中正常郵件占比約60%垃圾郵件占比約40%這個(gè)比例相對(duì)健康。但如果你的數(shù)據(jù)來(lái)源不同垃圾郵件占比可能會(huì)降到10%以下就必須做處理。我推薦的方案優(yōu)先級(jí)是先做數(shù)據(jù)層面的重采樣再做損失函數(shù)層面的調(diào)整。重采樣時(shí)不要簡(jiǎn)單復(fù)制少數(shù)類樣本過(guò)采樣因?yàn)檫^(guò)擬合風(fēng)險(xiǎn)極高。我的做法是對(duì)少數(shù)類樣本做基于同義替換的增強(qiáng)比如把中獎(jiǎng)替換為獲獎(jiǎng)把免費(fèi)替換為贈(zèng)送生成語(yǔ)義不變但token不同的新樣本。這種做法在BERT時(shí)代依然有效因?yàn)樗鼜?qiáng)迫模型關(guān)注語(yǔ)義不變的底層特征而不是記住某個(gè)特定詞匯。數(shù)據(jù)增強(qiáng)無(wú)法彌補(bǔ)時(shí)再考慮損失函數(shù)層面的方案。在CrossEntropyLoss中設(shè)置類別權(quán)重讓少數(shù)類的梯度貢獻(xiàn)更大。我實(shí)測(cè)下來(lái)類別權(quán)重設(shè)為[0.7, 1.3]時(shí)效果最好進(jìn)一步加大權(quán)重會(huì)導(dǎo)致正常郵件的召回率下降。4.3 推理階段的速度優(yōu)化訓(xùn)練完成的模型最終要部署到實(shí)際業(yè)務(wù)里推理速度是繞不開(kāi)的話題。我實(shí)測(cè)的多語(yǔ)言BERT在純CPU環(huán)境下單條推理需要200ms以上這個(gè)速度在低延遲場(chǎng)景下不可接受。優(yōu)化路徑有三條我最終都采用了。第一條是量化。把模型從FP32量化到INT8推理速度提升約3倍F1下降不到0.5個(gè)百分點(diǎn)。對(duì)于垃圾郵件分類這種任務(wù)這個(gè)精度損失完全可以接受。第二條是批處理。實(shí)際業(yè)務(wù)中郵件是持續(xù)到達(dá)的不需要對(duì)每封郵件單獨(dú)推理。我設(shè)置了一個(gè)最多32條的小批次每100毫秒批量處理一次吞吐量提升顯著。第三條是規(guī)則前置過(guò)濾。約35%的極端明顯垃圾郵件可以靠極輕量的規(guī)則直接命中比如已知惡意域名、純圖片郵件、無(wú)正文內(nèi)容只有鏈接的郵件。這類郵件根本不進(jìn)入模型推理環(huán)節(jié)直接攔截。這樣既節(jié)省算力又降低模型被大量低質(zhì)量樣本干擾的概率。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 標(biāo)簽噪聲怎么排查標(biāo)簽噪聲是最隱蔽的問(wèn)題。模型訓(xùn)完后驗(yàn)證集F1很高但上線后實(shí)際效果卻明顯變差這往往是標(biāo)簽噪聲導(dǎo)致的模型偏差。我的排查方法是做標(biāo)簽置信度分析。把驗(yàn)證集樣本的預(yù)測(cè)概率輸出重點(diǎn)檢查模型給出0.9以上高置信度但預(yù)測(cè)錯(cuò)誤、以及0.4到0.6之間模糊區(qū)間的樣本。前者是標(biāo)簽可能標(biāo)錯(cuò)了后者是模型確實(shí)學(xué)得不夠好。逐條復(fù)查后我發(fā)現(xiàn)大約有1.8%的驗(yàn)證集樣本存在標(biāo)簽錯(cuò)誤修正后驗(yàn)證集F1直接從0.93提升到了0.95。還有一個(gè)技巧用模型預(yù)測(cè)結(jié)果和原始標(biāo)注做交叉比對(duì)把不一致的樣本全部導(dǎo)出按照模型正確、標(biāo)注錯(cuò)誤和標(biāo)注正確、模型錯(cuò)誤分類。前者幫我們修正數(shù)據(jù)集后者幫我們定位模型的薄弱場(chǎng)景比如高仿品牌的促銷(xiāo)郵件或含大量英文縮寫(xiě)的中文郵件。5.2 BERT訓(xùn)練中的常見(jiàn)坑顯存不足是第一個(gè)坑。512序列長(zhǎng)度加batch size 16在單張12GB顯卡上勉強(qiáng)裝下如果用更大的模型或者更長(zhǎng)的長(zhǎng)度第一時(shí)間考慮梯度累積而不是直接縮小batch size。梯度累積把有效batch size維持在16而顯存占用只需要4代價(jià)僅僅是訓(xùn)練速度稍慢。還有一個(gè)小技巧是開(kāi)啟gradient_checkpointing用時(shí)間換顯存效果立竿見(jiàn)影。第二個(gè)坑是序列輸入順序。很多人直接把subject body拼在一起就送進(jìn)模型但郵件主題和正文的語(yǔ)義重要性不同隨意拼接會(huì)讓模型把主題內(nèi)容也當(dāng)作正文來(lái)處理。用[CLS] subject [SEP] body [SEP]的結(jié)構(gòu)化輸入讓模型知道這是兩個(gè)獨(dú)立的語(yǔ)義段實(shí)測(cè)F1有直觀提升。第三個(gè)坑是epoch次數(shù)。BERT微調(diào)因?yàn)樽陨眍A(yù)訓(xùn)練模型強(qiáng)大的語(yǔ)言能力往往一兩輪就能夠在訓(xùn)練集上達(dá)到很好的效果但驗(yàn)證集指標(biāo)仍然在緩慢爬升。直接把epoch設(shè)為3到4輪比來(lái)回調(diào)學(xué)習(xí)率可靠得多。5.3 多語(yǔ)言模型評(píng)測(cè)時(shí)的隱藏問(wèn)題多語(yǔ)言模型有一個(gè)非常隱蔽的坑評(píng)測(cè)時(shí)按語(yǔ)言分組還是按整體評(píng)測(cè)結(jié)果差異很大。整體評(píng)測(cè)時(shí)如果中文樣本占多數(shù)F1會(huì)偏向中文表現(xiàn)掩蓋模型在低資源語(yǔ)言上的糟糕表現(xiàn)。正確做法是分語(yǔ)言獨(dú)立評(píng)測(cè)重點(diǎn)觀察每種語(yǔ)言的精確率和召回率是否均衡。我實(shí)測(cè)的模型就是這種情況。整體F1是0.93看著不錯(cuò)但分開(kāi)看時(shí)意大利語(yǔ)和法語(yǔ)的召回率明顯低于中文和英文原因是這兩種語(yǔ)言的訓(xùn)練樣本太少模型學(xué)不到足夠的語(yǔ)言特定特征。解決方法是針對(duì)這兩種語(yǔ)言做額外的樣本增強(qiáng)或者臨時(shí)加入一個(gè)對(duì)抗性語(yǔ)言分類器強(qiáng)制模型學(xué)習(xí)跨語(yǔ)言的通用特征。5.4 數(shù)據(jù)集發(fā)布前的最終檢查清單數(shù)據(jù)集發(fā)布或者投入生產(chǎn)之前我有幾條固定的檢查項(xiàng)建議你也用起來(lái)是否所有PII都已脫敏用正則掃描一遍[A-Za-z0-9._%-][A-Za-z0-9.-]\.[A-Za-z]{2,}這種模式確保郵箱地址已被替換。標(biāo)簽分布是否按語(yǔ)言分層且均衡逐語(yǔ)言打印標(biāo)簽統(tǒng)計(jì)表格確認(rèn)沒(méi)有某種語(yǔ)言出現(xiàn)極端偏差。是否包含模板去重后的變體污染跑一遍文本相似度聚類確保同一模板的變體沒(méi)有同時(shí)出現(xiàn)在訓(xùn)練和驗(yàn)證集。CSV編碼是否為UTF-8多語(yǔ)言場(chǎng)景下CSV文件如果不是UTF-8在其他環(huán)境中讀取必然亂碼。最后再分享一個(gè)實(shí)操中讓我印象很深的小技巧訓(xùn)練完成之后把模型預(yù)測(cè)置信度在0.85到0.95之間的樣本單獨(dú)抽取出來(lái)去觀察模型為什么猶豫。這類樣本往往是模型自己找到了我們沒(méi)意識(shí)到的噪音特征比如某個(gè)特定發(fā)件域名在訓(xùn)練集中幾乎全被標(biāo)為垃圾郵件而真實(shí)業(yè)務(wù)里這個(gè)域名卻是合法發(fā)件方。這種特征泄漏的排查遠(yuǎn)比調(diào)參更能提升模型的實(shí)際效果。做郵件過(guò)濾這一個(gè)方向久了你會(huì)越來(lái)越認(rèn)同一句話數(shù)據(jù)里的問(wèn)題最后都會(huì)在模型效果上暴露出來(lái)。與其反復(fù)折騰模型結(jié)構(gòu)不如多花時(shí)間把數(shù)據(jù)這層地基夯扎實(shí)。