做圖像分類項目時最扎心的不是模型選得不夠花而是標注數(shù)據(jù)根本不夠用。我去年接手一個真實業(yè)務(wù)場景總共只有不到一千張人工標注圖手里卻壓著幾十萬張完全沒標注的原始圖片。外包標一輪問了下報價直接放棄了。后來靠半監(jiān)督學(xué)習(xí)硬生生把分類準確率從78%拉到89%整個過程沒額外標過一張圖。今天就把這套圖像分類半監(jiān)督學(xué)習(xí)的完整思路和實操經(jīng)驗整理出來核心方法怎么拆解、損失函數(shù)怎么設(shè)、訓(xùn)練時踩過哪些坑、什么情況下別硬上一條條說清楚你們可以直接拿著調(diào)。1. 半監(jiān)督學(xué)習(xí)的核心思路與方案選型1.1 為什么要用半監(jiān)督學(xué)習(xí)標注瓶頸才是真問題很多人一提到圖像分類第一反應(yīng)就是堆數(shù)據(jù)、上大模型。但真實項目里干凈、準確、覆蓋所有類別分布的標注數(shù)據(jù)永遠是稀缺資源。標注成本高不只是錢的問題還有時間成本醫(yī)學(xué)影像需要專業(yè)醫(yī)生逐張看工業(yè)質(zhì)檢缺陷圖需要老師傅確認電商圖片需要熟悉商品體系的人打標。這個過程又慢又貴而且標注質(zhì)量不穩(wěn)定返工率高。反過來看無標注數(shù)據(jù)幾乎遍地都是。監(jiān)控視頻抽幀、服務(wù)器上積壓的歷史圖片、爬蟲采集的公開圖像、生產(chǎn)線自動拍攝的樣張這些數(shù)據(jù)沒有標簽但數(shù)量可能是標注數(shù)據(jù)的幾百倍。半監(jiān)督學(xué)習(xí)解決的就是這個問題利用大量無標注數(shù)據(jù)來提升模型的泛化能力讓模型在沒有額外標注的情況下把分類邊界學(xué)得更準。它的適用人群也很明確手里有少量干凈標注數(shù)據(jù)、同時有大量無標注數(shù)據(jù)、但預(yù)算不足以繼續(xù)擴標注集的工程師和研究者。如果你已經(jīng)有十萬張完美標注的數(shù)據(jù)那直接走監(jiān)督學(xué)習(xí)就行半監(jiān)督的收益邊際不大。反過來如果標注只有幾百張、每類幾十張半監(jiān)督幾乎是你成本最低的提點手段。1.2 半監(jiān)督到底在學(xué)什么三個基礎(chǔ)假設(shè)要理解半監(jiān)督學(xué)習(xí)必須弄明白它依賴的三個前提假設(shè)。這些假設(shè)既是方法有效性的來源也是翻車的原因。第一個是聚類假設(shè)。同類樣本在特征空間中應(yīng)當(dāng)彼此靠近。如果兩個樣本的特征表示很接近那它們的類別大概率相同。模型可以利用無標注數(shù)據(jù)來感知這種聚集結(jié)構(gòu)讓決策邊界更貼合數(shù)據(jù)分布。第二個是平滑假設(shè)。在數(shù)據(jù)分布的高密度區(qū)域決策邊界應(yīng)當(dāng)是平滑的。也就是說對特征空間中的某個樣本做小擾動其預(yù)測結(jié)果不應(yīng)發(fā)生劇烈變化。這給了半監(jiān)督方法一個操作抓手讓模型對“變形后的同一張圖”也保持穩(wěn)定輸出。第三個是低密度分離假設(shè)。不同類別之間的決策邊界應(yīng)該穿過數(shù)據(jù)密度較低的區(qū)域。如果模型能把大量無標注樣本分到明確的類別簇中而類別之間的空白地帶沒有樣本那說明分類邊界大概率是對的。這三個假設(shè)用大白話講就是長得像的應(yīng)該歸一類、換了個說法意思不變、類別中間最好留出空地。所有半監(jiān)督方法本質(zhì)上都是在用不同方式讓模型滿足這些假設(shè)。1.3 三條技術(shù)路線和我的選型建議目前圖像分類半監(jiān)督主流有三條技術(shù)路線。第一條是一致性正則代表思路有 Π-Model、Temporal Ensembling、Mean Teacher。核心做法是對同一個輸入做兩次不同的隨機增強要求模型輸出一致。這種方式不依賴偽標簽但收斂慢對增強策略敏感。第二條是偽標簽法也就是自訓(xùn)練。先用標注數(shù)據(jù)訓(xùn)練一個模型對無標注數(shù)據(jù)預(yù)測出偽標簽挑高置信度的樣本加入訓(xùn)練集迭代循環(huán)。實現(xiàn)簡單但存在確認偏差問題模型一旦預(yù)測錯了錯誤會反復(fù)自我強化。第三條是混合方案把兩者結(jié)合起來比如 FixMatch 這類思路。弱增強生成偽標簽強增強輸入模型訓(xùn)練兩者用同一個模型?，F(xiàn)在學(xué)術(shù)界和工業(yè)界的基線基本都錨定這一方向。我的實際選型建議是如果無標注數(shù)據(jù)量很大、但標注數(shù)據(jù)每類只有幾十張優(yōu)先嘗試混合方案性價比最高。如果標注數(shù)據(jù)稍微充足一些但計算資源有限一致性正則也夠用。偽標簽法最容易實現(xiàn)但必須要配高置信度閾值和較強的數(shù)據(jù)增強否則很容易訓(xùn)練崩。2. 關(guān)鍵方法拆解一致性正則與偽標簽是怎么干活的2.1 一致性正則的直觀理解與損失設(shè)計一致性正則的思想非常樸素。你給模型看一張貓的照片模型說這是貓你把照片水平翻轉(zhuǎn)、輕微裁剪、調(diào)一下亮度再讓模型看模型還是應(yīng)該說這是貓。對無標注數(shù)據(jù)來說我們不知道它到底是什么類別但我們知道同一張圖的不同增強版本類別一定相同。這個約束落到損失函數(shù)上就是讓模型對兩個增強版本的預(yù)測分布盡量一致。常見的做法是算兩個預(yù)測分布之間的 KL 散度或交叉熵。以 Mean Teacher 思路為例一個學(xué)生模型做梯度更新一個教師模型用學(xué)生權(quán)重的指數(shù)移動平均來維護訓(xùn)練時讓學(xué)生模型的預(yù)測去逼近教師模型的預(yù)測同時學(xué)生模型也接受有標注數(shù)據(jù)的監(jiān)督損失。教師模型的輸出比單次預(yù)測更穩(wěn)定相當(dāng)于給學(xué)生提供了更可靠的學(xué)習(xí)目標。實操中有一個需要注意的點一致性正則的損失權(quán)重不能從一開始就拉滿否則模型還沒學(xué)好特征就先被“一致性”給僵住了。我常用的做法是前若干個 epoch 讓監(jiān)督損失主導(dǎo)無監(jiān)督損失權(quán)重從一個很小的值逐漸上升到目標值類似一個升溫過程。2.2 偽標簽的流程、閾值與確認偏差偽標簽法就更好理解了。模型先在標注數(shù)據(jù)上學(xué)出初始能力然后對無標注數(shù)據(jù)做預(yù)測把置信度高的預(yù)測結(jié)果當(dāng)作“偽標簽”加入訓(xùn)練。聽上去很簡單但這里有個致命的坑確認偏差。模型對某個樣本如果第一次就預(yù)測錯了而且置信度還很高那么把它當(dāng)偽標簽訓(xùn)練等于把錯誤再教一遍。等到下一輪迭代模型對這類樣本的錯誤傾向會更強。幾輪下來模型就徹底被自己帶偏了。應(yīng)對確認偏差的手段主要是兩個方向。一是設(shè)置高置信度閾值比如只有 max 概率超過 0.95 的偽標簽才參與訓(xùn)練。閾值高雖然會丟掉很多候選樣本但留下的偽標簽整體可靠性更高。二是增加偽標簽的噪聲容忍度比如把硬標簽改成軟標簽用模型預(yù)測的概率分布直接做監(jiān)督信號這樣即使預(yù)測不完全正確梯度也不至于太“狠”。我在實際操作中通常先用高閾值跑通一個版本再考慮軟標簽變體。2.3 為什么最終選 FixMatch 思路而不是 Mean Teacher 或 MixMatch我在項目里最終采用的是 FixMatch 這一類混合思路。它的關(guān)鍵設(shè)計是對無標注圖片打兩次增強一個弱增強、一個強增強。弱增強版本送入模型得到預(yù)測分布取 argmax 和對應(yīng)的置信度如果置信度超過閾值就把這個 argmax 當(dāng)作偽標簽然后用強增強版本作為輸入讓模型預(yù)測去擬合這個偽標簽。整個過程只有一個模型、一份無監(jiān)督損失實現(xiàn)起來非常干凈。這里弱增強和強增強的分工特別關(guān)鍵。弱增強的目的是生成相對可靠的偽標簽所以擾動幅度要小不能讓模型“看花了眼”。強增強的目的是讓模型在更大的數(shù)據(jù)擾動范圍內(nèi)保持穩(wěn)定所以要足夠“狠”逼模型去學(xué)習(xí)真正的語義特征而不是淺層的像素模式。我測試下來弱增強通常用隨機水平翻轉(zhuǎn)和裁剪強增強用 RandAugment 或 AutoAugment 加 CutOut效果比較穩(wěn)。為什么不選 Mean Teacher因為雙模型結(jié)構(gòu)訓(xùn)練成本高且 EMA 更新需要額外調(diào)參收斂速度慢。為什么不選 MixMatch它用了多個增強分支和標簽銳化性能不錯但復(fù)雜度高工程上維護成本偏高。FixMatch 思路在效果和實現(xiàn)復(fù)雜度之間最平衡特別適合這類“標注少、無標注多”的真實場景。方法思路核心機制優(yōu)點代價一致性正則Mean Teacher學(xué)生模型逼近 EMA 教師輸出目標穩(wěn)定無需偽標簽訓(xùn)練慢雙模型成本高偽標簽Self-training高置信度偽標簽自舉實現(xiàn)簡單直接確認偏差風(fēng)險高混合方案FixMatch弱增強生成標簽強增強訓(xùn)練效果好實現(xiàn)干凈對增強策略和閾值敏感3. 實操過程從數(shù)據(jù)準備到訓(xùn)練收斂3.1 數(shù)據(jù)劃分與增強策略我拿一個公開的十類圖像數(shù)據(jù)集舉例類別數(shù)不多比較典型。假設(shè)每類只有 40 張標注圖總共 400 張標注數(shù)據(jù)另有 4 萬張無標注數(shù)據(jù)。先把標注集按 8:2 切出訓(xùn)練子集和驗證子集無標注數(shù)據(jù)不參與驗證和測試集劃分因為它的分布和標注集可能有偏移拿它做評估會虛高。數(shù)據(jù)加載時我把一個 batch 設(shè)計成兩部分一部分是標注樣本另一部分是無標注樣本。比如每個 batch 包含 64 張標注圖和 64 張無標注圖無標注圖又同時生成兩個版本弱增強版本和強增強版本。這樣一次前向計算就能同時拿到監(jiān)督損失和無監(jiān)督損失所需的全部輸入。弱增強我用隨機水平翻轉(zhuǎn)加隨機裁剪后縮放回原尺寸這是圖像分類里最常見的組合。強增強我用 RandAugment配合 CutOut。RandAugment 的幅度和操作數(shù)可以調(diào)整我常用幅度 10、操作數(shù) 2 起步如果發(fā)現(xiàn)無監(jiān)督損失下降困難再把幅度調(diào)小。CutOut 遮蔽的像素塊大小在 16 到 32 之間具體看圖像分辨率。3.2 損失函數(shù)、采樣配置與訓(xùn)練超參整體損失函數(shù)就是三部分相加監(jiān)督交叉熵損失、無監(jiān)督偽標簽交叉熵損失和一個權(quán)重系數(shù) λ。無監(jiān)督損失只在高置信度 mask 為真的樣本上計算這樣做的本質(zhì)是對偽標簽做了一次篩選。參數(shù)設(shè)置方面我給出一套經(jīng)過多次實驗驗證的初始配置優(yōu)化器SGDmomentum 0.9權(quán)重衰減 5e-4學(xué)習(xí)率0.03帶 5 個 epoch 的線性 warmup之后 cosine 衰減總訓(xùn)練輪數(shù)200 epoch無監(jiān)督損失權(quán)重 λ前 20 個 epoch 從 0 線性升到 1之后保持 1高置信度閾值0.95batch 構(gòu)成64 張標注圖 64 張無標注圖含強弱兩個版本EMA對模型參數(shù)做指數(shù)移動平均decay 0.999用于最終評估這里有個容易忽略的點無標注樣本的批次大小不要太少。半監(jiān)督的效果依賴無標注數(shù)據(jù)的多樣性batch 太小會導(dǎo)致偽標簽分布不穩(wěn)定訓(xùn)練震蕩。如果有顯存余量我建議無標注部分至少和標注部分一樣大。3.3 核心訓(xùn)練偽代碼我按 PyTorch 風(fēng)格整理一份核心訓(xùn)練邏輯把關(guān)鍵部分做了精簡方便理解整體流程for step, batch in enumerate(loader): # batch 包含標注圖像、標注標簽、無標注弱增強、無標注強增強 x_l, y_l, x_u_w, x_u_s batch # 1. 監(jiān)督損失 logits_l model(x_l) loss_s ce_loss(logits_l, y_l) # 2. 無監(jiān)督損失先獲取弱增強的預(yù)測結(jié)果 logits_u_w model(x_u_w) probs_u_w softmax(logits_u_w, dim1) conf, pseudo_label torch.max(probs_u_w, dim1) # 3. 高置信度樣本的 mask mask (conf threshold).float() # 4. 強增強版本的預(yù)測與偽標簽做交叉熵 logits_u_s model(x_u_s) loss_u ce_loss(logits_u_s, pseudo_label, reductionnone) loss_u (loss_u * mask).sum() / mask.sum().clamp(min1.0) # 5. 總損失 loss loss_s lambda_u * loss_u optimizer.zero_grad() loss.backward() optimizer.step()這條邏輯里最關(guān)鍵的就是 mask 的操作它直接決定了無監(jiān)督哪些樣本的反向傳播是激活的。我見過有人直接把所有樣本的無監(jiān)督損失都算進去結(jié)果低置信度樣本的噪聲把模型帶崩了。mask 的作用等價于只讓模型在“自己比較有把握”的樣本上吸收信息其余樣本干脆忽略。3.4 評估、模型保存與監(jiān)控指標訓(xùn)練過程中我保留一份單獨的標注驗證集每個 epoch 結(jié)束后用 EMA 模型跑一次驗證集準確率。EMA 模型的作用是平滑震蕩它的準確率通常比原始模型穩(wěn)定不少也更適合作為最終的預(yù)測版本。監(jiān)控指標我會同時記錄四類信息監(jiān)督損失值、無監(jiān)督損失值、偽標簽啟用比例即 mask 的平均值、驗證集準確率。偽標簽啟用比例是一個特別有用的早期預(yù)警信號。如果閾值設(shè)得太高可能大部分無標注樣本都被過濾掉了導(dǎo)致無監(jiān)督損失幾乎不更新整個半監(jiān)督分支形同虛設(shè)。如果這個比例長期在 90% 以上說明閾值設(shè)得太低偽標簽噪聲已經(jīng)被大量注入。模型保存方面我一般不只存最后一輪權(quán)重而是存驗證集準確率最高的 EMA 權(quán)重快照。這比“跑到最后一個 epoch 就收工”要穩(wěn)得多因為訓(xùn)練后期往往有些震蕩峰值往往在最后幾輪之前。4. 常見問題與排查技巧實錄4.1 無監(jiān)督損失不下降模型根本不收斂這個現(xiàn)象通常有兩種表現(xiàn)。一種是無監(jiān)督損失持續(xù)停在某個固定值附近波動另一種是驗證集準確率反而比純監(jiān)督基線還低。我排查的順序如下。先看偽標簽啟用比例。如果低于 10%說明高置信度閾值擋住了絕大多數(shù)樣本。原因可能是模型本身還沒學(xué)到足夠強的特征或者強增強太猛導(dǎo)致預(yù)測分布普遍低置信度。解決方法是把閾值從 0.95 降到 0.9 甚至 0.8 試一下同時把 RandAugment 的幅度調(diào)低。再看學(xué)習(xí)率。半監(jiān)督訓(xùn)練對學(xué)習(xí)率比純監(jiān)督更敏感學(xué)習(xí)率過大時模型很快震蕩過小時無監(jiān)督信息根本推不動模型。我在實際項目中碰到的多數(shù)情況是學(xué)習(xí)率偏大SGD 配 0.03 只是一個起點如果你用的是 Adam建議從 1e-3 往下調(diào)。最后確認無監(jiān)督數(shù)據(jù)分布是否和標注數(shù)據(jù)差距太大。如果無標注數(shù)據(jù)里混入了大量不屬于任何目標類別的圖片偽標簽無論怎么篩選都學(xué)不到有效信息。這時候需要先對無標注數(shù)據(jù)做一輪清洗或聚類把離群部分剔除。4.2 偽標簽噪聲太大模型被自己帶偏這里說的噪聲大不是指置信度閾值低而是即使置信度很高預(yù)測結(jié)果依然是錯的。高頻類別尤其容易出現(xiàn)這種現(xiàn)象模型對“狗”這類樣本見得多了把一些背景相似但不屬于狗的圖片也高置信度地標成狗。偽標簽和真實標簽不一致又互相強化就是典型的確認偏差。我的處理策略有三層。第一層是提升數(shù)據(jù)增強強度讓強增強真正制造出足夠的擾動逼模型必須依賴語義特征而非紋理背景。第二層是臨時凍結(jié)監(jiān)督分支先用純監(jiān)督損失訓(xùn)練 10 到 20 個 epoch讓模型初步收斂再打開無監(jiān)督分支。不要一開始就讓兩個分支同時優(yōu)化否則噪聲會污染早期特征學(xué)習(xí)。第三層是把硬偽標簽換成軟標簽即用模型的預(yù)測概率分布作為監(jiān)督目標而不是只取 argmax這樣可以在一定程度上緩解錯誤標簽的“過度自信”。如果上述手段都不理想還可以試試改變偽標簽的產(chǎn)生方式用一個 EMA 模型的輸出來生成偽標簽而不是用當(dāng)前快速更新的模型。EMA 模型變化慢輸出目標更穩(wěn)定能明顯降低噪聲波動。4.3 顯存翻倍與訓(xùn)練時間變長的問題半監(jiān)督訓(xùn)練相比純監(jiān)督訓(xùn)練最直接的工程代價就是多了一路強增強輸入。每個 batch 里無標注數(shù)據(jù)需要同時保存弱增強和強增強的中間特征顯存占用幾乎翻倍。訓(xùn)練時間也會因此變長。我的處理經(jīng)驗是分三步優(yōu)化。第一步是混精度訓(xùn)練模型前向和反向用 FP16 計算損失計算保留 FP32顯存和速度都能明顯改善。第二步是調(diào)整 batch 構(gòu)成不一定非得標注和無標注各 64可以把標注壓到 32、無標注保持 64這樣顯存壓力小一些整體效果損失不大。第三步是如果實在顯存不夠就把無監(jiān)督損失改成每隔一個 step 計算一次相當(dāng)于把無監(jiān)督更新的頻率減半雖然訓(xùn)練速度會變慢但至少能跑起來。這里還要提醒一句不要把無標注數(shù)據(jù)全部一股腦塞進內(nèi)存再預(yù)處理。最好用在線增強讓 GPU 邊訓(xùn)練邊處理否則數(shù)據(jù) IO 會成為新的瓶頸。我頭幾次實驗時直接在磁盤上預(yù)生成全部強增強版本結(jié)果磁盤讀寫把訓(xùn)練速度拖垮了一半。4.4 類別不平衡時半監(jiān)督反而拖后腿如果你標注數(shù)據(jù)里的類別分布不是均勻的比如 A 類有 200 張、B 類只有 20 張半監(jiān)督的收益會明顯下降甚至比純監(jiān)督還差。原因是模型會在高頻類別上先形成高置信度的偽標簽這些偽標簽數(shù)量多在無監(jiān)督損失里占比大導(dǎo)致模型向高頻類偏移低頻類幾乎學(xué)不到。針對這種情況我采取兩個辦法。一是對每個類別單獨計算置信度閾值而不是用全局同一個閾值。高頻類可以設(shè) 0.95低頻類降到 0.8讓低頻類也有機會產(chǎn)生偽標簽參與訓(xùn)練。二是無監(jiān)督損失按類別做重加權(quán)計算每一類的樣本數(shù)用類頻率的倒數(shù)對損失加權(quán)避免高頻類主導(dǎo)梯度更新。還有一個比較取巧的做法先統(tǒng)計無標注數(shù)據(jù)在所有類別上的預(yù)測分布如果發(fā)現(xiàn)某些類幾乎沒有無標注樣本被選中直接手動對那些類別的偽標簽閾值做退火從 0.95 階梯降到 0.7。這樣雖然會引入一部分噪聲但至少讓低頻類別在訓(xùn)練中“有存在感”。我試過之后低頻類的單類準確率提升明顯整體平均準確率也漲了。5. 幾個工程上的心得判斷5.1 半監(jiān)督不是萬能藥什么時候用它收益最大經(jīng)過這個項目我對半監(jiān)督學(xué)習(xí)的適用邊界有了更清晰的認識。它最適用的場景是標注數(shù)據(jù)極度稀缺每類幾十張甚至更少同時無標注數(shù)據(jù)量大且分布與標注集基本一致。在這種情況下半監(jiān)督能帶來從 70% 到 85% 量級的提升幾乎等于免費標注。但如果標注數(shù)據(jù)已經(jīng)比較充足比如每類超過幾百張半監(jiān)督的提升就明顯減弱。這時候與其花時間調(diào)半監(jiān)督參數(shù)不如把算力留給數(shù)據(jù)清洗或更強的網(wǎng)絡(luò)結(jié)構(gòu)。另外如果無標注數(shù)據(jù)本身噪聲極大包含大量無關(guān)類別或重復(fù)圖片收益也會縮水需要先做一輪去重和過濾。從資源分配角度看我現(xiàn)在的習(xí)慣是先跑一個純監(jiān)督基線如果準確率已經(jīng)超過 90%半監(jiān)督基本不用碰。如果準確率只有 75% 以下半監(jiān)督就值得全力投入。在標注和無標注的比例上我一般要求無標注量至少達到標注量的 50 倍以上不然收益不明顯。5.2 如果還想再進一步值得嘗試的方向這套流程穩(wěn)定跑通之后有幾條擴展路徑可以明顯再拔高效果。一條是把半監(jiān)督和預(yù)訓(xùn)練特征結(jié)合?，F(xiàn)在很多圖像模型都用大規(guī)模無監(jiān)督預(yù)訓(xùn)練初始化把初始化權(quán)重換成預(yù)訓(xùn)練模型再疊加偽標簽訓(xùn)練收斂速度更快最終準確率也更高。我測試過用預(yù)訓(xùn)練初始化的半監(jiān)督訓(xùn)練相比隨機初始化最終準確率能再漲兩到三個點。另一條是引入更強的數(shù)據(jù)增強策略。RandAugment 的幅度調(diào)參范圍很寬如果進一步搜索幅度和操作數(shù)的組合或者在強增強里加入更激進的裁剪策略無監(jiān)督損失能提供更強的正則化信號。還有一條是和主動學(xué)習(xí)結(jié)合。先用半監(jiān)督模型對無標注數(shù)據(jù)打分挑出置信度最低、模型最“不確定”的樣本去做人工標注再把新標注的樣本加入標注集繼續(xù)訓(xùn)練。這樣標注人力極少但標注的目標樣本價值非常高形成了一個小成本高收益的閉環(huán)。結(jié)尾我個人在實際操作中的體會是半監(jiān)督不應(yīng)該被當(dāng)成一個花哨的學(xué)術(shù)技巧而是當(dāng)作一種免費的“數(shù)據(jù)擴充”手段。先用小規(guī)模數(shù)據(jù)快速跑通純監(jiān)督基線確認模型架構(gòu)和增強策略沒有大問題再啟動半監(jiān)督分支按照三件事來檢查監(jiān)督損失是否正常下降、無監(jiān)督損失是否有效更新、偽標簽啟用比例是否維持在一個健康的區(qū)間。最后再分享一個小技巧訓(xùn)練過程中每 100 步打印一次無標注樣本的置信度均值也就是所有無標注樣本 max 概率的平均值。它比 loss 值更能反映訓(xùn)練動態(tài)。如果這個均值一直低于 0.7說明增強太強或閾值太高模型根本沒有從無標注數(shù)據(jù)里學(xué)到任何東西趁早調(diào)整別等訓(xùn)完一輪再回頭看。