我從一個(gè)真實(shí)的業(yè)務(wù)場(chǎng)景說起。前兩年我在某制造企業(yè)的視覺檢測(cè)項(xiàng)目里遇到一個(gè)特別典型的困境某類產(chǎn)品的外觀缺陷現(xiàn)場(chǎng)能拿到的壞品樣本只有一兩百張標(biāo)注師傅花了整整一周才湊出一個(gè)勉強(qiáng)能用的訓(xùn)練集結(jié)果模型剛上線客戶新增了兩種缺陷形態(tài)準(zhǔn)確率立刻掉到?jīng)]法看。這就是小樣本學(xué)習(xí)Few-shot Learning真正要解決的問題——不是學(xué)術(shù)界自娛自樂而是工業(yè)落地中每天都在發(fā)生的“數(shù)據(jù)不夠任務(wù)照做”。在圖像領(lǐng)域小樣本學(xué)習(xí)研究的是如何讓模型在每類只有幾張、幾十張標(biāo)注樣本的情況下依然具備可靠的識(shí)別、檢測(cè)和分割能力。這篇文章我會(huì)從問題定義開始梳理方法演化的幾條主線再重點(diǎn)講評(píng)測(cè)基準(zhǔn)里的隱形陷阱最后結(jié)合我自己在項(xiàng)目里反復(fù)踩坑換來的實(shí)操經(jīng)驗(yàn)聊聊到底哪些技術(shù)在真實(shí)場(chǎng)景中管用、哪些看著美好但實(shí)際上很難落地。無論你是剛接觸這個(gè)方向的研究生還是在工業(yè)視覺、自動(dòng)駕駛、醫(yī)療影像里被數(shù)據(jù)短缺折磨的算法工程師都可以從中找到自己能直接用的東西。1. 小樣本學(xué)習(xí)在圖像任務(wù)里解決的是哪一類真問題1.1 先用一個(gè)業(yè)務(wù)場(chǎng)景把問題說透先說清楚小樣本學(xué)習(xí)不是什么“錦上添花”的技術(shù)。在很多人的印象里深度學(xué)習(xí)模型只要有大量數(shù)據(jù)就能工作但現(xiàn)實(shí)里大量數(shù)據(jù)本身就是奢侈品。比如工業(yè)質(zhì)檢缺陷樣本少是因?yàn)樯a(chǎn)線上合格品占絕大多數(shù)缺陷種類又特別多每一種都要單獨(dú)積累數(shù)據(jù)比如醫(yī)療影像罕見病的陽性切片全國可能都湊不出幾百張?jiān)俦热邕b感圖像里的特定目標(biāo)某種類型的船只或者車輛可能某段時(shí)間內(nèi)只出現(xiàn)在幾張衛(wèi)星圖上。這些場(chǎng)景的共同點(diǎn)是類別多、每類樣本少、新類別還在不斷出現(xiàn)你不可能每遇到一個(gè)新類別就重新標(biāo)幾千張圖。小樣本學(xué)習(xí)的核心設(shè)定正是針對(duì)這種困境模型在訓(xùn)練階段見過大量類別這個(gè)階段叫基類學(xué)習(xí)base class learning但最終要被測(cè)試的類別是它沒見過的每個(gè)新類別只給少量標(biāo)注樣本一般是每類1張或5張看模型能不能快速適應(yīng)。這就是為什么在小樣本學(xué)習(xí)的論文里你永遠(yuǎn)會(huì)看到“N-way K-shot”這種說法它的意思是測(cè)試時(shí)一共有N個(gè)新類別每個(gè)類別給K張標(biāo)注圖片。1.2 訓(xùn)練邏輯與傳統(tǒng)分類有一個(gè)關(guān)鍵區(qū)別小樣本學(xué)習(xí)和普通分類任務(wù)最大的不同在于訓(xùn)練方式。傳統(tǒng)分類訓(xùn)練時(shí)模型學(xué)會(huì)的是“這張圖是貓還是狗”的決策邊界小樣本學(xué)習(xí)訓(xùn)練時(shí)模型要學(xué)會(huì)的是“如何利用少量樣本快速建立決策邊界”這個(gè)能力本身。為了訓(xùn)練這種能力研究者設(shè)計(jì)了一種被稱為“episodic training”的訓(xùn)練范式。每次訓(xùn)練迭代會(huì)模擬一次小樣本測(cè)試從訓(xùn)練集中隨機(jī)抽N個(gè)類別作為虛擬的新類別每個(gè)類別抽K張作為支持集support set再抽若干張作為查詢集query set。模型只能在支持集上學(xué)習(xí)然后對(duì)查詢集做預(yù)測(cè)。通過反復(fù)模擬這種低數(shù)據(jù)場(chǎng)景模型慢慢就學(xué)會(huì)了“遇到陌生類別時(shí)應(yīng)該怎么看圖、怎么比較、怎么做決策”。這里我要強(qiáng)調(diào)一個(gè)很多初學(xué)者容易忽略的點(diǎn)小樣本學(xué)習(xí)模型的“泛化能力”和傳統(tǒng)模型的“泛化能力”不是一回事。傳統(tǒng)模型要泛化到同分布的新樣本小樣本模型要泛化的是“適應(yīng)新類別的方法論”它得面對(duì)比普通分類大得多的不確定性。所以你不能簡(jiǎn)單地把小樣本問題當(dāng)成“用少量數(shù)據(jù)微調(diào)一個(gè)預(yù)訓(xùn)練模型”這種做法在類別偏移大的場(chǎng)景下往往效果很差后面我會(huì)專門講這一點(diǎn)。2. 從方法演化看主線度量、元學(xué)習(xí)與預(yù)訓(xùn)練的三波推動(dòng)2.1 第一波度量學(xué)習(xí)讓“像不像”變得可計(jì)算小樣本圖像識(shí)別最早一批被廣泛認(rèn)可的方法核心思想可以概括成一句話把問題從“這個(gè)圖是什么”變成“這張圖和哪張已知圖更像”。這個(gè)思路直接催生了度量學(xué)習(xí)方法家族。我見過很多工程出身的人第一次接觸這類方法時(shí)的反應(yīng)這不就是K近鄰加了一個(gè)神經(jīng)網(wǎng)絡(luò)特征提取器嗎這么說其實(shí)不算錯(cuò)但關(guān)鍵差別在于特征提取器是怎么被訓(xùn)練出來的。早期的孿生網(wǎng)絡(luò)Siamese Network用成對(duì)圖片作為輸入讓網(wǎng)絡(luò)學(xué)會(huì)判斷兩張圖是否屬于同一類后續(xù)的匹配網(wǎng)絡(luò)Matching Network則引入了可學(xué)習(xí)的距離度量。到原型網(wǎng)絡(luò)Prototype Network出現(xiàn)時(shí)方法變得非常優(yōu)雅對(duì)每個(gè)類的K張支持集圖片提取特征算出一個(gè)“原型”作為該類的特征均值查詢集的圖片只要看它和哪個(gè)原型最近就行。關(guān)系網(wǎng)絡(luò)Relation Network又往前走了一步它不滿足于用固定距離函數(shù)而是讓網(wǎng)絡(luò)自己學(xué)習(xí)“什么樣的相似度判斷最合理”。我很喜歡原型網(wǎng)絡(luò)的一點(diǎn)是它雖然簡(jiǎn)單但在很多真實(shí)場(chǎng)景中反而是最穩(wěn)的baseline。因?yàn)樗鼛缀鯖]有額外參數(shù)不容易過擬合而且對(duì)特征質(zhì)量的要求非常直接——只要你的特征提取器足夠好原型分類就能打得過一堆花里胡哨的算法。這類方法后來還衍生出了很多變體比如對(duì)特征做特征變換、用多個(gè)原型描述一個(gè)類別的多模態(tài)分布等但底層邏輯始終沒變。2.2 第二波元學(xué)習(xí)把“學(xué)會(huì)學(xué)習(xí)”變成可優(yōu)化的目標(biāo)度量學(xué)習(xí)雖然有效但它有一個(gè)潛在的天花板模型本質(zhì)上是被動(dòng)地比較特征而不是主動(dòng)地為新任務(wù)調(diào)整自己的行為。元學(xué)習(xí)Meta-learning試圖突破這個(gè)天花板它的思路是讓模型在大量小樣本任務(wù)上訓(xùn)練出一個(gè)“初始狀態(tài)”這個(gè)初始狀態(tài)經(jīng)過少量幾步梯度更新就能在新類別上表現(xiàn)良好。這類方法里最具代表性的思路是“基于梯度的元學(xué)習(xí)”算法維護(hù)一組模型參數(shù)在每個(gè)訓(xùn)練任務(wù)上先計(jì)算幾步梯度更新再根據(jù)更新后的模型在查詢集上的表現(xiàn)反推初始參數(shù)應(yīng)該怎么調(diào)整。你可以把訓(xùn)練過程想象成“訓(xùn)練一個(gè)容易被微調(diào)的模型”也就是找到一個(gè)特別好的起點(diǎn)從起點(diǎn)出發(fā)每個(gè)新任務(wù)只要走上幾步就能到達(dá)低損失區(qū)域。這種思路在數(shù)學(xué)上很漂亮但我在實(shí)際使用中必須提醒大家它對(duì)計(jì)算資源的要求不低而且在訓(xùn)練分布和測(cè)試分布差異較大的時(shí)候梯度元學(xué)習(xí)的優(yōu)勢(shì)常常發(fā)揮不出來。還有一個(gè)工程上的坑是這類方法通常要展開多次梯度計(jì)算顯存消耗高調(diào)參也敏感稍有不慎訓(xùn)練就不穩(wěn)定。與梯度元學(xué)習(xí)并行發(fā)展的還有另一條線即“基于參數(shù)生成的元學(xué)習(xí)”。這類方法不直接優(yōu)化初始參數(shù)而是用一個(gè)額外的生成網(wǎng)絡(luò)根據(jù)支持集信息直接生成分類器的參數(shù)。它的好處是測(cè)試時(shí)不需要迭代更新推理速度和普通分類一致很適合工程部署。但代價(jià)是生成網(wǎng)絡(luò)本身很難訓(xùn)練對(duì)小數(shù)據(jù)集尤其苛刻。2.3 第三波預(yù)訓(xùn)練與自監(jiān)督正在重新定義少樣本問題近幾年小樣本學(xué)習(xí)的研究重心發(fā)生了明顯轉(zhuǎn)移。過去大家拼命設(shè)計(jì)復(fù)雜的算法來解決“數(shù)據(jù)太少怎么辦”現(xiàn)在越來越多的證據(jù)表明一個(gè)在超大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練過的通用視覺特征提取器哪怕不做任何小樣本特殊優(yōu)化直接拿特征做最近鄰分類結(jié)果就能超過很多精心設(shè)計(jì)的元學(xué)習(xí)算法。這個(gè)現(xiàn)象聽起來反直覺但實(shí)際上很好理解。預(yù)訓(xùn)練模型見過海量的圖像分布它學(xué)習(xí)到的特征表征包含了豐富的語義信息比如紋理、形狀、部件結(jié)構(gòu)。新類別和預(yù)訓(xùn)練數(shù)據(jù)里的類別即使完全不同也共享大量的底層視覺結(jié)構(gòu)。小樣本學(xué)習(xí)算法要做的本質(zhì)上就是在這個(gè)通用表征之上做快速適應(yīng)地基打好了樓就好蓋。自監(jiān)督預(yù)訓(xùn)練在這個(gè)方向上的作用更明顯。它不需要任何人工標(biāo)注可以在大規(guī)模無標(biāo)注數(shù)據(jù)上學(xué)習(xí)特征這正好緩解了小樣本場(chǎng)景“標(biāo)注稀缺”的痛點(diǎn)。我個(gè)人的判斷是未來幾年小樣本圖像識(shí)別的工作重心會(huì)有相當(dāng)大一部分轉(zhuǎn)移到“如何在強(qiáng)大的預(yù)訓(xùn)練特征之上設(shè)計(jì)更高效的適配模塊”上而不是再去發(fā)明一個(gè)全新的學(xué)習(xí)范式。3. 評(píng)測(cè)基準(zhǔn)里的那些隱形陷阱數(shù)據(jù)劃分與跨域失效3.1 主流基準(zhǔn)是怎么構(gòu)造的小樣本圖像識(shí)別能快速發(fā)展很大程度上依賴一套相對(duì)統(tǒng)一的評(píng)測(cè)基準(zhǔn)。研究者通常從一個(gè)規(guī)模較大的圖像數(shù)據(jù)集中挑選若干類別作為基類另外選互不重疊的若干類別作為新類然后反復(fù)隨機(jī)抽取N-way K-shot任務(wù)來評(píng)估模型。這里最關(guān)鍵也最容易被忽視的是基類和新類之間的劃分方式。不同的劃分方式會(huì)帶來完全不同的難度。早期比較常見的劃分方式是純隨機(jī)劃分所有類別都來自同一個(gè)大領(lǐng)域的自然圖像基類和新類在語義上非常接近模型只要學(xué)會(huì)了通用的視覺比較能力遷移起來就容易。后來出現(xiàn)了一些更難的數(shù)據(jù)集劃分時(shí)會(huì)刻意讓基類和新類來自不同的高階語義類別比如基類里全是植物和日用品新類里全是某種特定動(dòng)物這樣模型就不能只靠“見過類似類別”來蒙答案必須真正學(xué)會(huì)理解新類的判別性特征。3.2 三類最容易翻車的評(píng)測(cè)陷阱第一類陷阱是數(shù)據(jù)泄露。小樣本學(xué)習(xí)的標(biāo)準(zhǔn)設(shè)定是基類類別與新類類別完全不相交但不少人在構(gòu)造實(shí)驗(yàn)時(shí)會(huì)把同一個(gè)類別的不同圖片既放在訓(xùn)練階段又放在測(cè)試階段哪怕不是嚴(yán)格意義上的測(cè)試集泄露也會(huì)讓評(píng)測(cè)結(jié)果虛高。尤其是在用公開數(shù)據(jù)集隨機(jī)裁剪子集做實(shí)驗(yàn)時(shí)如果不仔細(xì)檢查類別ID的沖突很輕松就會(huì)造出一個(gè)看起來精度很高但實(shí)際上沒有意義的模型。第二類陷阱是類別粒度的不一致。有些數(shù)據(jù)集里的類別是粗粒度概念比如“汽車”作為一個(gè)類有些數(shù)據(jù)集里的類別是細(xì)粒度概念比如“某品牌某年款轎車的側(cè)前方視角”。小樣本模型在粗粒度類別上看起來效果很好一旦切換到細(xì)粒度類別同類之間的差異可能比異類之間的差異還小精度會(huì)斷崖式下跌。實(shí)際業(yè)務(wù)中遇到的基本都是細(xì)粒度問題比如不同型號(hào)的電路板、不同品種的農(nóng)作物病害所以實(shí)驗(yàn)室效果好到業(yè)務(wù)里未必頂用。第三類陷阱是跨域失效。很多論文的實(shí)驗(yàn)都在和訓(xùn)練數(shù)據(jù)同分布的測(cè)試類別上做精度報(bào)表漂亮但到了真實(shí)場(chǎng)景里光照、角度、背景、成像設(shè)備一變性能立刻打回原形。我在跨域小樣本的復(fù)現(xiàn)實(shí)驗(yàn)里見過不少案例同一個(gè)模型在標(biāo)準(zhǔn)基準(zhǔn)上能達(dá)到80%以上的精度換到一個(gè)新的成像域之后只剩不到50%。這也是為什么現(xiàn)在越來越多的研究工作開始專門討論跨域評(píng)測(cè)基準(zhǔn)而不是只在同一個(gè)數(shù)據(jù)源里自娛自樂。4. 從論文到落地我在真實(shí)項(xiàng)目里積累的實(shí)操經(jīng)驗(yàn)4.1 先用預(yù)訓(xùn)練特征做Baseline別急著上元學(xué)習(xí)這是我踩過多少次坑之后最重要的經(jīng)驗(yàn)任何小樣本圖像項(xiàng)目第一版模型都應(yīng)該用“預(yù)訓(xùn)練特征 最簡(jiǎn)分類器”來做。具體來說用在大規(guī)模圖像數(shù)據(jù)上預(yù)訓(xùn)練好的骨干網(wǎng)絡(luò)提取特征然后嘗試三種最簡(jiǎn)分類方式最近鄰、線性分類器、原型分類。這個(gè)組合幾乎不需要額外訓(xùn)練推理速度極快而且往往能給你一個(gè)意外高的起點(diǎn)。我經(jīng)歷過好幾個(gè)項(xiàng)目團(tuán)隊(duì)花了幾周時(shí)間實(shí)現(xiàn)和調(diào)優(yōu)元學(xué)習(xí)算法最后發(fā)現(xiàn)性能比預(yù)訓(xùn)練特征加最近鄰還低一截。這里面的原因并不復(fù)雜元學(xué)習(xí)算法的訓(xùn)練目標(biāo)是在模擬的小樣本任務(wù)上提升但模擬任務(wù)和真實(shí)任務(wù)之間存在分布差距算法在模擬上表現(xiàn)好不等于在真實(shí)上表現(xiàn)好。而當(dāng)預(yù)訓(xùn)練特征本身已經(jīng)很強(qiáng)時(shí)復(fù)雜的自適應(yīng)機(jī)制反而可能破壞原有特征的空間結(jié)構(gòu)。正確的做法是先把Baseline跑通確認(rèn)特征提取器本身的性能邊界如果Baseline已經(jīng)能到70%左右那么后續(xù)方法選擇的重點(diǎn)就應(yīng)該放在“如何更有效地利用這K張支持集樣本做決策”上而不是推翻重來。4.2 數(shù)據(jù)增強(qiáng)與擴(kuò)充策略的性價(jià)比排序在樣本極少的情況下數(shù)據(jù)增強(qiáng)幾乎是必選項(xiàng)但不是所有增強(qiáng)方法都值得做。我的經(jīng)驗(yàn)是要按性價(jià)比排序來做不要一上來就堆所有增強(qiáng)手段。首先最簡(jiǎn)單也最穩(wěn)妥的是幾何增強(qiáng)包括隨機(jī)裁剪、水平翻轉(zhuǎn)、旋轉(zhuǎn)、縮放這些操作不改變圖像的語義內(nèi)容適合絕大多數(shù)視覺任務(wù)。其次是顏色抖動(dòng)包括亮度、對(duì)比度、飽和度的微調(diào)它模擬的是光照環(huán)境的變化對(duì)魯棒性有幫助但不要調(diào)得過猛否則會(huì)讓模型學(xué)到錯(cuò)誤的顏色關(guān)聯(lián)。再往后是更復(fù)雜的增強(qiáng)比如混合增強(qiáng)、基于生成模型的樣本合成、基于特征空間插值的增強(qiáng)等這些方法在特定場(chǎng)景下很有效但實(shí)現(xiàn)成本和調(diào)參難度都高需要謹(jǐn)慎評(píng)估。我自己的經(jīng)驗(yàn)是對(duì)于每類只有5張圖的場(chǎng)景幾何增強(qiáng)加顏色抖動(dòng)就能帶來明顯的提升這個(gè)提升往往比換一個(gè)更復(fù)雜的模型結(jié)構(gòu)來得實(shí)在。另外一個(gè)值得注意的細(xì)節(jié)是數(shù)據(jù)增強(qiáng)不一定要在訓(xùn)練時(shí)對(duì)所有樣本統(tǒng)一應(yīng)用可以把原始樣本保留不動(dòng)只在構(gòu)造支持集時(shí)對(duì)K張?jiān)瓐D做增強(qiáng)擴(kuò)充這樣可以同時(shí)利用原始數(shù)據(jù)的真實(shí)性和增強(qiáng)數(shù)據(jù)的多樣性。4.3 Transductive還是Inductive根據(jù)業(yè)務(wù)形態(tài)選擇小樣本學(xué)習(xí)里有一對(duì)容易被忽略的概念inductive和transductive。Inductive推理是標(biāo)準(zhǔn)的單樣本推理模式模型看一張查詢圖根據(jù)支持集做一次判斷各張查詢圖之間互不影響。Transductive推理則是批量預(yù)測(cè)模式模型一次拿到一批查詢圖可以利用這批查詢圖的整體分布信息來輔助決策比如統(tǒng)計(jì)查詢集的特征分布來判斷類別中心的偏移。在標(biāo)準(zhǔn)學(xué)術(shù)評(píng)測(cè)中transductive方法通常能比inductive方法高出好幾個(gè)百分點(diǎn)因?yàn)椴樵兗姆植夹畔⑾喈?dāng)于額外的無標(biāo)注數(shù)據(jù)。但工業(yè)落地時(shí)能不能用transductive方法完全取決于你的業(yè)務(wù)流程。如果系統(tǒng)是單張圖片實(shí)時(shí)傳入的比如在線質(zhì)檢工位每一次來一張圖那就只能做inductive推理如果是離線批量處理比如一批歷史圖片統(tǒng)一識(shí)別那transductive方法就能派上用場(chǎng)。我在一個(gè)離線圖片歸檔項(xiàng)目里嘗試過transductive方法提升確實(shí)可觀但也要注意它的穩(wěn)定性問題。批次的大小、查詢集的類別分布形態(tài)都會(huì)影響結(jié)果極端情況下如果一批查詢圖全部屬于同一個(gè)新類transductive方法的類別估計(jì)可能會(huì)嚴(yán)重跑偏。所以生產(chǎn)環(huán)境如果用這類方法一定要做批次粒度的監(jiān)控。4.4 少樣本場(chǎng)景的評(píng)價(jià)指標(biāo)與調(diào)參建議小樣本圖像任務(wù)里很多人習(xí)慣只看平均精度但在實(shí)際項(xiàng)目中這個(gè)指標(biāo)遠(yuǎn)遠(yuǎn)不夠。當(dāng)類別數(shù)較多且樣本極少時(shí)少數(shù)困難類別會(huì)把整體精度拖低只關(guān)注平均精度會(huì)讓你以為模型整體不錯(cuò)實(shí)際上某些關(guān)鍵類別完全不可用。我建議至少同時(shí)觀察三個(gè)指標(biāo)整體平均精度、每類精度標(biāo)準(zhǔn)差、以及業(yè)務(wù)上最關(guān)心的核心類別的單獨(dú)精度。調(diào)參方面我認(rèn)為小樣本場(chǎng)景中最敏感的超參數(shù)不是學(xué)習(xí)率而是支持集圖片的預(yù)處理方式。同樣的增強(qiáng)策略在普通大規(guī)模訓(xùn)練里只是錦上添花在每類只有幾張圖的場(chǎng)景里卻能直接決定成敗。另一個(gè)容易踩坑的地方是骨干網(wǎng)絡(luò)的參數(shù)量選擇。很多人習(xí)慣性地用大網(wǎng)絡(luò)但在小樣本場(chǎng)景中大的骨干網(wǎng)絡(luò)往往更容易過擬合到支持集上反而不如一個(gè)中等規(guī)模的網(wǎng)絡(luò)加充足的數(shù)據(jù)增強(qiáng)來得穩(wěn)。5. 當(dāng)前的開放問題與我認(rèn)為值得投入的方向5.1 跨域小樣本問題比同域更難也更實(shí)用接下來聊幾個(gè)我認(rèn)為這個(gè)領(lǐng)域目前真正有價(jià)值的方向。第一個(gè)是跨域小樣本問題也就是訓(xùn)練時(shí)的基類和測(cè)試時(shí)的新類不僅可以語義不同連圖像風(fēng)格、成像模態(tài)都可能完全不同。典型的例子是訓(xùn)練數(shù)據(jù)是普通自然圖像測(cè)試數(shù)據(jù)是醫(yī)學(xué)內(nèi)窺鏡圖像、無人機(jī)視角圖像或者紅外圖像?？缬驐l件下預(yù)訓(xùn)練特征的優(yōu)勢(shì)會(huì)被大幅削弱因?yàn)樘卣魈崛∑鳑]見過這種圖像分布?？缬蛐颖纠镒钔怀龅奶魬?zhàn)是“域偏移”和“類別偏移”同時(shí)存在。模型不僅要判斷“這個(gè)沒見過的東西是什么”還要先解決“這種圖像長什么樣”。目前比較有希望的方向包括利用域自適應(yīng)技術(shù)拉近特征空間的距離或者在預(yù)訓(xùn)練階段就讓模型接觸更多樣的圖像域。我認(rèn)為這個(gè)方向會(huì)在工業(yè)落地帶來越來越大的價(jià)值因?yàn)檎鎸?shí)場(chǎng)景沒有哪個(gè)是干干凈凈的同一個(gè)數(shù)據(jù)源。5.2 分布外問題與小樣本的結(jié)合和跨域問題相關(guān)但又不同的一類挑戰(zhàn)是分布外檢測(cè)也就是模型應(yīng)該知道自己什么時(shí)候不知道。小樣本場(chǎng)景下新類別的特征空間極其稀疏模型很容易把一張不屬于任何已知類別的圖像強(qiáng)行歸類到某個(gè)新類中去。這個(gè)誤差在真實(shí)業(yè)務(wù)中代價(jià)很高比如工業(yè)質(zhì)檢里一種完全沒見過的缺陷類型如果被歸類為某個(gè)已有缺陷類型就會(huì)導(dǎo)致漏檢。我的建議是任何小樣本分類系統(tǒng)上線前都要加一個(gè)拒絕機(jī)制。最簡(jiǎn)單的做法是在特征空間里設(shè)定一個(gè)距離閾值當(dāng)查詢圖像離所有已知原型的距離都超過閾值時(shí)判定為“未知”而不是強(qiáng)行分類。這個(gè)閾值可以用驗(yàn)證集來調(diào)原則是寧可犧牲一點(diǎn)已知類別的召回率也要降低未知樣本的誤判率。別小看這個(gè)設(shè)計(jì)在很多嚴(yán)格監(jiān)管場(chǎng)景里它才是系統(tǒng)能否被接受的關(guān)鍵。5.3 主動(dòng)學(xué)習(xí)、人機(jī)協(xié)同與大模型輔助最后一個(gè)我長期看好的方向是把小樣本學(xué)習(xí)放到完整的人機(jī)協(xié)同閉環(huán)里去思考。小樣本學(xué)習(xí)本身是解決“數(shù)據(jù)少”的問題但現(xiàn)實(shí)系統(tǒng)中數(shù)據(jù)是可以持續(xù)增長的問題是如何花最小的標(biāo)注代價(jià)獲得最大的性能提升。主動(dòng)學(xué)習(xí)正好互補(bǔ)模型先對(duì)一批無標(biāo)注數(shù)據(jù)做預(yù)測(cè)篩選出最不確定、信息量最大的樣本給標(biāo)注人員標(biāo)注后的樣本繼續(xù)補(bǔ)充到支持集中形成一輪一輪的正向循環(huán)。大模型的輔助作用同樣值得關(guān)注。多模態(tài)預(yù)訓(xùn)練模型內(nèi)化了大量視覺和語言知識(shí)可以為零樣本和小樣本任務(wù)提供更強(qiáng)的先驗(yàn)。比如通過圖文對(duì)齊找到一個(gè)更好的特征空間讓新類別的語義理解和特征定位都更準(zhǔn)確或者用一個(gè)強(qiáng)大的通用模型對(duì)無標(biāo)注數(shù)據(jù)做高質(zhì)量偽標(biāo)注再在小樣本模型上篩選使用。當(dāng)然這類方法對(duì)算力和工程實(shí)現(xiàn)都有要求但它確實(shí)代表了一個(gè)很清晰的趨勢(shì)小樣本學(xué)習(xí)不再是一個(gè)孤立的模塊而是整個(gè)數(shù)據(jù)生產(chǎn)與模型迭代鏈路中的一環(huán)。我自己實(shí)際使用中的一個(gè)體會(huì)是小樣本學(xué)習(xí)項(xiàng)目的成敗往往不是取決于模型算法本身多么前沿而是取決于整個(gè)數(shù)據(jù)閉環(huán)設(shè)計(jì)得是否合理。你能不能在模型失敗時(shí)快速定位是特征問題還是分類問題能不能高效地把新樣本轉(zhuǎn)化為支持集能不能在類別逐漸增多的過程中保持舊類別的穩(wěn)定性這些工程問題綜合起來決定了一個(gè)系統(tǒng)能不能從實(shí)驗(yàn)室里的演示變成生產(chǎn)線上的工具。把這個(gè)閉環(huán)想清楚比追著一篇篇新論文換算法要重要得多。