我印象里“讓強模型跟著弱標(biāo)簽走”這件事已經(jīng)成了對齊訓(xùn)練里一個心照不宣的“雷區(qū)”。所謂弱標(biāo)簽指的是由參數(shù)量較小、能力較弱的模型生成的監(jiān)督數(shù)據(jù)或者是標(biāo)注質(zhì)量參差不齊的人工數(shù)據(jù)。很多團(tuán)隊在微調(diào)階段圖省事直接用這些數(shù)據(jù)去訓(xùn)練強模型結(jié)果發(fā)現(xiàn)參數(shù)越大學(xué)得越歪甚至出現(xiàn)“能力回退”——模型說話越來越像那個小模型邏輯漏洞也被一并繼承。我一度以為這個問題只能靠清洗數(shù)據(jù)、堆人力標(biāo)注來解決直到看到這篇被AI頂級學(xué)術(shù)會議AAAI收錄的研究才意識到還有另一條路與其把弱標(biāo)簽全部清洗干凈不如讓強模型在訓(xùn)練時自己決定“哪些標(biāo)簽值得學(xué)哪些標(biāo)簽該忽略”。這個思路就是標(biāo)題里說的“不再盲從弱標(biāo)簽讓強模型自主選擇”也是眼下“超級對齊”方向里相當(dāng)有工程價值的一個新范式。這篇文章想和你聊透幾個事弱標(biāo)簽為什么會讓強模型越訓(xùn)越差、這個“自主選擇”機制是怎么實現(xiàn)的、實驗效果到底有多明顯以及如果我想在自己的訓(xùn)練流程里復(fù)現(xiàn)這套思路應(yīng)該怎么落地。適合正在做SFT、RLHF、偏好優(yōu)化或者被弱監(jiān)督數(shù)據(jù)坑過的同學(xué)認(rèn)真看一遍應(yīng)該能少走不少彎路。1. 弱標(biāo)簽的“雙刃劍”強模型為什么會被一份錯誤答案帶偏1.1 先搞清楚什么是弱標(biāo)簽為什么大家都在用在正式拆解這個方法前先給“弱標(biāo)簽”一個清晰的畫像。所謂弱標(biāo)簽通常指三路數(shù)據(jù)源一是小模型生成的偏好對或指令回復(fù)比如用幾億參數(shù)的模型批量產(chǎn)出回答再和大模型的答案配成對比樣本二是眾包標(biāo)注中質(zhì)量參差不齊的人工數(shù)據(jù)標(biāo)注員水平不一有些甚至就是復(fù)制粘貼三是規(guī)則抽取或遠(yuǎn)程監(jiān)督得到的自動標(biāo)注比如用關(guān)鍵詞匹配或外部知識庫回填標(biāo)簽。大家明知道弱標(biāo)簽有噪聲為什么還在用答案很簡單強標(biāo)簽太貴了。請高水平標(biāo)注員給一條復(fù)雜指令寫參考答案成本動輒幾十塊起步用弱模型批量生成一條的成本接近零。在“數(shù)據(jù)規(guī)模決定模型天花板”的共識下大多數(shù)團(tuán)隊都會選擇先用弱標(biāo)簽堆量再花錢雇人抽檢。問題在于抽檢只能保下限保不了訓(xùn)練過程的穩(wěn)定性。我見過最典型的翻車場景某團(tuán)隊用一個小模型生成了幾萬條“用戶偏好對”A是用戶想要的B是不想要的然后拿這批數(shù)據(jù)去微調(diào)一個百億參數(shù)模型。結(jié)果訓(xùn)練了兩輪之后模型在代碼生成任務(wù)上的準(zhǔn)確率掉了接近十個百分點生成風(fēng)格也變得啰嗦、喜歡堆砌廢話。后來一查小模型在偏好標(biāo)注里有一個隱藏的系統(tǒng)性偏差凡涉及數(shù)據(jù)結(jié)構(gòu)設(shè)計的題它幾乎都偏好“先給完整代碼、后逐行解釋”這種輸出格式而真正的高質(zhì)量回答應(yīng)該是“先給思路再給關(guān)鍵片段”。大模型把這些錯誤偏好當(dāng)成真理學(xué)進(jìn)去了等于被一個水平不如自己的“老師”洗了腦。1.2 為什么強模型越想對齊反而越容易倒退這里要引入一個概念叫“繼承梯度”。弱標(biāo)簽之所以危險不只是因為它錯而是因為它的錯誤方向會通過梯度的方式傳染給強模型。直覺上很好理解假設(shè)強模型的初始能力是80分弱標(biāo)簽里40%的樣本是錯誤的。訓(xùn)練時強模型對一部分錯誤標(biāo)簽會產(chǎn)生較高的預(yù)測損失因為它覺得正確答案是另一個這時梯度會推著模型往“符合弱標(biāo)簽”的方向調(diào)整。由于弱模型作為標(biāo)簽生成器其錯誤往往是系統(tǒng)性的、有偏的比如總是偏好某一種句式、某個推理套路梯度就會在這些方向上反復(fù)疊加。更麻煩的是強模型本身是夠聰明的——它在某些樣本上已經(jīng)能“看出”弱標(biāo)簽不對但訓(xùn)練目標(biāo)不允許它表達(dá)這種判斷。損失函數(shù)是死的只要模型輸出和弱標(biāo)簽不一致就要受懲罰。于是模型被迫在“自己的判斷”和“標(biāo)簽的要求”之間做妥協(xié)這種妥協(xié)累積起來就會表現(xiàn)為能力回退推理能力被壓縮生成風(fēng)格被帶偏甚至出現(xiàn)“選擇性失明”——該拒絕的請求不拒絕不該拒絕的反而拒了。用個生活化的類比你讓一位博士生去跟一個小學(xué)生做同桌老師規(guī)定一切以小學(xué)生作業(yè)本上的答案為準(zhǔn)博士生明明看出來有些題算錯了但為了“配合教學(xué)”只能把對的改成錯的。改一次沒問題改一百次他自己的計算能力也會退化。所以“弱到強泛化”這個研究方向的本質(zhì)就是解決“強者服從弱者時如何不變成弱者”的問題?，F(xiàn)有的主流做法無非兩類一類是清洗標(biāo)簽在訓(xùn)練前把弱標(biāo)簽盡量修對但成本高、且很難消除系統(tǒng)性偏差另一類是讓強模型“硬扛”通過正則化、早停等手段減輕損傷但效果通常只是延緩不能根治。而這篇論文選擇了一個更直接的切入點——把選擇權(quán)交給強模型自己。2. 核心機制拆解強模型如何“自主選擇”而不是被動接收2.1 從“全盤接收”到“擇善而從”一個簡單的范式轉(zhuǎn)變“讓強模型自主選擇”這個概念聽起來有點玄但拆開來看思路其實非常樸素。傳統(tǒng)訓(xùn)練流程是數(shù)據(jù)進(jìn)模型模型算損失梯度更新參數(shù)。弱標(biāo)簽從頭到尾都是“不可違背”的——你說A對模型就得學(xué)A對你說B答案不合格模型就得認(rèn)為B不合格。整個過程里模型沒有質(zhì)疑標(biāo)簽的權(quán)利。這篇論文的突破在于它把標(biāo)簽從“硬約束”變成了“候選答案”。訓(xùn)練時強模型不需要無條件相信弱標(biāo)簽而是先對每個標(biāo)簽做一個內(nèi)部判斷——這個標(biāo)簽和我的能力水平匹配嗎如果讓我自己回答我會不會給出同樣的答案這個判斷的結(jié)果會直接影響梯度更新的方向和強度。也就是說模型學(xué)會了說一句話“這個標(biāo)簽我可以學(xué)或者那個標(biāo)簽我應(yīng)該忽略?！边@個轉(zhuǎn)變的意義怎么強調(diào)都不過分。它意味著弱標(biāo)簽不再是一個需要被預(yù)先審判的“數(shù)據(jù)質(zhì)量”問題而是一個可以被動態(tài)評估的“信息置信度”問題。模型不再是被動接受知識的容器而是變成了一個主動篩選知識的學(xué)習(xí)者——這點和人類的學(xué)習(xí)過程反而更像了我們小時候都抄過參考書上的答案聰明的學(xué)生會挑著抄而不是全抄。2.2 三層機制打分、過濾、加權(quán)具體如何實現(xiàn)“自主選擇”論文提出的框架大體可以拆成三層每層解決一個不同的問題。第一層是“置信度感知打標(biāo)”。給每一條弱標(biāo)簽樣本計算一個分?jǐn)?shù)表示“強模型認(rèn)為這個標(biāo)簽有多可信”。這個分?jǐn)?shù)不能只看模型輸出的softmax最大值——我后面會講到這樣容易造成“模型非常自信地犯錯”。更穩(wěn)妥的做法是同時衡量模型在多個隨機溫度采樣下的輸出一致性或者計算模型內(nèi)部隱層表征的熵值綜合得出一個不確定性估計。打分邏輯不復(fù)雜如果強模型自己的回答和弱標(biāo)簽給出的答案高度一致說明這個標(biāo)簽是“可以安全學(xué)習(xí)”的如果不一致甚至互相矛盾說明這個標(biāo)簽很可能存在問題。第二層是“動態(tài)閾值過濾”。拿到置信度分?jǐn)?shù)后不是按一個固定閾值一刀切而是結(jié)合樣本難度、類別分布做動態(tài)調(diào)整。簡單說太難的樣本即使標(biāo)簽是準(zhǔn)的也不能強學(xué)太簡單的樣本標(biāo)簽即便稍有偏差學(xué)了也無妨因為模型早就掌握了。只有落在“跳一跳夠得著”區(qū)間的樣本才值得被高權(quán)重地學(xué)習(xí)。這個思維其實和課程學(xué)習(xí)curriculum learning很像都是讓模型在合適的時間學(xué)合適的內(nèi)容。第三層是“梯度級軟加權(quán)”。這一層是最體現(xiàn)工作量的地方。傳統(tǒng)篩選思路會把低分樣本直接丟棄但實際情況是——弱標(biāo)簽雖然整體不靠譜但里面常常夾雜著有價值的信息。如果直接扔了模型會丟失這部分?jǐn)?shù)據(jù)量反而更容易在剩余樣本上過擬合如果全留著噪聲又會嚴(yán)重影響梯度方向。論文的做法是不丟給低置信度樣本分配一個較小的梯度權(quán)重同時疊加一個標(biāo)簽平滑項讓模型在“弱認(rèn)可”的樣本上只做輕微調(diào)整。用數(shù)學(xué)化的語言描述訓(xùn)練的總損失大致是每個樣本的交叉熵?fù)p失乘上它的置信度權(quán)重w再加上一項“不采納”時的平滑損失。w由強模型自身的判斷決定而不是由標(biāo)簽生成器決定。這樣一來梯度的大部分貢獻(xiàn)都來自強模型“認(rèn)可”的樣本弱標(biāo)簽真正變成了輔助信息而不是主導(dǎo)信息。2.3 為什么要“軟加權(quán)”而不是“直接丟棄”這是實際操作里最值得聊的細(xì)節(jié)。我最初接觸類似方案時直覺是既然低置信度樣本是噪聲直接扔掉不就完了其實不然。弱標(biāo)簽數(shù)據(jù)集里低置信度樣本往往不是“純噪聲”而是“含噪信號”——里面既有完全錯誤的反例也有模棱兩可的邊界案例還有難度過高、連強模型自己都沒把握的樣本。如果簡單丟棄相當(dāng)于把所有“難啃的骨頭”都排除在訓(xùn)練集之外模型就失去了對邊界樣本的區(qū)分能力。舉一個實際的例子。在安全對齊場景中最容易導(dǎo)致模型誤判的樣本恰恰是那些“看似有害、實則合規(guī)”的邊界請求比如“我心情很差想找人說說話”這類包含負(fù)面情緒但不違反安全規(guī)范的內(nèi)容。弱標(biāo)簽很可能把這些誤標(biāo)為“有害”并拒答。如果強模型直接丟棄這類低置信度樣本就學(xué)不會區(qū)分“情緒表達(dá)”和“惡意攻擊”拒答率會飆升如果用軟加權(quán)的方式保留一部分模型就能在“不確定該不該拒絕”的時候?qū)W習(xí)到更細(xì)膩的判斷標(biāo)準(zhǔn)。所以這套機制的精髓就在于不是讓強模型和弱標(biāo)簽割裂而是讓強模型決定“以什么力度”去參考弱標(biāo)簽。這個“力度”是動態(tài)變化的取決于模型當(dāng)前的能力狀態(tài)——訓(xùn)練初期模型不成熟可能更多依賴弱標(biāo)簽訓(xùn)練后期模型能力增強會自動減少對不可信標(biāo)簽的依賴。這種自適應(yīng)特性也讓它在多種任務(wù)上表現(xiàn)更穩(wěn)定。3. 實驗設(shè)計與效果驗證數(shù)據(jù)不會說謊3.1 驗證場景是怎么設(shè)計的論文在實驗環(huán)節(jié)覆蓋了三類任務(wù)通用指令跟隨、安全對齊、以及推理能力保持性驗證。這個設(shè)計很有心機——前兩者考察“對齊效果”后者考察“對齊傷害”也就是訓(xùn)練對齊之后模型在數(shù)學(xué)、代碼、邏輯推理等硬任務(wù)上有沒有退步。通用指令跟隨用的是對話偏好數(shù)據(jù)安全對齊用的是紅隊測試樣本推理能力則用幾套公開的數(shù)學(xué)和代碼基準(zhǔn)來評估。對照組包括直接用弱標(biāo)簽微調(diào)傳統(tǒng)基線、對弱標(biāo)簽做靜態(tài)清洗后再訓(xùn)練、以及只做硬過濾的版本低置信度樣本直接丟棄。這樣一對比就能清楚看見“軟加權(quán)自主選擇”相比其他方案的優(yōu)勢到底在哪。在指令跟隨上自主選擇方案比傳統(tǒng)基線有明顯提升尤其是對復(fù)雜指令的理解和遵循能力遠(yuǎn)超直接微調(diào)的效果。在安全對齊上拒答的“精確率”和“召回率”得到了更好的平衡——該拒的沒放不該拒的也沒誤殺。最有說服力的是推理能力保持性傳統(tǒng)方案在訓(xùn)練后數(shù)學(xué)推理成績明顯下降而自主選擇方案幾乎沒什么折損。3.2 消融實驗告訴你哪些環(huán)節(jié)最不能省論文的消融實驗有幾個值得記錄的發(fā)現(xiàn)。第一動態(tài)閾值比固定閾值重要得多。固定閾值帶來的問題在兩個極端都很明顯閾值太低模型幾乎是全盤接收弱標(biāo)簽和傳統(tǒng)方式?jīng)]有本質(zhì)區(qū)別閾值太高低置信度樣本全部被過濾訓(xùn)練信號驟減模型在驗證集上的損失反而上升。動態(tài)閾值相當(dāng)于給選擇器裝了一個“自適應(yīng)旋鈕”始終讓訓(xùn)練集保持在一個信息量充沛又足夠干凈的狀態(tài)。第二軟加權(quán)的作用不可替代。把“軟加權(quán)”替換成“硬丟棄”之后安全對齊的紅線指標(biāo)出現(xiàn)回退——就是誤殺率上升了。原因上面說過邊界樣本被丟光了模型學(xué)不會區(qū)分惡劣意圖和正常宣泄。而軟加權(quán)相當(dāng)于給邊界樣本留了一扇門讓模型在“不確定”的時候有機會繼續(xù)學(xué)習(xí)。第三置信度分?jǐn)?shù)的設(shè)計直接影響上限。在多頭溫度采樣的不確定性估計加持下模型對弱標(biāo)簽的篩選準(zhǔn)確率明顯優(yōu)于單一softmax分?jǐn)?shù)。這說明好的分?jǐn)?shù)比好的閾值更重要——閾值只是篩選規(guī)則分?jǐn)?shù)是篩選依據(jù)依據(jù)錯了規(guī)則再精細(xì)也白搭。3.3 一個值得關(guān)注的副產(chǎn)品訓(xùn)練效率反而提升了這里有個出乎意料的發(fā)現(xiàn)因為模型不是均勻地在所有樣本上更新權(quán)重而是自適應(yīng)地集中資源在“值得學(xué)”的樣本上最終收斂步數(shù)反而減少了大概節(jié)約了20-30%的訓(xùn)練步數(shù)。尤其在目標(biāo)領(lǐng)域的任務(wù)上模型會更快到達(dá)最優(yōu)區(qū)域。這個發(fā)現(xiàn)背后的道理很樸素以前弱標(biāo)簽里有大量“學(xué)不學(xué)都無所謂”的簡單樣本占了計算資源卻沒有提供新知識現(xiàn)在這些樣本的梯度權(quán)重被壓低模型把計算資源讓給了真正有難度、有區(qū)分度的邊界樣本學(xué)習(xí)效率自然上去了。這提醒了我們一件事數(shù)據(jù)質(zhì)量對訓(xùn)練效率的影響可能比我們想象的更大。4. 落到工程實踐怎么把這套“自主選擇”搬進(jìn)自己的訓(xùn)練流程4.1 一套可直接照抄的訓(xùn)練流水線你不需要完全復(fù)現(xiàn)論文里的全部細(xì)節(jié)才能吃到這波紅利。我自己按這套思路改造了一個小規(guī)模的SFT流程效果就很明顯。整體流程大致分五步。第一步用弱模型批量生成監(jiān)督樣本?？梢允瞧脤σ部梢允侨M用戶指令、弱模型回答、強模型回答。注意生成時要保存一條關(guān)鍵信息——弱模型對該回答的自置信度后面有大用。第二步用強模型對每條樣本做“一致性評估”。這里的強模型是凍結(jié)不參與訓(xùn)練的主要負(fù)責(zé)判斷“這條弱標(biāo)簽和我自己的判斷是否一致”。具體做法可以是用強模型回答同一個問題再計算兩種答案的語義一致性也可以直接讓強模型輸出一個“認(rèn)同度”評分。我的實操經(jīng)驗是語義一致性比直觀評分更可靠因為大模型給自己打分會存在系統(tǒng)性樂觀偏差。第三步生成置信度分布并確定閾值。把所有樣本的置信度分?jǐn)?shù)做一個直方圖找到分布中的“斷裂點”也就是分?jǐn)?shù)出現(xiàn)斷崖式下降的位置把動態(tài)閾值的基座放在這里再留出一定的緩沖帶。如果分布過于尖銳先把temperature調(diào)高到0.7再做評估。第四步為每一條樣本計算梯度權(quán)重。具體來說置信度高于高閾值的樣本權(quán)重設(shè)為1低于低閾值的樣本權(quán)重設(shè)為0.05到0.2之間中間部分按線性插值或sigmoid函數(shù)過渡。同時為低置信度樣本疊加一個標(biāo)簽平滑項防止模型在錯誤標(biāo)簽上學(xué)得太徹底。第五步用加權(quán)交叉熵?fù)p失進(jìn)行微調(diào)。這里有一個我自己踩過坑得出的教訓(xùn)權(quán)重的min值不能設(shè)成0。設(shè)成0意味著模型對這些樣本完全忽視損失函數(shù)對這些樣本沒有梯度等價于硬丟棄。建議至少要保留0.05的最小權(quán)重讓模型有機會從這些樣本中獲取“反面信息”。4.2 三個必看的動力學(xué)細(xì)節(jié)整個訓(xùn)練過程里有多個細(xì)節(jié)對效果影響很大。一是權(quán)重w千萬不能劇烈波動。如果每一條batch內(nèi)不同樣本的權(quán)重差異過大梯度更新會非常不穩(wěn)定表現(xiàn)為loss曲線大幅震蕩。我給w加了一個指數(shù)移動平均相當(dāng)于讓模型對弱標(biāo)簽的“態(tài)度”變得平穩(wěn)不會隨著單個樣本的置信度劇烈變化而左右搖擺。這個操作讓loss收斂速度明顯變快訓(xùn)練也更穩(wěn)。二是置信度的絕對值和相對值要區(qū)分看待。大模型打分普遍偏高長期在0.9以上這時候直接設(shè)0.8作為高分閾值沒有意義。正確做法是看相對分位以75分位作為高閾值以30分位作為低閾值。這樣就不受模型打分習(xí)慣的影響在各種基座模型上都能自動適配。三是“不要只依賴一種不確定性指標(biāo)”。我試過用softmax作為唯一置信度時在性別化或風(fēng)格化比較強的數(shù)據(jù)上模型的置信度存在明顯偏差——它對風(fēng)格化的內(nèi)容往往高估自己的確定性。后來用多溫度采樣自熵融合的方式這個問題緩解了很多。多花一次推理成本的收益遠(yuǎn)大于后期調(diào)閾值的成本。4.3 實驗復(fù)現(xiàn)需要準(zhǔn)備什么如果你想在自己數(shù)據(jù)集上跑通這套流程建議按下面的資源清單準(zhǔn)備。硬件方面一張至少擁有80GB顯存的推理卡是必須的因為評估階段需要跑強模型的多溫度采樣同時要保持訓(xùn)練階段的可復(fù)現(xiàn)性。軟件方面建議使用開源的分布式訓(xùn)練框架配合支持動態(tài)權(quán)重的損失函數(shù)實現(xiàn)。整個流程里最耗時的其實是置信度打分因為要對每條樣本跑多次采樣推理數(shù)據(jù)量大的時候最好做并行化。數(shù)據(jù)方面最好先準(zhǔn)備一個和目標(biāo)任務(wù)領(lǐng)域接近的驗證集用于觀察訓(xùn)練過程中模型的效果變化。如果驗證集上沒有明顯指標(biāo)提升先別急著加大訓(xùn)練量回頭檢查置信度分?jǐn)?shù)的分布是不是出了問題。5. 常見問題與排查技巧實錄5.1 我剛開始復(fù)現(xiàn)時踩過的一系列坑第一個坑強模型幾乎全盤接受所有弱標(biāo)簽。一開始我以為訓(xùn)練成功了——所有樣本置信度都接近滿分毫無篩選阻力。后來發(fā)現(xiàn)是評估階段的temperature設(shè)置太低模型幾乎以貪心解碼方式回答輸出高度確定自然和弱標(biāo)簽高度一致。把temperature調(diào)到0.7以上分?jǐn)?shù)分布才拉開差距。第二個坑訓(xùn)練loss震蕩得厲害。排查后發(fā)現(xiàn)是動態(tài)權(quán)重w在每一個step都在劇烈變化模型像一只“反復(fù)變卦”的學(xué)生前一步還在認(rèn)真學(xué)習(xí)某個樣本后一步就把它丟棄了。解決方法是給w加EMA平滑讓模型對弱標(biāo)簽的“態(tài)度”變化更緩和。這個改動讓loss曲線立刻平滑了很多。第三個坑訓(xùn)練后雖然對齊指標(biāo)提升了但通用能力明顯下降?；仡^看是“軟加權(quán)”沒有做好低閾值被設(shè)成了0等價于硬丟棄。把最小權(quán)重從0改成0.1之后通用能力掉點問題明顯緩解。所以我在前文反復(fù)強調(diào)軟加權(quán)的最小值不能設(shè)成0這是一個數(shù)字之差效果天壤之別。5.2 常見問題速查表現(xiàn)象可能原因排查順序置信度分?jǐn)?shù)聚成一團(tuán)沒有區(qū)分度評估溫度太低或打分方式單一先調(diào)temperature再嘗試多溫度采樣訓(xùn)練loss全程高位震蕩動態(tài)權(quán)重波動過于劇烈給權(quán)重加EMA平滑觀察曲線變化對齊效果好但通用推理掉點低置信度樣本被硬丟棄把最小權(quán)重從0改為0.05-0.2訓(xùn)練效率沒有提升動態(tài)閾值沒有生效相當(dāng)于全盤接收檢查閾值是否處于合理分位區(qū)間安全拒答率飆升邊界樣本被過濾殆盡恢復(fù)軟加權(quán)保留低置信度樣本這張表是我反復(fù)實驗后總結(jié)出來的基本覆蓋了第一次復(fù)現(xiàn)這類方案時最容易碰到的報文。如果你在實驗中也遇到類似情況照上面的順序排查通常能很快找到問題所在。6. 我的實操體會與可能的擴展方向?qū)懙竭@里聊聊我自己的心得。這套“讓強模型自主選擇”的思路本質(zhì)上是把對齊訓(xùn)練從“服從模式”切換成了“協(xié)商模式”讓強模型用自己的判斷力去反哺自己的訓(xùn)練過程。我用它改造了自己的SFT流程之后最強烈的體感不是某個指標(biāo)暴漲了多少而是訓(xùn)練過程變得“可控”了——模型不再是一味地吸收數(shù)據(jù)而是開始有選擇地學(xué)習(xí)這個轉(zhuǎn)變在調(diào)試和排障時帶來的安全感是傳統(tǒng)全盤接收式訓(xùn)練給不了的。當(dāng)然這套方法也不是萬能的。如果你的弱標(biāo)簽生成模型和強模型能力差距過大比如用幾百萬參數(shù)的模型給幾千億參數(shù)的模型當(dāng)老師置信度打分本身就可能毫無參考意義——因為強模型看弱模型處處都覺得不靠譜最后要么全部低置信度要么全部高置信度選擇器失效。這個“能力差窗口”的問題我認(rèn)為是這個方向下一步最值得探索的課題。擴展方向上我有兩個直覺。一是這套選擇機制可以和“可驗證獎勵”結(jié)合。比如代碼生成場景用編譯通過率和單測通過率作為額外的硬信號疊加在置信度評估之上相當(dāng)于在“自主選擇”的基礎(chǔ)上再多一層客觀驗證篩選會更準(zhǔn)。二是可以遷移到多模態(tài)對齊上讓視覺模型對文本標(biāo)簽做同樣的自主甄別在圖文不一致的樣本上避免被弱標(biāo)簽帶偏。最后再分享一個小技巧在訓(xùn)練中后期把強模型的置信度打分開溫到1.0讓選擇器“更信任自己”能進(jìn)一步壓榨模型的潛力。我在幾個場景里試下來都有效代價是前期要準(zhǔn)備更干凈的訓(xùn)練數(shù)據(jù)來兜底。這里面的平衡值得你親自拿數(shù)據(jù)試一試。