簡(jiǎn)介面向使用 MATLAB 處理類別不平衡數(shù)據(jù)的機(jī)器學(xué)習(xí)學(xué)習(xí)者與工程人員這份 SMOTE 算法實(shí)現(xiàn)包提供了一套可直接參考的合成少數(shù)類過(guò)采樣代碼。核心由兩個(gè) .m 文件構(gòu)成其中一個(gè)承載 SMOTE 主流程另一個(gè)作為調(diào)用與測(cè)試示例便于對(duì)照理解 K 近鄰選取、隨機(jī)線性插值以及新樣本合成的具體寫(xiě)法隨包的 txt 許可證說(shuō)明與 git 配置文件則交代了授權(quán)范圍與版本管理信息。壓縮包共 5 個(gè)文件以 .m 源碼為主輔以說(shuō)明與配置類文本整體約 3KB體積輕量解壓后即可閱讀。已有 1324 人學(xué)習(xí)說(shuō)明其在教學(xué)演示與工程復(fù)現(xiàn)中有一定參考面。對(duì)需要在分類任務(wù)中快速接入過(guò)采樣環(huán)節(jié)的讀者而言可借這份代碼觀察平衡前后模型在召回率、F1 分?jǐn)?shù)等指標(biāo)上的變化也便于按自身數(shù)據(jù)格式調(diào)整近鄰數(shù)與合成比例作為理解算法細(xì)節(jié)的起點(diǎn)。1. SMOTE 不是萬(wàn)能藥一份 MATLAB 版本能幫你解決什么一個(gè)做設(shè)備異常檢測(cè)的朋友把模型結(jié)果貼給我看準(zhǔn)確率 97.4%我讓他把混淆矩陣也發(fā)過(guò)來(lái)——故障類召回 0。這類數(shù)據(jù)在 MATLAB 里跑十個(gè)模型九個(gè)都這樣正樣本占比不到 3%分類器只要全判正常就能拿到高分。SMOTE 算法Synthetic Minority Over-sampling Technique就是沖著這個(gè)局面來(lái)的它不復(fù)制少數(shù)類而是在少數(shù)類樣本與其 KNN 近鄰的連線上隨機(jī)插值造出一批“像但不等同”的新樣本讓分類邊界重新有得選。這份 MATLAB 版本的價(jià)值不在于公式多高深而在于把近鄰選擇、插值方向、采樣倍率全部攤開(kāi)成可控參數(shù)方便你在自己的數(shù)據(jù)上驗(yàn)證它到底是幫了模型還是只加了噪聲。適合手上有類別不平衡數(shù)據(jù)、會(huì)用 MATLAB 做建模、但被召回率卡住的從業(yè)者。2. 環(huán)境與數(shù)據(jù)把不平衡數(shù)據(jù)集整理成可復(fù)現(xiàn)的輸入SMOTE 的效果有一半不取決于算法本身而取決于喂進(jìn)去的數(shù)據(jù)長(zhǎng)什么樣。同一份代碼特征沒(méi)標(biāo)準(zhǔn)化、切分順序反了、類別字段被強(qiáng)行插值跑出來(lái)的合成樣本就是一堆沒(méi)法解釋的數(shù)字。這一章先把輸入這一側(cè)的事情做干凈后面調(diào) k 值和倍率才有意義。2.1 數(shù)據(jù)讀取與類別分布體檢MATLAB 里不平衡數(shù)據(jù)常見(jiàn)的三種來(lái)源CSV/Excel 表格、.mat里的矩陣、數(shù)據(jù)庫(kù)查詢結(jié)果。不管哪種第一步都是把特征矩陣和標(biāo)簽向量分開(kāi)然后統(tǒng)計(jì)每個(gè)類的樣本數(shù)和不平衡比。不平衡比是最多類樣本數(shù)除以最少類樣本數(shù)這個(gè)數(shù)決定了你后面該用 SMOTE 還是該考慮別的路子。% 讀取表格數(shù)據(jù)約定最后一列是標(biāo)簽前面都是特征 T readtable(fault_log.csv); y T.label; % 標(biāo)簽列數(shù)值或字符串均可 X table2array(T(:, 1:end-1)); % 特征矩陣 N x Pdouble % 統(tǒng)計(jì)類別分布 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); ratio counts / sum(counts); fprintf(類別數(shù): %d\n, numel(classList)); for i 1:numel(classList) fprintf( 類別 %s: %d 條 (%.2f%%)\n, ... string(classList(i)), counts(i), ratio(i) * 100); end imbalance max(counts) / min(counts); fprintf(不平衡比: %.1f : 1\n, imbalance);這段代碼里unique的第三個(gè)返回值gidx是每個(gè)樣本所屬類別的編號(hào)accumarray按編號(hào)累加就得到每類計(jì)數(shù)比對(duì)字符串標(biāo)簽做循環(huán)判斷穩(wěn)得多。table2array要求前面所有列都是數(shù)值型如果表里有文本列得先單獨(dú)處理不能直接轉(zhuǎn)。體檢結(jié)果決定后續(xù)策略大致可以按下面這個(gè)區(qū)間判斷不平衡比典型場(chǎng)景處理建議1:1 3:1輕度傾斜優(yōu)先調(diào)分類器權(quán)重SMOTE 收益有限3:1 20:1常見(jiàn)業(yè)務(wù)數(shù)據(jù)SMOTE 或加權(quán) 閾值調(diào)整組合使用20:1 100:1故障、欺詐類SMOTE 邊界清理必須看召回和精確率超過(guò) 100:1極稀有事件先確認(rèn)少數(shù)類樣本是否夠做 KNN考慮異常檢測(cè)思路最后一行是血淚經(jīng)驗(yàn)少數(shù)類只有十幾個(gè)樣本時(shí)k 取 5 已經(jīng)逼近樣本總數(shù)合成出來(lái)的點(diǎn)高度集中等于把噪聲放大。這種情況先把少數(shù)類樣本補(bǔ)到 30 條以上再談 SMOTE。2.2 劃分策略先分層切分再做重采樣這是整篇最容易翻車的一步。很多人習(xí)慣先把少數(shù)類過(guò)采樣到平衡再cvpartition切訓(xùn)練測(cè)試集結(jié)果測(cè)試集里混進(jìn)了由訓(xùn)練樣本插值出來(lái)的合成點(diǎn)評(píng)估分?jǐn)?shù)虛高得離譜上線就掉。正確順序只有一個(gè)先切分再只在訓(xùn)練集上過(guò)采樣測(cè)試集保持原始分布不動(dòng)。% 固定隨機(jī)流保證切分可復(fù)現(xiàn) rng(2024, twister); % 分層留出法cvpartition 對(duì)分類標(biāo)簽?zāi)J(rèn)按類分層 cvp cvpartition(y, Holdout, 0.3); Xtr X(training(cvp), :); ytr y(training(cvp)); Xte X(test(cvp), :); yte y(test(cvp)); fprintf(訓(xùn)練集: %d 條測(cè)試集: %d 條\n, ... numel(ytr), numel(yte)); % 確認(rèn)切分后訓(xùn)練集里的少數(shù)類還在 [clsTr, ~, gTr] unique(ytr); cntTr accumarray(gTr, 1); disp(table(string(clsTr), cntTr, VariableNames, {class,count}));cvpartition的Holdout參數(shù)是測(cè)試集比例0.3 表示留 30%。對(duì)分類標(biāo)簽它默認(rèn)分層也就是盡量保持訓(xùn)練集和測(cè)試集的類別比例一致不需要額外寫(xiě)Stratify。分層切分之后還要打印一次訓(xùn)練集類別計(jì)數(shù)因?yàn)樯贁?shù)類樣本本來(lái)就少隨機(jī)切分有可能把某一類的樣本切得只剩個(gè)位數(shù)后面 KNN 直接失效。如果數(shù)據(jù)量小留出法單次切分的方差太大改成 k 折交叉驗(yàn)證更穩(wěn)cvp cvpartition(y, KFold, 5); for f 1:cvp.NumTestSets Xtr X(training(cvp, f), :); ytr y(training(cvp, f)); Xte X(test(cvp, f), :); yte y(test(cvp, f)); % 在這里對(duì) Xtr/ytr 做 SMOTE再訓(xùn)練、再在 Xte/yte 上評(píng)估 end注意 SMOTE 必須寫(xiě)在循環(huán)內(nèi)部、只作用于當(dāng)前折的訓(xùn)練集。寫(xiě)在外面一次過(guò)采樣再循環(huán)評(píng)估等于讓每一折都看到了其他折的信息交叉驗(yàn)證分?jǐn)?shù)會(huì)明顯偏高。2.3 特征標(biāo)準(zhǔn)化與類別型字段的處理SMOTE 在特征空間里做線性插值距離度量默認(rèn)是歐氏距離所以量綱的影響非常直接一個(gè)取值范圍 0 到 10000 的特征會(huì)把 0 到 1 的特征完全壓住KNN 找到的“近鄰”基本只在這一個(gè)大尺度特征上相近插值出來(lái)的樣本在其余維度上是亂的。標(biāo)準(zhǔn)化參數(shù)必須從訓(xùn)練集統(tǒng)計(jì)不能對(duì)全量數(shù)據(jù)做否則測(cè)試集的均值方差信息泄漏進(jìn)訓(xùn)練過(guò)程% 只用訓(xùn)練集統(tǒng)計(jì)均值和標(biāo)準(zhǔn)差 mu mean(Xtr, 1); sg std(Xtr, 0, 1); sg(sg 0) 1; % 常數(shù)列避免除零 Xtr (Xtr - mu) ./ sg; Xte (Xte - mu) ./ sg;std的第二個(gè)參數(shù) 0 表示按樣本標(biāo)準(zhǔn)差除以 n-1計(jì)算和zscore的默認(rèn)行為一致。常數(shù)列把標(biāo)準(zhǔn)差置 1 而不是 0是為了避免整列變成 NaN這一列本身對(duì)模型沒(méi)貢獻(xiàn)但保留維度比刪列更省事。類別型字段是另一個(gè)雷區(qū)。獨(dú)熱編碼后的 0/1 列做線性插值會(huì)得到 0.37 這種沒(méi)有意義的值分類器要么報(bào)錯(cuò)要么把它當(dāng)連續(xù)特征處理。常見(jiàn)做法是在進(jìn)入 SMOTE 之前把類別列拆出去只對(duì)連續(xù)特征做插值合成完再把類別列按最近鄰樣本的類別值補(bǔ)回去或者干脆對(duì)類別列改用 SMOTENC 一類的思路。MATLAB 原生沒(méi)有現(xiàn)成的 SMOTENC工程上更省事的辦法是把低頻類別合并、高基數(shù)類別做目標(biāo)編碼轉(zhuǎn)成數(shù)值后再統(tǒng)一處理。3. 手寫(xiě) SMOTE 核心KNN 選點(diǎn)與插值公式在 MATLAB 里怎么落地自己寫(xiě)一遍不是為了替代工具箱而是為了在參數(shù)不生效、結(jié)果對(duì)不上的時(shí)候能拆開(kāi)看。SMOTE 的公式本身只有一行坑基本都在近鄰索引和隨機(jī)數(shù)的用法上。3.1 算法三步驟與輸入輸出約定標(biāo)準(zhǔn) SMOTE 的流程拆成三步找出少數(shù)類樣本集合對(duì)集合里每個(gè)樣本用 KNN 找 k 個(gè)最近鄰在樣本與隨機(jī)選中的某個(gè)近鄰之間做線性插值合成新樣本。插值公式是x_new x_i λ · (x_zi ? x_i)其中x_zi是x_i的某個(gè)近鄰λ是 0 到 1 之間的隨機(jī)數(shù)。λ取 0 時(shí)合成點(diǎn)與原樣本重合取 1 時(shí)落在近鄰上中間的取值保證新樣本落在兩點(diǎn)連線上。這也解釋了為什么 SMOTE 對(duì)噪聲敏感如果x_i本身就是被錯(cuò)標(biāo)的樣本插值會(huì)把錯(cuò)誤標(biāo)簽擴(kuò)散到一整片區(qū)域。函數(shù)接口我一般定成五個(gè)輸入特征矩陣、標(biāo)簽向量、近鄰數(shù) k、目標(biāo)比例、隨機(jī)種子輸出合成樣本矩陣和對(duì)應(yīng)標(biāo)簽。這個(gè)約定和后面調(diào)參、對(duì)照實(shí)驗(yàn)都能對(duì)上。3.2 一個(gè)可直接調(diào)的 smote 函數(shù)實(shí)現(xiàn)function [X_syn, y_syn] smote_matlab(X, y, k, ratio, seed) % smote_matlab 手寫(xiě) SMOTE 過(guò)采樣二分類/多分類通用每次只處理一個(gè)少數(shù)類 % X 特征矩陣 N x Pdouble已標(biāo)準(zhǔn)化 % y 標(biāo)簽向量 N x 1數(shù)值或字符串 % k 近鄰數(shù)正整數(shù)必須小于少數(shù)類樣本數(shù) % ratio 目標(biāo)比例合成后少數(shù)類樣本數(shù) ratio * 多數(shù)類樣本數(shù) % seed 隨機(jī)種子保證結(jié)果可復(fù)現(xiàn) if nargin 5, seed 42; end rng(seed, twister); % 找出樣本數(shù)最少的類作為少數(shù)類 [classList, ~, gidx] unique(y); counts accumarray(gidx, 1); [~, minIdx] min(counts); minority classList(minIdx); X_min X(y minority, :); n_min size(X_min, 1); n_maj sum(counts) - n_min; % 計(jì)算需要合成多少條 n_target round(ratio * n_maj); n_need n_target - n_min; if n_need 0 X_syn X_min; y_syn repmat(minority, n_min, 1); return; end if k n_min error(k (%d) 必須小于少數(shù)類樣本數(shù) (%d), k, n_min); end % KNN 近鄰K 取 k1 是為了把自身排掉 idx_knn knnsearch(X_min, X_min, K, k 1); idx_knn idx_knn(:, 2:end); % 第一列是自身丟棄 % 逐條生成合成樣本 X_syn zeros(n_need, size(X, 2)); for i 1:n_need base randi(n_min); % 隨機(jī)選一個(gè)少數(shù)類樣本 nb idx_knn(base, randi(k)); % 從它的 k 個(gè)近鄰里隨機(jī)選一個(gè) lambda rand(1, size(X, 2)); % 每個(gè)維度獨(dú)立的隨機(jī)插值系數(shù) X_syn(i, :) X_min(base, :) lambda .* (X_min(nb, :) - X_min(base, :)); end y_syn repmat(minority, n_need, 1); endknnsearch返回的索引按距離升序排列第一列是查詢點(diǎn)自身距離 0所以取2:end把自身排除這一步漏掉的話合成樣本會(huì)大量與原樣本重合等于做了隨機(jī)復(fù)制。randi(n_min)是有放回抽樣同一樣本可能被選中多次這是 SMOTE 的原始設(shè)計(jì)不需要去重。lambda這里用了rand(1, P)每個(gè)特征維度一個(gè)獨(dú)立隨機(jī)數(shù)也有實(shí)現(xiàn)用單個(gè)標(biāo)量rand()對(duì)所有維度共用兩種都有人用前者生成的樣本分布更分散后者更貼近原始論文。做對(duì)照實(shí)驗(yàn)時(shí)固定一種別中途換。調(diào)用方式[Xtr_syn, ytr_syn] smote_matlab(Xtr, ytr, 5, 0.8, 42); Xtr_bal [Xtr; Xtr_syn]; ytr_bal [ytr; ytr_syn]; fprintf(過(guò)采樣前少數(shù)類 %d 條過(guò)采樣后 %d 條\n, ... sum(ytr minority), sum(ytr_bal minority));ratio取 0.8 表示把少數(shù)類補(bǔ)到多數(shù)類的 80%不一定要補(bǔ)到 1:1。補(bǔ)到完全平衡在多數(shù)場(chǎng)景下并不是最優(yōu)尤其是少數(shù)類里混有噪聲時(shí)1:1 會(huì)把噪聲的影響放大一倍。3.3 向量化提速別再寫(xiě)雙重循環(huán)上面的循環(huán)版在小數(shù)據(jù)上沒(méi)問(wèn)題樣本上萬(wàn)、需要合成幾十萬(wàn)條時(shí)就會(huì)明顯變慢。MATLAB 的矩陣索引可以把整個(gè)生成過(guò)程壓成幾行速度差一個(gè)量級(jí)。% 向量化版本替換循環(huán)部分 baseIdx randi(n_min, n_need, 1); % 每條樣本的基準(zhǔn)點(diǎn) nbPick randi(k, n_need, 1); % 每條樣本選第幾個(gè)近鄰 linIdx sub2ind(size(idx_knn), baseIdx, nbPick); % 轉(zhuǎn)成線性索引 nbIdx idx_knn(linIdx); % 近鄰樣本下標(biāo) lambda rand(n_need, size(X, 2)); % 逐維度隨機(jī)系數(shù) X_syn X_min(baseIdx, :) ... lambda .* (X_min(nbIdx, :) - X_min(baseIdx, :));關(guān)鍵是sub2indidx_knn是n_min × k的矩陣baseIdx和nbPick是兩個(gè)列向量直接寫(xiě)idx_knn(baseIdx, nbPick)在舊版本 MATLAB 里會(huì)按笛卡爾積展開(kāi)成n_need × n_need的矩陣內(nèi)存瞬間爆掉。sub2ind把它轉(zhuǎn)成線性下標(biāo)取出來(lái)的才是逐元素對(duì)應(yīng)的那一個(gè)近鄰。這個(gè)坑我在一次三十萬(wàn)條合成的任務(wù)里踩過(guò)機(jī)器直接卡死。向量化之后X_min(baseIdx, :)會(huì)復(fù)制出一份n_need × P的矩陣內(nèi)存占用大約是合成樣本本身的兩倍。數(shù)據(jù)維度很高時(shí)P 上千可以分塊生成每塊一萬(wàn)條拼完再返回。3.4 用內(nèi)置 smote 函數(shù)做交叉驗(yàn)證較新版本的 Statistics and Machine Learning Toolbox 提供了smote函數(shù)參數(shù)名和默認(rèn)值在不同版本間可能有差異先用help smote或exist(smote, file)確認(rèn)本地有沒(méi)有再照著幫助文檔寫(xiě)。手寫(xiě)版和內(nèi)置版各跑一遍、對(duì)比合成樣本的均值和協(xié)方差是確認(rèn)自己實(shí)現(xiàn)沒(méi)寫(xiě)錯(cuò)的最快方式。if exist(smote, file) 2 % 參數(shù)名以本地 help smote 為準(zhǔn)這里只示意調(diào)用形式 [X_builtin, y_builtin] smote(Xtr, ytr, Class, minority, ... K, 5, Ratio, 0.8); fprintf(內(nèi)置函數(shù)合成后樣本數(shù): %d\n, size(X_builtin, 1)); else fprintf(當(dāng)前環(huán)境沒(méi)有 smote 函數(shù)使用手寫(xiě)版本\n); end對(duì)比時(shí)不要只看樣本總數(shù)要看每個(gè)特征的均值和標(biāo)準(zhǔn)差有沒(méi)有被拉偏。合成樣本的均值應(yīng)該落在原少數(shù)類均值附近標(biāo)準(zhǔn)差略小于原分布因?yàn)椴逯禃?huì)向中心收縮。如果某個(gè)特征的標(biāo)準(zhǔn)差突然翻倍多半是那一列沒(méi)標(biāo)準(zhǔn)化或者混進(jìn)了異常值。4. 參數(shù)怎么設(shè)k 值、倍率與隨機(jī)種子SMOTE 的可調(diào)參數(shù)不多但每一個(gè)都對(duì)結(jié)果有實(shí)質(zhì)影響。默認(rèn)值照抄能跑通跑出來(lái)的模型好不好用是另一回事。4.1 k 值的取值邊界與失效場(chǎng)景k 是每個(gè)少數(shù)類樣本參考的近鄰個(gè)數(shù)原始論文建議 5工程上 3 到 10 都常見(jiàn)。k 太小合成樣本緊貼原樣本多樣性不足模型容易過(guò)擬合到那幾個(gè)點(diǎn)k 太大近鄰可能跨越類別邊界合成點(diǎn)直接落進(jìn)多數(shù)類區(qū)域等于給模型喂錯(cuò)標(biāo)樣本。取值有個(gè)硬約束k 必須小于少數(shù)類樣本數(shù)否則knnsearch找不到足夠的近鄰。少數(shù)類只有 20 條時(shí) k 最大取 19但實(shí)際取到 15 以上已經(jīng)沒(méi)有意義近鄰集合幾乎覆蓋整個(gè)少數(shù)類插值退化成在全局范圍內(nèi)隨機(jī)撒點(diǎn)。我一般按少數(shù)類樣本數(shù)分檔少數(shù)類樣本數(shù)建議 k說(shuō)明 201 3近鄰信息不足優(yōu)先補(bǔ)數(shù)據(jù)而不是調(diào) k20 1003 5最常用的區(qū)間100 10005 10可以嘗試更大 k 提升平滑度 10005 15邊際收益遞減重點(diǎn)轉(zhuǎn)向邊界清理判斷 k 是否合適有個(gè)簡(jiǎn)單辦法合成完之后統(tǒng)計(jì)每個(gè)合成點(diǎn)到其最近多數(shù)類樣本的距離和少數(shù)類原樣本到最近多數(shù)類樣本的距離分布做對(duì)比。合成點(diǎn)的這個(gè)距離明顯更小說(shuō)明插值跨過(guò)了邊界k 該調(diào)小。4.2 合成倍率與目標(biāo)比例倍率決定合成多少條。補(bǔ)到 1:1 是最直覺(jué)的做法但在噪聲多的數(shù)據(jù)上往往不是最優(yōu)。少數(shù)類里如果混了 10% 的錯(cuò)標(biāo)樣本1:1 過(guò)采樣會(huì)把這 10% 的錯(cuò)誤放大成和多數(shù)類同量級(jí)的錯(cuò)誤信號(hào)模型精確率會(huì)掉得很難看。比較穩(wěn)的做法是從小倍率開(kāi)始往上加看驗(yàn)證集上的召回和精確率曲線ratios [0.2 0.4 0.6 0.8 1.0]; results zeros(numel(ratios), 4); % recall, precision, gmean, auc for r 1:numel(ratios) [Xs, ys] smote_matlab(Xtr, ytr, 5, ratios(r), 42); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag, ... NumLearningCycles, 100); [results(r,1), results(r,2), results(r,3), results(r,4)] ... evalModel(mdl, Xte, yte, minority); endfitcensemble的Bag是 bagged 決策樹(shù)對(duì)不平衡數(shù)據(jù)本身有一定魯棒性適合作為 SMOTE 的配套分類器NumLearningCycles控制樹(shù)的數(shù)量100 是速度和效果的折中數(shù)據(jù)量大時(shí)降到 50 也不會(huì)差太多。evalModel是下一章要寫(xiě)的評(píng)估函數(shù)放在這里先占位。跑完把results畫(huà)出來(lái)橫軸是倍率縱軸是指標(biāo)通常能看到召回隨倍率上升、精確率緩慢下降G-mean 在某一點(diǎn)達(dá)到峰值。峰值對(duì)應(yīng)的倍率就是你這份數(shù)據(jù)上的合理值不要照搬別人的 1:1。4.3 隨機(jī)種子與可復(fù)現(xiàn)性SMOTE 內(nèi)部有兩次隨機(jī)選哪個(gè)基準(zhǔn)樣本、選哪個(gè)近鄰、λ 取多少。不固定種子同樣的輸入跑兩次結(jié)果能差好幾個(gè)百分點(diǎn)調(diào)參時(shí)根本分不清是參數(shù)起作用還是隨機(jī)波動(dòng)。% 每次實(shí)驗(yàn)前固定且不同實(shí)驗(yàn)之間用不同種子做重復(fù) seeds [11 22 33 44 55]; scores zeros(numel(seeds), 1); for s 1:numel(seeds) [Xs, ys] smote_matlab(Xtr, ytr, 5, 0.6, seeds(s)); mdl fitcensemble([Xtr; Xs], [ytr; ys], Method, Bag); [~, ~, g, ~] evalModel(mdl, Xte, yte, minority); scores(s) g; end fprintf(G-mean 均值 %.4f標(biāo)準(zhǔn)差 %.4f\n, mean(scores), std(scores));單次結(jié)果只能說(shuō)明“能跑”五次不同種子的均值加減標(biāo)準(zhǔn)差才能說(shuō)明“穩(wěn)定”。如果標(biāo)準(zhǔn)差超過(guò) 0.03說(shuō)明模型對(duì)采樣太敏感要么增加數(shù)據(jù)量要么改用對(duì)隨機(jī)性更魯棒的方案。還有一個(gè)容易忽略的點(diǎn)rng是全局狀態(tài)如果代碼里用了parfor并行每個(gè) worker 的隨機(jī)流是獨(dú)立的rng(seed)在并行環(huán)境下不能保證結(jié)果可復(fù)現(xiàn)。需要并行時(shí)用parfor內(nèi)部的rng(seed workerId)或者改用RandStream顯式指定流。4.4 距離度量與特征縮放knnsearch默認(rèn)歐氏距離對(duì)連續(xù)特征合適如果特征里有大量二值列歐氏距離會(huì)被稀疏散布稀釋可以考慮Distance參數(shù)改成cosine或mahalanobis。馬氏距離需要協(xié)方差矩陣可逆特征數(shù)大于樣本數(shù)時(shí)直接報(bào)錯(cuò)得先降維。% 馬氏距離示例要求少數(shù)類樣本數(shù) 特征數(shù) if size(X_min, 1) size(X_min, 2) idx_knn knnsearch(X_min, X_min, K, k 1, ... Distance, mahalanobis); else idx_knn knnsearch(X_min, X_min, K, k 1); % 退回歐氏距離 end這段判斷不是多余的馬氏距離在樣本數(shù)不足時(shí)協(xié)方差矩陣奇異knnsearch會(huì)拋警告然后返回 NaN后續(xù)插值全是 NaN錯(cuò)誤信息要到訓(xùn)練分類器時(shí)才出現(xiàn)排查起來(lái)很繞。5. 避坑排查SMOTE 用錯(cuò)的五個(gè)典型現(xiàn)場(chǎng)SMOTE 的代碼短錯(cuò)法倒是不少。下面五條是我自己和小范圍交流里反復(fù)見(jiàn)到的按“現(xiàn)象 → 原因 → 解決”記下來(lái)遇到時(shí)對(duì)照著查。5.1 召回上去了精確率崩到?jīng)]法看現(xiàn)象過(guò)采樣之后少數(shù)類召回從 0.3 漲到 0.85但精確率從 0.7 掉到 0.15模型把所有可疑樣本都判成少數(shù)類。原因合成倍率過(guò)高或者少數(shù)類內(nèi)部混有錯(cuò)標(biāo)樣本插值把噪聲擴(kuò)散成一片連續(xù)區(qū)域分類器學(xué)到的邊界過(guò)寬。少數(shù)類樣本本身如果是從多數(shù)類里錯(cuò)分出來(lái)的SMOTE 會(huì)讓這些點(diǎn)的鄰域被大量合成樣本覆蓋。解決先把倍率降到 0.4 左右重跑觀察精確率是否回升再用最近鄰清理把少數(shù)類里 k 個(gè)近鄰中多數(shù)類占優(yōu)的樣本剔掉再合成。MATLAB 里可以先用knnsearch在原始全量數(shù)據(jù)上找每個(gè)少數(shù)類樣本的近鄰統(tǒng)計(jì)近鄰里多數(shù)類的比例超過(guò) 0.6 的標(biāo)記為可疑樣本排除。5.2 交叉驗(yàn)證分?jǐn)?shù)漂亮換測(cè)試集就掉十幾個(gè)點(diǎn)現(xiàn)象五折交叉驗(yàn)證 AUC 0.93留出測(cè)試集只有 0.78。原因過(guò)采樣寫(xiě)在了交叉驗(yàn)證循環(huán)外面合成樣本先混進(jìn)全量數(shù)據(jù)再切折同一批合成點(diǎn)既出現(xiàn)在訓(xùn)練折又出現(xiàn)在驗(yàn)證折驗(yàn)證集被污染。這類泄漏在隨機(jī)森林和 KNN 上尤其明顯因?yàn)槟Ｐ湍苤苯佑涀『铣牲c(diǎn)的位置。解決把 SMOTE 移到每一折的訓(xùn)練集內(nèi)部驗(yàn)證折完全不參與合成。用cvpartition的KFold時(shí)training(cvp, f)和test(cvp, f)要嚴(yán)格分開(kāi)合成只作用于前者。改完分?jǐn)?shù)通常會(huì)掉 5 到 15 個(gè)點(diǎn)這才是真實(shí)水平。5.3 報(bào)錯(cuò)“K 必須小于樣本數(shù)”或合成樣本大量重復(fù)現(xiàn)象knnsearch拋索引越界或者合成完之后去重發(fā)現(xiàn) 90% 的樣本和原樣本重合。原因k 設(shè)得比少數(shù)類樣本數(shù)還大或者knnsearch返回的近鄰索引里第一列不是自身數(shù)據(jù)里有完全重復(fù)的點(diǎn)時(shí)會(huì)出現(xiàn)2:end丟掉的是真實(shí)近鄰而不是自身。解決函數(shù)入口加k n_min的校驗(yàn)這一點(diǎn) 3.2 的代碼里已經(jīng)寫(xiě)了。去重問(wèn)題先檢查數(shù)據(jù)里有沒(méi)有重復(fù)行unique(X_min, rows)去重后再算少數(shù)類樣本數(shù)否則計(jì)數(shù)是虛的。如果確實(shí)需要大量合成把 k 降到 3 到 5并接受一定比例的重復(fù)。5.4 合成樣本落在多數(shù)類密集區(qū)現(xiàn)象把合成樣本和原始數(shù)據(jù)畫(huà)到二維PCA 降維后一看一批合成點(diǎn)明顯扎在多數(shù)類的簇里。原因近鄰跨越了類別邊界。少數(shù)類樣本如果分布在多數(shù)類兩側(cè)k 取大了以后近鄰會(huì)包含另一側(cè)的樣本插值路徑直接穿過(guò)多數(shù)類區(qū)域。另一個(gè)原因是特征沒(méi)標(biāo)準(zhǔn)化距離被單一特征主導(dǎo)近鄰選得毫無(wú)意義。解決合成后做一次過(guò)濾計(jì)算每個(gè)合成點(diǎn)到最近多數(shù)類樣本的距離小于少數(shù)類原樣本該距離中位數(shù)的直接丟棄。再做一次標(biāo)準(zhǔn)化檢查確認(rèn)所有特征的取值范圍在同一量級(jí)。這兩步能把越界的合成點(diǎn)清掉大半。5.5 每次運(yùn)行結(jié)果都不一樣調(diào)參無(wú)從下手現(xiàn)象同一組參數(shù)跑三次AUC 分別是 0.81、0.76、0.84。原因沒(méi)有固定隨機(jī)種子或者固定了但代碼里有parfor、randperm混用了不同的隨機(jī)流。還有一種是分類器本身帶隨機(jī)性隨機(jī)森林的 bootstrap 采樣只固定 SMOTE 的種子不夠。解決在腳本最開(kāi)頭統(tǒng)一rng(seed, twister)SMOTE 函數(shù)內(nèi)部不要再調(diào)用一次rng覆蓋全局狀態(tài)改成把種子作為參數(shù)傳進(jìn)去但只在入口設(shè)置一次。分類器那邊同樣要設(shè)Reproducible, true如果該模型支持。最后用五次不同種子的均值加減標(biāo)準(zhǔn)差匯報(bào)結(jié)果而不是拿單次最好成績(jī)。6. 進(jìn)階用法與驗(yàn)證用指標(biāo)和交叉驗(yàn)證判斷過(guò)采樣到底值不值參數(shù)調(diào)完不算結(jié)束得有一套固定的評(píng)估流程來(lái)回答“加 SMOTE 到底有沒(méi)有用”。我習(xí)慣把對(duì)照實(shí)驗(yàn)寫(xiě)成一個(gè)小腳本一次性跑完基線、加權(quán)、SMOTE 三組輸出同一張表里對(duì)比。function [recall, precision, gmean, auc] evalModel(mdl, Xte, yte, posClass) % 在原始分布的測(cè)試集上評(píng)估posClass 指定少數(shù)類標(biāo)簽 [label, score] predict(mdl, Xte); cm confusionmat(yte, label, Order, mdl.ClassNames); posIdx find(strcmp(string(mdl.ClassNames), string(posClass)), 1); tp cm(posIdx, posIdx); fn sum(cm(posIdx, :)) - tp; fp sum(cm(:, posIdx)) - tp; tn sum(cm(:)) - tp - fn - fp; recall tp / max(tp fn, eps); precision tp / max(tp fp, eps); gmean sqrt(recall * (tn / max(tn fp, eps))); posCol find(strcmp(string(mdl.ClassNames), string(posClass)), 1); [~, ~, ~, auc] perfcurve(yte, score(:, posCol), posClass); endconfusionmat的Order參數(shù)保證行列順序和mdl.ClassNames一致不然posIdx對(duì)不上算出來(lái)的召回和精確率會(huì)張冠李戴。perfcurve的第四個(gè)返回值是 AUC第二個(gè)輸入必須是正類的分?jǐn)?shù)列列號(hào)同樣按ClassNames查。三組對(duì)照的寫(xiě)法方案訓(xùn)練集處理分類器設(shè)置基線原樣默認(rèn)參數(shù)加權(quán)原樣Prior設(shè)為Empirical或手動(dòng)指定類權(quán)重SMOTE過(guò)采樣到 0.6默認(rèn)參數(shù)跑完看三列數(shù)字召回提升幅度、精確率損失、G-mean 凈變化。SMOTE 組如果 G-mean 比加權(quán)組還低說(shuō)明這份數(shù)據(jù)上過(guò)采樣不如直接調(diào)權(quán)重沒(méi)必要硬上。還有一個(gè)我常做的檢查把合成樣本和原樣本分別標(biāo)記訓(xùn)練完之后看模型對(duì)合成樣本的預(yù)測(cè)準(zhǔn)確率。如果模型對(duì)合成樣本的準(zhǔn)確率接近 100%對(duì)原始少數(shù)類樣本只有 70%說(shuō)明它在背合成點(diǎn)這批合成樣本的質(zhì)量有問(wèn)題得回頭查 k 和邊界清理。從那以后我每次上 SMOTE 之前都強(qiáng)制先跑一遍“先切分、再標(biāo)準(zhǔn)化、只在訓(xùn)練折內(nèi)合成”的流程檢查參數(shù)可以慢慢調(diào)順序錯(cuò)了后面全是白工。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取