1. 從“準(zhǔn)確率”的陷阱說起為什么我們需要這么多評(píng)價(jià)指標(biāo)剛接觸機(jī)器學(xué)習(xí)分類任務(wù)時(shí)很多人包括當(dāng)年的我的第一反應(yīng)就是看“準(zhǔn)確率”Accuracy。模型預(yù)測(cè)對(duì)了多少樣本聽起來簡(jiǎn)單又直觀。但很快你就會(huì)在一些真實(shí)場(chǎng)景里栽跟頭。比如我們要開發(fā)一個(gè)檢測(cè)罕見疾病的模型假設(shè)人群中患病率只有1%。如果我寫一個(gè)“傻瓜模型”永遠(yuǎn)只預(yù)測(cè)“健康”那么這個(gè)模型的準(zhǔn)確率高達(dá)99%。從數(shù)字上看它“非常準(zhǔn)”但實(shí)際上一文不值因?yàn)樗粋€(gè)病人都沒找出來。這個(gè)極端的例子就暴露了準(zhǔn)確率在“類別不平衡”問題上的巨大缺陷。這引出了我們?cè)u(píng)價(jià)一個(gè)分類模型時(shí)最核心的追問我們到底關(guān)心什么是盡可能把所有正例都找出來查全率還是確保找出來的盡量都是對(duì)的查準(zhǔn)率亦或是我們需要一個(gè)綜合的、對(duì)類別分布不敏感的、能反映模型整體排序能力的指標(biāo)AUC、AUPRC、F1這些指標(biāo)就是為了從不同維度回答這些問題而誕生的。它們不是枯燥的數(shù)學(xué)公式而是我們與模型“對(duì)話”的語言幫助我們理解模型在特定業(yè)務(wù)場(chǎng)景下的真實(shí)表現(xiàn)。今天我們就拋開教科書式的定義從實(shí)際應(yīng)用和避坑的角度把這些指標(biāo)掰開揉碎了講清楚。2. 二分類的基石混淆矩陣與它的四個(gè)“孩子”要理解后續(xù)所有指標(biāo)你必須先徹底搞懂“混淆矩陣”Confusion Matrix。它不是什么高深概念就是一張記錄模型“功過”的2x2成績(jī)單。我們以“疾病檢測(cè)”正例患病負(fù)例健康為例真實(shí)情況 \ 預(yù)測(cè)結(jié)果預(yù)測(cè)為正 (患病)預(yù)測(cè)為負(fù) (健康)實(shí)際為正 (患病)真正例 (TP)病人被正確診斷假負(fù)例 (FN)病人被漏診危險(xiǎn)實(shí)際為負(fù) (健康)假正例 (FP)健康人被誤診虛驚一場(chǎng)真負(fù)例 (TN)健康人被正確排除這張表里的四個(gè)數(shù)字TP, FP, FN, TN是所有指標(biāo)的“原料”。很多新手會(huì)混淆FP和FN一個(gè)簡(jiǎn)單的記憶竅門是看第二個(gè)字。“正”或“負(fù)”代表模型的預(yù)測(cè)結(jié)果“真”或“假”代表這個(gè)預(yù)測(cè)對(duì)不對(duì)。所以“假正例(FP)”就是“預(yù)測(cè)為正但它是假的實(shí)際為負(fù)”。從這四個(gè)基礎(chǔ)值直接衍生出三個(gè)最核心的率指標(biāo)查準(zhǔn)率 (Precision) TP / (TP FP)它回答的問題是在所有被模型標(biāo)記為“患病”的人里到底有多少是真正的病人這衡量的是模型判斷的嚴(yán)謹(jǐn)性。在誤診成本很高的場(chǎng)景比如癌癥篩查一次誤診可能帶來巨大的心理壓力和后續(xù)不必要的侵入性檢查我們會(huì)非常看重Precision。FP越少Precision越高。查全率 (Recall) TP / (TP FN)它回答的問題是在所有真正的病人里模型成功找出了多少這衡量的是模型發(fā)現(xiàn)的全面性。在漏診后果嚴(yán)重的場(chǎng)景比如安檢中的危險(xiǎn)品檢測(cè)漏掉一個(gè)炸彈后果不堪設(shè)想我們會(huì)極度追求Recall。FN越少Recall越高。特異度 (Specificity) TN / (TN FP)它回答的問題是在所有健康人里模型正確排除了多少這個(gè)指標(biāo)在負(fù)例也很重要的場(chǎng)景下使用但很多時(shí)候我們的焦點(diǎn)在正例上所以Specificity不如前兩者常用。注意Precision和Recall是一對(duì)天生的“冤家”。通常提高分類閾值模型更“保守”只有非常確信時(shí)才判為正Precision會(huì)上升因?yàn)镕P減少但Recall會(huì)下降因?yàn)橐恍┠＠鈨煽傻恼宦┑袅薋N增加。反之降低閾值模型更“激進(jìn)”Recall上升Precision下降。這個(gè)權(quán)衡是分類模型調(diào)優(yōu)的核心藝術(shù)。3. F1分?jǐn)?shù)Precision和Recall的“調(diào)和平均”既然Precision和Recall經(jīng)?！按蚣堋蔽覀兡懿荒苡靡粋€(gè)數(shù)字來綜合反映它們呢最直接的想法是算術(shù)平均(Precision Recall) / 2。但這樣有問題如果一個(gè)模型Precision1.0Recall0.1算術(shù)平均還有0.55這顯然高估了模型因?yàn)樗腞ecall太差了。于是就有了F1分?jǐn)?shù)它是Precision和Recall的調(diào)和平均數(shù)。調(diào)和平均的特點(diǎn)是只有當(dāng)兩個(gè)值都比較高時(shí)結(jié)果才會(huì)高任何一個(gè)值很低都會(huì)把整體分?jǐn)?shù)拉下來。其公式為F1 2 * (Precision * Recall) / (Precision Recall)你可以把它理解為Precision和Recall的“平衡點(diǎn)”或“綜合考量”。在上面的極端例子里F1 2*(1.0*0.1)/(1.00.1) ≈ 0.18這個(gè)低分就真實(shí)反映了模型糟糕的Recall。F1的應(yīng)用場(chǎng)景與坑點(diǎn)F1在學(xué)術(shù)論文和各類競(jìng)賽中非常常見因?yàn)樗靡粋€(gè)數(shù)給出了一個(gè)相對(duì)均衡的評(píng)價(jià)。但它隱含了一個(gè)假設(shè)Precision和Recall同等重要。然而在實(shí)際業(yè)務(wù)中這個(gè)假設(shè)往往不成立。場(chǎng)景一垃圾郵件過濾。用戶更關(guān)心Precision別把正常郵件扔進(jìn)垃圾箱偶爾漏掉一兩封垃圾郵件Recall低一點(diǎn)是可以接受的。這時(shí)用F1評(píng)價(jià)可能會(huì)讓你選出一個(gè)Recall不錯(cuò)但Precision欠佳的模型導(dǎo)致用戶體驗(yàn)變差。場(chǎng)景二金融欺詐檢測(cè)。機(jī)構(gòu)更關(guān)心Recall盡可能抓住所有欺詐交易即使因此產(chǎn)生一些誤報(bào)FPPrecision降低也可以通過人工審核來解決。這時(shí)盲目追求F1最高可能讓你選出一個(gè)過于保守、漏掉很多欺詐案的模型。所以我的經(jīng)驗(yàn)是永遠(yuǎn)不要只看F1。一定要結(jié)合Precision和Recall的具體數(shù)值并根據(jù)業(yè)務(wù)代價(jià)來決策。F1是一個(gè)方便的“快照”但不是“圣旨”。4. ROC曲線與AUC衡量模型“排序能力”的金標(biāo)準(zhǔn)前面討論的Precision、Recall、F1都依賴于一個(gè)特定的分類閾值比如模型輸出概率大于0.5就判為正。但模型的輸出通常是0到1之間的一個(gè)概率值這個(gè)0.5的閾值是我們?nèi)藶樵O(shè)定的。如果我們調(diào)整這個(gè)閾值就會(huì)得到無數(shù)對(duì)Precision, Recall或FPR, TPR。這里引入兩個(gè)新概念真正例率 (TPR)其實(shí)就是Recall。TPR TP / (TP FN)。假正例率 (FPR)所有負(fù)例中被誤判為正的比例。FPR FP / (FP TN)。它衡量的是“冤枉好人”的比率。ROC曲線Receiver Operating Characteristic Curve的繪制過程就是遍歷所有可能閾值的過程將模型對(duì)所有樣本的預(yù)測(cè)概率從高到低排序。從最嚴(yán)格閾值1.0所有樣本判為負(fù)到最寬松閾值0.0所有樣本判為正依次設(shè)定閾值。每個(gè)閾值下計(jì)算一對(duì)FPR, TPR坐標(biāo)。將所有點(diǎn)連接起來就得到了ROC曲線。一個(gè)完全隨機(jī)的模型比如拋硬幣其ROC曲線是一條從(0,0)到(1,1)的對(duì)角線稱為“隨機(jī)線”。一個(gè)好的模型其ROC曲線應(yīng)該盡可能向左上角“拱起”這意味著在相同的FPR下它能獲得更高的TPR。AUCArea Under the ROC Curve就是ROC曲線下的面積。這個(gè)面積的取值范圍在0.5隨機(jī)模型到1.0完美模型之間。AUC的核心價(jià)值與解讀AUC有一個(gè)非常漂亮的概率學(xué)解釋隨機(jī)選取一個(gè)正樣本和一個(gè)負(fù)樣本模型給正樣本的打分高于負(fù)樣本的概率。AUC0.8意味著隨機(jī)抽一個(gè)病人和一個(gè)健康人模型認(rèn)為病人患病概率更高的可能性是80%。為什么AUC如此受青睞與閾值無關(guān)它評(píng)估的是模型整體的排序能力不依賴于某個(gè)具體的分類閾值。這在模型選型階段非常有用。對(duì)類別不平衡相對(duì)不敏感相比準(zhǔn)確率AUC在正負(fù)樣本比例懸殊時(shí)依然能給出合理的評(píng)價(jià)。這是它最大的優(yōu)點(diǎn)之一。AUC的“坑”與局限性盡管AUC很強(qiáng)大但盲目信任它也會(huì)出問題?？右籄UC高不代表模型可用。假設(shè)我們有兩個(gè)模型在同一個(gè)數(shù)據(jù)集上模型AAUC0.9但在高Recall區(qū)域比如我們業(yè)務(wù)要求Recall0.95的Precision慘不忍睹。模型BAUC0.85但在Recall0.95時(shí)Precision依然保持在一個(gè)可接受的水平。 從業(yè)務(wù)出發(fā)模型B可能才是更好的選擇。AUC反映的是全局排序能力而業(yè)務(wù)往往只關(guān)心局部某個(gè)閾值附近的表現(xiàn)?？佣跇O端類別不平衡時(shí)AUC可能過于樂觀。當(dāng)負(fù)樣本數(shù)量極大時(shí)ROC曲線左上角區(qū)域主要由大量FPR極小的點(diǎn)構(gòu)成這些點(diǎn)對(duì)面積貢獻(xiàn)很大可能導(dǎo)致AUC虛高但模型在實(shí)際操作閾值下的表現(xiàn)可能并不好?？尤鼳UC無法區(qū)分曲線形狀。兩條交叉的ROC曲線可能有相同的AUC值但一個(gè)在低FPR區(qū)域表現(xiàn)好另一個(gè)在高TPR區(qū)域表現(xiàn)好業(yè)務(wù)選擇完全不同。實(shí)操建議永遠(yuǎn)要畫出ROC曲線來看而不僅僅是看AUC一個(gè)數(shù)字。結(jié)合業(yè)務(wù)確定你能接受的最高FPR例如誤報(bào)率不能超過5%然后去看在該FPR下模型能達(dá)到的TPRRecall是多少這才是對(duì)業(yè)務(wù)有直接意義的洞察。5. PR曲線與AUPRC聚焦正例應(yīng)對(duì)不平衡的利器當(dāng)類別不平衡問題非常嚴(yán)重時(shí)比如正負(fù)樣本比例1:100甚至更夸張ROC曲線和AUC可能會(huì)給我們一種“模型還不錯(cuò)”的錯(cuò)覺。因?yàn)镕PR FP/(FPTN)當(dāng)TN這個(gè)分母巨大時(shí)即使FP絕對(duì)數(shù)量不少FPR也會(huì)被壓得很低使得ROC曲線看起來依然很“凸”。這時(shí)我們就需要請(qǐng)出PR曲線Precision-Recall Curve和AUPRCArea Under the PR Curve。PR曲線的橫軸是Recall縱軸是Precision。它完全聚焦于正例的表現(xiàn)忽略了龐大的負(fù)例群體TN。繪制PR曲線和ROC類似通過遍歷所有分類閾值計(jì)算每個(gè)閾值下的Recall, Precision點(diǎn)然后連線。AUPRC的含義就是PR曲線下的面積。一個(gè)完美模型的PR曲線是從左上角(0,1)水平向右到(1,1)的直線AUPRC1。隨機(jī)模型的PR曲線是一條水平線其高度等于正例的比例先驗(yàn)概率如果正例只占1%那么隨機(jī)模型的AUPRC就是0.01非常低。為什么AUPRC在不平衡場(chǎng)景下更靠譜因?yàn)樗糯罅四Ｐ驮谡媳憩F(xiàn)差異的影響。在負(fù)例海量的情況下模型只要稍微“聰明”一點(diǎn)能多正確識(shí)別出一些正例提高Recall同時(shí)保持Precision不崩盤就能顯著提升AUPRC。而AUC可能因?yàn)門N太大而對(duì)這種提升不敏感。ROC-AUC vs. PR-AUPRC 如何選擇這是一個(gè)非常實(shí)際的問題。我的經(jīng)驗(yàn)法則是當(dāng)正負(fù)樣本比例大致均衡如1:1到1:10兩者都可以用AUC更常見因?yàn)樗兄庇^的概率解釋。當(dāng)類別嚴(yán)重不平衡且你更關(guān)心正例的識(shí)別情況這是大多數(shù)不平衡場(chǎng)景的關(guān)注點(diǎn)優(yōu)先使用PR曲線和AUPRC。例如欺詐檢測(cè)、缺陷檢測(cè)、信息檢索相關(guān)文檔是正例。當(dāng)業(yè)務(wù)對(duì)FP和FN有明確的代價(jià)考量需要綜合看正負(fù)例時(shí)ROC曲線展示FPR和TPR的權(quán)衡可能更合適。一個(gè)簡(jiǎn)單的記憶方式ROC關(guān)心“全局排序”PR關(guān)心“正例找得怎么樣”。在實(shí)際項(xiàng)目中我通常會(huì)同時(shí)畫出兩條曲線對(duì)比觀察。6. 實(shí)戰(zhàn)演練用Python代碼解讀指標(biāo)與繪制曲線理論說了這么多我們動(dòng)手算一下、畫一下感受會(huì)更深刻。這里使用Python的sklearn和matplotlib庫。import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import (confusion_matrix, precision_score, recall_score, f1_score, roc_curve, auc, precision_recall_curve, average_precision_score) # 1. 生成一個(gè)模擬的不平衡數(shù)據(jù)集正例約占10% X, y make_classification(n_samples10000, n_features20, n_informative10, n_redundant5, n_clusters_per_class2, weights[0.9, 0.1], flip_y0.05, random_state42) print(f樣本分布負(fù)例 {sum(y0)} 正例 {sum(y1)}) # 2. 分割數(shù)據(jù)集訓(xùn)練一個(gè)簡(jiǎn)單的邏輯回歸模型 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3, random_state42, stratifyy) model LogisticRegression(max_iter1000, class_weightbalanced) # 使用class_weight處理不平衡 model.fit(X_train, y_train) y_pred model.predict(X_test) # 默認(rèn)閾值0.5下的類別預(yù)測(cè) y_pred_proba model.predict_proba(X_test)[:, 1] # 正類的預(yù)測(cè)概率 # 3. 計(jì)算基于閾值0.5的各類指標(biāo) cm confusion_matrix(y_test, y_pred) tn, fp, fn, tp cm.ravel() print(f\n混淆矩陣\n{cm}) print(fTP{tp}, FP{fp}, FN{fn}, TN{tn}) precision precision_score(y_test, y_pred) recall recall_score(y_test, y_pred) f1 f1_score(y_test, y_pred) print(f\n基于閾值0.5的指標(biāo)) print(fPrecision {precision:.4f}) print(fRecall {recall:.4f}) print(fF1 Score {f1:.4f}) # 4. 計(jì)算并繪制ROC曲線與AUC fpr, tpr, thresholds_roc roc_curve(y_test, y_pred_proba) roc_auc auc(fpr, tpr) plt.figure(figsize(12, 5)) plt.subplot(1, 2, 1) plt.plot(fpr, tpr, colordarkorange, lw2, labelfROC curve (AUC {roc_auc:.3f})) plt.plot([0, 1], [0, 1], colornavy, lw2, linestyle--, labelRandom) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate (Recall)) plt.title(Receiver Operating Characteristic (ROC) Curve) plt.legend(loclower right) plt.grid(True, alpha0.3) # 5. 計(jì)算并繪制PR曲線與AUPRC precision_vals, recall_vals, thresholds_pr precision_recall_curve(y_test, y_pred_proba) # average_precision_score 就是 AUPRC pr_auc average_precision_score(y_test, y_pred_proba) plt.subplot(1, 2, 2) plt.plot(recall_vals, precision_vals, colorgreen, lw2, labelfPR curve (AP {pr_auc:.3f})) # 隨機(jī)模型的PR曲線是一條水平線高度正例比例 positive_rate y_test.mean() plt.plot([0, 1], [positive_rate, positive_rate], colorred, lw2, linestyle--, labelfRandom (AP{positive_rate:.3f})) plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel(Recall) plt.ylabel(Precision) plt.title(Precision-Recall (PR) Curve) plt.legend(locupper right) plt.grid(True, alpha0.3) plt.tight_layout() plt.show() # 6. 尋找最佳閾值以F1最大化為例 # 遍歷PR曲線上的閾值找到使F1最大的點(diǎn) f1_scores 2 * (precision_vals * recall_vals) / (precision_vals recall_vals 1e-8) # 加極小值防除零 optimal_idx np.argmax(f1_scores) optimal_threshold_pr thresholds_pr[optimal_idx] # 注意thresholds_pr長(zhǎng)度比precision_vals少1 optimal_precision precision_vals[optimal_idx] optimal_recall recall_vals[optimal_idx] optimal_f1 f1_scores[optimal_idx] print(f\n通過PR曲線尋找最優(yōu)閾值最大化F1) print(f最優(yōu)閾值 ≈ {optimal_threshold_pr:.4f}) print(f對(duì)應(yīng) Precision {optimal_precision:.4f}, Recall {optimal_recall:.4f}, F1 {optimal_f1:.4f}) # 7. 也可以根據(jù)業(yè)務(wù)需求選擇閾值例如要求Recall不低于90% target_recall 0.90 # 找到第一個(gè)Recall 目標(biāo)值的索引 idx np.where(recall_vals target_recall)[0][0] threshold_for_recall thresholds_pr[idx] if idx len(thresholds_pr) else thresholds_pr[-1] precision_at_target precision_vals[idx] print(f\n如果業(yè)務(wù)要求Recall不低于{target_recall*100:.0f}%) print(f需要設(shè)定閾值 ≈ {threshold_for_recall:.4f}) print(f此時(shí) Precision 約為 {precision_at_target:.4f})這段代碼演示了從數(shù)據(jù)生成到模型評(píng)估的全流程。關(guān)鍵點(diǎn)在于我們同時(shí)計(jì)算了基于固定閾值0.5的“硬”指標(biāo)Precision, Recall, F1。我們繪制了ROC和PR兩條曲線并計(jì)算了AUC和AUPRC。在不平衡數(shù)據(jù)上你會(huì)看到PR曲線下的隨機(jī)基線紅色虛線非常低而模型的PR曲線綠色明顯高于它AUPRC比隨機(jī)基線高很多這比AUC的差異更顯著。我們演示了如何利用PR曲線尋找最優(yōu)閾值例如最大化F1以及如何根據(jù)業(yè)務(wù)需求如保證最低Recall來反推應(yīng)設(shè)定的閾值。這才是模型落地的最后一步也是最有價(jià)值的一步。7. 超越二分類多分類與多標(biāo)簽場(chǎng)景下的指標(biāo)擴(kuò)展現(xiàn)實(shí)世界不只有二分類問題。面對(duì)多分類一個(gè)樣本屬于多個(gè)類別之一和多標(biāo)簽一個(gè)樣本可以屬于多個(gè)類別任務(wù)這些指標(biāo)如何擴(kuò)展多分類Multiclass 常見思路是將其轉(zhuǎn)化為多個(gè)“一對(duì)多”的二分類問題。主要有兩種平均方式宏平均Macro-average先計(jì)算每個(gè)類別的指標(biāo)如Precision_i, Recall_i然后對(duì)所有類別的指標(biāo)取算術(shù)平均。這種方式平等看待每一個(gè)類受小類別影響大。如果小類別表現(xiàn)差宏平均會(huì)明顯降低。微平均Micro-average先匯總所有類別的混淆矩陣元素TP_all, FP_all, FN_all再用這些匯總值計(jì)算一個(gè)全局的Precision和Recall。這種方式受大類別影響大因?yàn)榇箢悇e的樣本數(shù)主導(dǎo)了匯總值。選擇哪種如果你的業(yè)務(wù)中每個(gè)類別都同等重要比如手寫數(shù)字識(shí)別0-9用宏平均。如果更關(guān)注整體樣本的預(yù)測(cè)準(zhǔn)確性用微平均。在極度不平衡的多分類中宏平均更能揭示模型在小類上的短板。多標(biāo)簽Multilabel 每個(gè)樣本可以擁有多個(gè)標(biāo)簽。評(píng)估方式有兩種視角基于樣本Sample-based對(duì)每個(gè)樣本計(jì)算其預(yù)測(cè)標(biāo)簽集合和真實(shí)標(biāo)簽集合的差異例如用子集準(zhǔn)確率、漢明損失然后對(duì)所有樣本平均。這衡量的是模型對(duì)單個(gè)樣本的整體標(biāo)注能力。基于標(biāo)簽Label-based把每個(gè)標(biāo)簽單獨(dú)看作一個(gè)二分類問題計(jì)算該標(biāo)簽的Precision, Recall等然后對(duì)所有標(biāo)簽進(jìn)行宏平均或微平均。這衡量的是模型對(duì)每個(gè)具體標(biāo)簽的識(shí)別能力。sklearn.metrics中的precision_score,recall_score,f1_score等函數(shù)都通過average參數(shù)如‘macro’,‘micro’,‘weighted’,‘samples’來支持這些復(fù)雜的平均方式使用時(shí)務(wù)必根據(jù)業(yè)務(wù)含義謹(jǐn)慎選擇。8. 指標(biāo)選擇的實(shí)戰(zhàn)心法沒有銀彈只有場(chǎng)景學(xué)了這么多指標(biāo)最后到底該用哪個(gè)我的經(jīng)驗(yàn)是拋開業(yè)務(wù)場(chǎng)景談指標(biāo)優(yōu)劣都是紙上談兵。下面是一個(gè)簡(jiǎn)單的決策思路明確核心業(yè)務(wù)目標(biāo)與代價(jià)這是第一步也是最重要的一步。問清楚誤判的代價(jià)是什么FP和FN哪個(gè)更不可接受成功的收益是什么抓住一個(gè)正例有多大價(jià)值例如疾病篩查FN漏診代價(jià)極高 - 優(yōu)先保證高Recall?？梢匀萑桃欢ǖ腇P假陽性通過復(fù)查排除。推薦系統(tǒng)用戶反感不相關(guān)推薦 - 優(yōu)先保證高Precision。寧愿少推薦也要推得準(zhǔn)。欺詐檢測(cè)同疾病篩查高Recall優(yōu)先FP可通過人工審核緩解。搜索引擎排序關(guān)心前幾條結(jié)果是否相關(guān) - 看PK前K個(gè)結(jié)果的精度或MAP平均精度均值?？磾?shù)據(jù)分布類別大致平衡可以看AUC整體排序能力同時(shí)結(jié)合F1綜合水平和Precision-Recall曲線觀察具體權(quán)衡點(diǎn)。類別嚴(yán)重不平衡且關(guān)注正例PR曲線和AUPRC是更好的選擇。AUC可能會(huì)誤導(dǎo)你。模型開發(fā)與選型階段使用與閾值無關(guān)的指標(biāo)進(jìn)行初步篩選如AUC或AUPRC。這可以幫助你快速比較不同模型架構(gòu)或特征工程的效果。模型調(diào)優(yōu)與閾值確定階段必須結(jié)合業(yè)務(wù)代價(jià)在Precision-Recall曲線上選擇操作點(diǎn)Operating Point。例如確定一個(gè)可接受的最低Recall然后在該Recall下尋找Precision最高的閾值。或者如果FP和FN可以量化成成本可以計(jì)算每個(gè)閾值下的總代價(jià)選擇代價(jià)最小的閾值。模型上線與監(jiān)控階段除了監(jiān)控你優(yōu)化時(shí)用的核心指標(biāo)如Precision固定Recall還要監(jiān)控一些業(yè)務(wù)相關(guān)的衍生指標(biāo)如捕獲率正例中被模型識(shí)別出的比例、誤報(bào)率等。同時(shí)一定要持續(xù)跟蹤線上數(shù)據(jù)的分布是否相對(duì)穩(wěn)定如果分布發(fā)生偏移Covariate Shift模型的所有指標(biāo)都可能失效。最后記住單一指標(biāo)是危險(xiǎn)的。一份完整的模型評(píng)估報(bào)告應(yīng)該包括混淆矩陣、關(guān)鍵率指標(biāo)Precision, Recall, F1、ROC曲線與AUC、PR曲線與AUPRC以及基于業(yè)務(wù)場(chǎng)景的閾值分析。把這些圖和數(shù)據(jù)擺在業(yè)務(wù)方面前結(jié)合具體的代價(jià)分析進(jìn)行討論才能共同做出最合理的決策。模型評(píng)估不是機(jī)械的計(jì)算而是連接算法世界與業(yè)務(wù)價(jià)值的橋梁。