評(píng)估 WeKws 喚醒模型：DET 曲線(xiàn)、FRR/FAR 指標(biāo)完全解讀)
如何科學(xué)評(píng)估 WeKws 喚醒模型DET 曲線(xiàn)、FRR/FAR 指標(biāo)完全解讀【免費(fèi)下載鏈接】wekwsProduction First and Production Ready End-to-End Keyword Spotting Toolkit項(xiàng)目地址: https://gitcode.com/gh_mirrors/we/wekws訓(xùn)練完一個(gè)關(guān)鍵詞喚醒KWS模型后最核心的問(wèn)題不是loss 降了多少而是這個(gè)模型到底能不能用。對(duì)于 WeKws 這類(lèi)端到端喚醒模型業(yè)界通用的科學(xué)評(píng)估方式只有一套用FRR/FAR 指標(biāo)配合DET 曲線(xiàn)。本文將用通俗的語(yǔ)言帶你徹底看懂這兩個(gè)指標(biāo)的含義、計(jì)算邏輯以及如何用 WeKws 自帶的工具一鍵完成評(píng)估。為什么喚醒模型不能只看準(zhǔn)確率普通的分類(lèi)任務(wù)可以用 accuracy 來(lái)衡量但喚醒場(chǎng)景完全不同設(shè)備處于持續(xù)監(jiān)聽(tīng)狀態(tài)喚醒詞出現(xiàn)的概率極低可能一小時(shí)才出現(xiàn)幾次而非喚醒語(yǔ)音卻占 99% 以上。此時(shí)即便模型把所有音頻都判定為未喚醒準(zhǔn)確率也能高達(dá) 99%——但這顯然是一個(gè)完全不可用的模型。因此喚醒模型評(píng)估必須拆成兩個(gè)獨(dú)立維度來(lái)衡量維度通俗解釋后果漏喚醒FRR用戶(hù)喊了你好小問(wèn)設(shè)備沒(méi)反應(yīng)體驗(yàn)極差用戶(hù)會(huì)反復(fù)喊誤喚醒FAR沒(méi)人喊設(shè)備卻自己亮了電量浪費(fèi)、隱私尷尬、后臺(tái)誤觸發(fā)這兩個(gè)指標(biāo)天然此消彼長(zhǎng)科學(xué)評(píng)估的本質(zhì)就是在兩者之間找到平衡點(diǎn)。FRR 與 FAR喚醒評(píng)估的兩大核心指標(biāo)FRRFalse Rejection Rate漏喚醒率FRR 也叫誤拒率指所有包含喚醒詞的音頻中被模型漏掉的占比FRR 漏喚醒的音頻數(shù) ÷ 全部包含喚醒詞的音頻數(shù)在 WeKws 中這一計(jì)算邏輯位于 compute_det.py對(duì)每條正樣本取該音頻內(nèi)喚醒詞所有幀的最大得分若低于當(dāng)前閾值就記一次漏喚醒。得分來(lái)自 score.py 輸出的 score 文件其背后的 max-pooling 訓(xùn)練策略定義在 loss.py 中。FARFalse Alarm Rate誤喚醒率FAR 也叫誤警率。喚醒場(chǎng)景下更常用的單位是每小時(shí)誤喚醒次數(shù)False Alarm Per Hour因?yàn)樗c設(shè)備持續(xù)監(jiān)聽(tīng)的直覺(jué)完全一致——一個(gè)產(chǎn)品級(jí)喚醒模型通常要求 FAR 低于1 次/小時(shí)甚至 0.5 次/小時(shí)。FA per hour 誤觸發(fā)次數(shù) ÷ 非喚醒音頻總時(shí)長(zhǎng)小時(shí)計(jì)算時(shí)有個(gè)關(guān)鍵細(xì)節(jié)一旦某幀得分超過(guò)閾值判定為誤喚醒WeKws 會(huì)通過(guò)--window_shift默認(rèn) 50 幀跳過(guò)其后一段幀避免對(duì)同一次誤觸發(fā)重復(fù)計(jì)數(shù)——這正是生產(chǎn)環(huán)境中的真實(shí)判定邏輯。DET 曲線(xiàn)一張圖看懂喚醒模型全部實(shí)力單獨(dú)看某個(gè)閾值下的 FRR/FAR 沒(méi)有意義因?yàn)殚撝狄蛔儍蓚€(gè)數(shù)字都變。**DET 曲線(xiàn)Detection Error Tradeoff**把閾值從 0 掃到 1過(guò)程中的所有 (FAR, FRR) 組合畫(huà)成一條曲線(xiàn)讓模型實(shí)力一目了然。WeKws 的 plot_det_curve.py 生成的 DET 曲線(xiàn)中橫軸False Alarm Per Hour每小時(shí)誤喚醒次數(shù)縱軸False Rejection Rate %漏喚醒率百分比曲線(xiàn)越靠近左下角、整體越低說(shuō)明模型越好——因?yàn)檫@意味著在相同誤喚醒水平下漏喚醒更少。對(duì)比多個(gè)喚醒詞如你好小問(wèn)你好問(wèn)問(wèn)時(shí)把多條曲線(xiàn)畫(huà)在同一張圖上還能直觀看出模型對(duì)哪個(gè)詞更友好。實(shí)操用 WeKws 一條命令跑通完整評(píng)估WeKws 把評(píng)估流程封裝得極其簡(jiǎn)單以 examples/hi_xiaowen/s0/run.sh 為例運(yùn)行 stage 3 即可完成打分 → 計(jì)算指標(biāo) → 畫(huà)曲線(xiàn)全流程bash run.sh 3 3內(nèi)部依次執(zhí)行了三步你完全可以手動(dòng)拆開(kāi)跑第 1 步模型打分用 score.py 讓模型在測(cè)試集上逐條輸出得分python wekws/bin/score.py \ --config exp/ds_tcn/config.yaml \ --test_data data/test/data.list \ --checkpoint exp/ds_tcn/avg_30.pt \ --score_file exp/ds_tcn/test_avg_30.pt/score.txt第 2 步計(jì)算 FRR/FAR用 compute_det.py 遍歷閾值并輸出統(tǒng)計(jì)文件python wekws/bin/compute_det.py \ --keyword HI_XIAOWEN \ --test_data data/test/data.list \ --score_file exp/ds_tcn/test_avg_30.pt/score.txt \ --stats_file exp/ds_tcn/test_avg_30.pt/stats.HI_XIAOWEN.txt第 3 步繪制 DET 曲線(xiàn)用 plot_det_curve.py 生成 det.pngpython wekws/bin/plot_det_curve.py \ --keywords_dict dict/dict.txt \ --stats_dir exp/ds_tcn/test_avg_30.pt \ --figure_file exp/ds_tcn/test_avg_30.pt/det.pngCTC 類(lèi)模型則對(duì)應(yīng)使用 compute_det_ctc.py支持多關(guān)鍵詞一鍵評(píng)估。讀懂 DET 曲線(xiàn)并選好部署閾值的 4 個(gè)技巧先定 FAR 上限再找 FRR產(chǎn)品需求通常先給出可接受的誤喚醒比如 1 次/小時(shí)在曲線(xiàn)上找到該 FAR 對(duì)應(yīng)的點(diǎn)其縱坐標(biāo)就是最低漏喚醒率?？辞€(xiàn)的拐點(diǎn)曲線(xiàn)平緩段說(shuō)明指標(biāo)穩(wěn)健陡升段說(shuō)明該區(qū)域?qū)﹂撝禈O其敏感部署時(shí)應(yīng)盡量避開(kāi)陡峭區(qū)域。對(duì)比基線(xiàn)曲線(xiàn)用同一測(cè)試集對(duì)比不同模型如 DS-TCN 與 MDTC的曲線(xiàn)重疊少且靠下的那條更優(yōu)不要只看單個(gè)點(diǎn)的數(shù)字。用 stats 文件做精細(xì)選點(diǎn)stats.關(guān)鍵詞.txt中每行是閾值 FA/小時(shí) FRR可直接查出滿(mǎn)足 FAR 約束的具體閾值寫(xiě)入運(yùn)行時(shí)配置參考 stream_kws_ctc.py 的--threshold參數(shù)。新手避坑指南評(píng)估時(shí)最容易犯的 5 個(gè)錯(cuò)誤?用訓(xùn)練集/驗(yàn)證集評(píng)估DET 曲線(xiàn)必須基于獨(dú)立測(cè)試集如 Hi Xiaowen 的 test 集否則指標(biāo)虛高。?只看 FRR 忽略 FAR只報(bào)漏喚醒率是報(bào)喜不報(bào)憂(yōu)兩個(gè)指標(biāo)必須成對(duì)出現(xiàn)。?正負(fù)樣本比例失衡正樣本太少會(huì)導(dǎo)致 FRR 統(tǒng)計(jì)不可靠評(píng)估前先看日志中 keyword 與 filler 的時(shí)長(zhǎng)統(tǒng)計(jì)。?忘記 window_shift閾值掃描時(shí)若把窗口偏移設(shè)得太小誤喚醒會(huì)被重復(fù)計(jì)數(shù)曲線(xiàn)整體被高估。?閾值取整不精細(xì)compute_det.py 默認(rèn)--step 0.01若產(chǎn)品對(duì)閾值敏感可改為 0.001 提高選點(diǎn)精度。小結(jié)評(píng)估喚醒模型從來(lái)不是跑個(gè)準(zhǔn)確率那么簡(jiǎn)單。掌握FRR/FAR 指標(biāo)、會(huì)讀DET 曲線(xiàn)、會(huì)用 WeKws 的 compute_det.py 與 plot_det_curve.py 完成端到端評(píng)估你就能科學(xué)地回答這個(gè)模型到底能不能上線(xiàn)這個(gè)問(wèn)題。下次訓(xùn)練完模型記得先畫(huà)一條 DET 曲線(xiàn)看看哦【免費(fèi)下載鏈接】wekwsProduction First and Production Ready End-to-End Keyword Spotting Toolkit項(xiàng)目地址: https://gitcode.com/gh_mirrors/we/wekws創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 如何科學(xué)評(píng)估 WeKws 喚醒模型：DET 曲線(xiàn)、FRR/FAR 指標(biāo)完全解讀
如何科學(xué)評(píng)估 WeKws 喚醒模型DET 曲線(xiàn)、FRR/FAR 指標(biāo)完全解讀【免費(fèi)下載鏈接】wekwsProduction First and Production Ready End-to-End Keyword Spotting Toolkit項(xiàng)目地址: https://gitcode.com/gh_mirrors/we/wekws訓(xùn)練完一個(gè)關(guān)鍵詞喚醒KWS模型后最核心的問(wèn)題不是loss 降了多少而是這個(gè)模型到底能不能用。對(duì)于 WeKws 這類(lèi)端到端喚醒模型業(yè)界通用的科學(xué)評(píng)估方式只有一套用FRR/FAR 指標(biāo)配合DET 曲線(xiàn)。本文將用通俗的語(yǔ)言帶你徹底看懂這兩個(gè)指標(biāo)的含義、計(jì)算邏輯以及如何用 WeKws 自帶的工具一鍵完成評(píng)估。為什么喚醒模型不能只看準(zhǔn)確率普通的分類(lèi)任務(wù)可以用 accuracy 來(lái)衡量但喚醒場(chǎng)景完全不同設(shè)備處于持續(xù)監(jiān)聽(tīng)狀態(tài)喚醒詞出現(xiàn)的概率極低可能一小時(shí)才出現(xiàn)幾次而非喚醒語(yǔ)音卻占 99% 以上。此時(shí)即便模型把所有音頻都判定為未喚醒準(zhǔn)確率也能高達(dá) 99%——但這顯然是一個(gè)完全不可用的模型。因此喚醒模型評(píng)估必須拆成兩個(gè)獨(dú)立維度來(lái)衡量維度通俗解釋后果漏喚醒FRR用戶(hù)喊了你好小問(wèn)設(shè)備沒(méi)反應(yīng)體驗(yàn)極差用戶(hù)會(huì)反復(fù)喊誤喚醒FAR沒(méi)人喊設(shè)備卻自己亮了電量浪費(fèi)、隱私尷尬、后臺(tái)誤觸發(fā)這兩個(gè)指標(biāo)天然此消彼長(zhǎng)科學(xué)評(píng)估的本質(zhì)就是在兩者之間找到平衡點(diǎn)。FRR 與 FAR喚醒評(píng)估的兩大核心指標(biāo)FRRFalse Rejection Rate漏喚醒率FRR 也叫誤拒率指所有包含喚醒詞的音頻中被模型漏掉的占比FRR 漏喚醒的音頻數(shù) ÷ 全部包含喚醒詞的音頻數(shù)在 WeKws 中這一計(jì)算邏輯位于 compute_det.py對(duì)每條正樣本取該音頻內(nèi)喚醒詞所有幀的最大得分若低于當(dāng)前閾值就記一次漏喚醒。得分來(lái)自 score.py 輸出的 score 文件其背后的 max-pooling 訓(xùn)練策略定義在 loss.py 中。FARFalse Alarm Rate誤喚醒率FAR 也叫誤警率。喚醒場(chǎng)景下更常用的單位是每小時(shí)誤喚醒次數(shù)False Alarm Per Hour因?yàn)樗c設(shè)備持續(xù)監(jiān)聽(tīng)的直覺(jué)完全一致——一個(gè)產(chǎn)品級(jí)喚醒模型通常要求 FAR 低于1 次/小時(shí)甚至 0.5 次/小時(shí)。FA per hour 誤觸發(fā)次數(shù) ÷ 非喚醒音頻總時(shí)長(zhǎng)小時(shí)計(jì)算時(shí)有個(gè)關(guān)鍵細(xì)節(jié)一旦某幀得分超過(guò)閾值判定為誤喚醒WeKws 會(huì)通過(guò)--window_shift默認(rèn) 50 幀跳過(guò)其后一段幀避免對(duì)同一次誤觸發(fā)重復(fù)計(jì)數(shù)——這正是生產(chǎn)環(huán)境中的真實(shí)判定邏輯。DET 曲線(xiàn)一張圖看懂喚醒模型全部實(shí)力單獨(dú)看某個(gè)閾值下的 FRR/FAR 沒(méi)有意義因?yàn)殚撝狄蛔儍蓚€(gè)數(shù)字都變。**DET 曲線(xiàn)Detection Error Tradeoff**把閾值從 0 掃到 1過(guò)程中的所有 (FAR, FRR) 組合畫(huà)成一條曲線(xiàn)讓模型實(shí)力一目了然。WeKws 的 plot_det_curve.py 生成的 DET 曲線(xiàn)中橫軸False Alarm Per Hour每小時(shí)誤喚醒次數(shù)縱軸False Rejection Rate %漏喚醒率百分比曲線(xiàn)越靠近左下角、整體越低說(shuō)明模型越好——因?yàn)檫@意味著在相同誤喚醒水平下漏喚醒更少。對(duì)比多個(gè)喚醒詞如你好小問(wèn)你好問(wèn)問(wèn)時(shí)把多條曲線(xiàn)畫(huà)在同一張圖上還能直觀看出模型對(duì)哪個(gè)詞更友好。實(shí)操用 WeKws 一條命令跑通完整評(píng)估WeKws 把評(píng)估流程封裝得極其簡(jiǎn)單以 examples/hi_xiaowen/s0/run.sh 為例運(yùn)行 stage 3 即可完成打分 → 計(jì)算指標(biāo) → 畫(huà)曲線(xiàn)全流程bash run.sh 3 3內(nèi)部依次執(zhí)行了三步你完全可以手動(dòng)拆開(kāi)跑第 1 步模型打分用 score.py 讓模型在測(cè)試集上逐條輸出得分python wekws/bin/score.py \ --config exp/ds_tcn/config.yaml \ --test_data data/test/data.list \ --checkpoint exp/ds_tcn/avg_30.pt \ --score_file exp/ds_tcn/test_avg_30.pt/score.txt第 2 步計(jì)算 FRR/FAR用 compute_det.py 遍歷閾值并輸出統(tǒng)計(jì)文件python wekws/bin/compute_det.py \ --keyword HI_XIAOWEN \ --test_data data/test/data.list \ --score_file exp/ds_tcn/test_avg_30.pt/score.txt \ --stats_file exp/ds_tcn/test_avg_30.pt/stats.HI_XIAOWEN.txt第 3 步繪制 DET 曲線(xiàn)用 plot_det_curve.py 生成 det.pngpython wekws/bin/plot_det_curve.py \ --keywords_dict dict/dict.txt \ --stats_dir exp/ds_tcn/test_avg_30.pt \ --figure_file exp/ds_tcn/test_avg_30.pt/det.pngCTC 類(lèi)模型則對(duì)應(yīng)使用 compute_det_ctc.py支持多關(guān)鍵詞一鍵評(píng)估。讀懂 DET 曲線(xiàn)并選好部署閾值的 4 個(gè)技巧先定 FAR 上限再找 FRR產(chǎn)品需求通常先給出可接受的誤喚醒比如 1 次/小時(shí)在曲線(xiàn)上找到該 FAR 對(duì)應(yīng)的點(diǎn)其縱坐標(biāo)就是最低漏喚醒率?？辞€(xiàn)的拐點(diǎn)曲線(xiàn)平緩段說(shuō)明指標(biāo)穩(wěn)健陡升段說(shuō)明該區(qū)域?qū)﹂撝禈O其敏感部署時(shí)應(yīng)盡量避開(kāi)陡峭區(qū)域。對(duì)比基線(xiàn)曲線(xiàn)用同一測(cè)試集對(duì)比不同模型如 DS-TCN 與 MDTC的曲線(xiàn)重疊少且靠下的那條更優(yōu)不要只看單個(gè)點(diǎn)的數(shù)字。用 stats 文件做精細(xì)選點(diǎn)stats.關(guān)鍵詞.txt中每行是閾值 FA/小時(shí) FRR可直接查出滿(mǎn)足 FAR 約束的具體閾值寫(xiě)入運(yùn)行時(shí)配置參考 stream_kws_ctc.py 的--threshold參數(shù)。新手避坑指南評(píng)估時(shí)最容易犯的 5 個(gè)錯(cuò)誤?用訓(xùn)練集/驗(yàn)證集評(píng)估DET 曲線(xiàn)必須基于獨(dú)立測(cè)試集如 Hi Xiaowen 的 test 集否則指標(biāo)虛高。?只看 FRR 忽略 FAR只報(bào)漏喚醒率是報(bào)喜不報(bào)憂(yōu)兩個(gè)指標(biāo)必須成對(duì)出現(xiàn)。?正負(fù)樣本比例失衡正樣本太少會(huì)導(dǎo)致 FRR 統(tǒng)計(jì)不可靠評(píng)估前先看日志中 keyword 與 filler 的時(shí)長(zhǎng)統(tǒng)計(jì)。?忘記 window_shift閾值掃描時(shí)若把窗口偏移設(shè)得太小誤喚醒會(huì)被重復(fù)計(jì)數(shù)曲線(xiàn)整體被高估。?閾值取整不精細(xì)compute_det.py 默認(rèn)--step 0.01若產(chǎn)品對(duì)閾值敏感可改為 0.001 提高選點(diǎn)精度。小結(jié)評(píng)估喚醒模型從來(lái)不是跑個(gè)準(zhǔn)確率那么簡(jiǎn)單。掌握FRR/FAR 指標(biāo)、會(huì)讀DET 曲線(xiàn)、會(huì)用 WeKws 的 compute_det.py 與 plot_det_curve.py 完成端到端評(píng)估你就能科學(xué)地回答這個(gè)模型到底能不能上線(xiàn)這個(gè)問(wèn)題。下次訓(xùn)練完模型記得先畫(huà)一條 DET 曲線(xiàn)看看哦【免費(fèi)下載鏈接】wekwsProduction First and Production Ready End-to-End Keyword Spotting Toolkit項(xiàng)目地址: https://gitcode.com/gh_mirrors/we/wekws創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考