簡(jiǎn)介本資源是一套基于傳統(tǒng)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)的惡意網(wǎng)站檢測(cè)完整項(xiàng)目面向計(jì)算機(jī)、人工智能、大數(shù)據(jù)等專業(yè)的本科生及初階技術(shù)學(xué)習(xí)者適用于課程設(shè)計(jì)、期末大作業(yè)與畢業(yè)設(shè)計(jì)實(shí)踐幫助讀者掌握特征工程、分類建模與Web安全檢測(cè)的基本流程。壓縮包共7個(gè)文件含5個(gè)核心Python腳本涵蓋數(shù)據(jù)預(yù)處理、特征翻譯、SVM與隨機(jī)森林建模、DNN對(duì)比實(shí)驗(yàn)、1個(gè)數(shù)據(jù)集zip包及1份結(jié)構(gòu)清晰的README.md說明文檔整體體積僅3.31MB輕量易部署。目前已有148人下載學(xué)習(xí)代碼經(jīng)作者嚴(yán)格調(diào)試開箱即用無(wú)需復(fù)雜環(huán)境配置。讀者可直接復(fù)現(xiàn)從URL特征提取、模型訓(xùn)練到檢測(cè)結(jié)果輸出的全流程并通過源碼理解typelist規(guī)則映射、forest_split數(shù)據(jù)劃分邏輯及多模型性能對(duì)比思路是深入理解傳統(tǒng)機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全領(lǐng)域落地的優(yōu)質(zhì)實(shí)踐材料。1. 傳統(tǒng)機(jī)器學(xué)習(xí)做惡意網(wǎng)站檢測(cè)不是過時(shí)而是可控、可解釋、能落地的“兜底方案”你可能在論文里看到過“XGBoost 檢測(cè)準(zhǔn)確率 98.7%”這種數(shù)字但真把模型塞進(jìn)一個(gè)校園網(wǎng)出口防火墻旁路系統(tǒng)里跑一周就會(huì)發(fā)現(xiàn)特征提取卡在 DNS 查詢超時(shí)、SVM 訓(xùn)練因內(nèi)存溢出中斷三次、某條 URL 的 TF-IDF 向量維度和訓(xùn)練時(shí)對(duì)不上——最后不是模型不行是整個(gè) pipeline 缺少邊界控制。這份「基于傳統(tǒng)機(jī)器學(xué)習(xí)的惡意網(wǎng)站檢測(cè)算法源碼項(xiàng)目說明.zip」就是為這類真實(shí)場(chǎng)景準(zhǔn)備的它不追求 SOTAState-of-the-Art指標(biāo)但確保從 raw URL 到預(yù)測(cè)標(biāo)簽的每一步都可追蹤、可調(diào)試、可替換。它用 typelist.py 做域名類型預(yù)篩、forest_split.py 實(shí)現(xiàn)分層特征采樣、SVM.py 和 DNN.py 并行對(duì)比驗(yàn)證所有模塊都帶明確輸入/輸出契約。適合正在做課程設(shè)計(jì)、畢設(shè)或想吃透“特征工程→模型訓(xùn)練→部署驗(yàn)證”全鏈路的新手也適合需要快速搭建 baseline、再逐步疊加深度學(xué)習(xí)模塊的工程師。它不是黑匣子而是一套帶注釋的、能讓你在凌晨?jī)牲c(diǎn) debug 時(shí)看清每一行X_train.shape變化原因的工具集。2. 項(xiàng)目結(jié)構(gòu)與核心模塊職責(zé)先看懂文件關(guān)系再動(dòng)代碼這個(gè)壓縮包不是一堆腳本亂扔而是一個(gè)有明確分工的輕量級(jí)檢測(cè)框架。它沒用 Flask 封裝 API也沒上 Docker所有邏輯都?jí)涸?Python 腳本里目的就一個(gè)讓你一眼看穿數(shù)據(jù)怎么流、特征怎么變、模型怎么判。下面拆解每個(gè)關(guān)鍵文件的真實(shí)作用不是照 README.md 復(fù)述而是告訴你“為什么非得這么設(shè)計(jì)”。2.1 data.zip不是原始日志而是經(jīng)過三輪清洗的“教學(xué)友好型”數(shù)據(jù)集data.zip解壓后包含train.csv、test.csv和features_desc.txt。注意這不是直接爬下來的百萬(wàn)級(jí) URL 日志而是某高校實(shí)驗(yàn)室用公開數(shù)據(jù)集如 Alexa Top 1M MalwareDomainList交叉去重、人工標(biāo)注后生成的 12,486 條樣本。train.csv有 9,231 行字段共 23 列前 22 列是特征如domain_length、subdomain_count、has_ip_in_url、tld_entropy、https_ratio_in_path最后一列l(wèi)abel是 0良性或 1惡意。features_desc.txt不是廢話文檔它逐行定義了每個(gè)特征的計(jì)算邏輯比如tld_entropy: 計(jì)算頂級(jí)域名字符串的香農(nóng)熵公式為 -Σ(p_i * log2(p_i))其中 p_i 是第 i 個(gè)字符在 TLD 中出現(xiàn)概率。TLD 提取規(guī)則取最后一個(gè)點(diǎn)號(hào)后的全部字符若無(wú)點(diǎn)號(hào)則為空。這個(gè)設(shè)計(jì)很關(guān)鍵——很多初學(xué)者一上來就用urlparse直接切結(jié)果.co.uk被當(dāng)成.uk熵值全錯(cuò)。而本項(xiàng)目在typelist.py里內(nèi)置了 1,247 個(gè)主流 TLD 規(guī)則表含.gov.cn、.ac.uk等復(fù)合后綴保證 TLD 提取不出錯(cuò)。所以data.zip的價(jià)值不在“大”而在“準(zhǔn)”每條樣本的特征值都能反向推導(dǎo)出原始 URL 和計(jì)算步驟方便你驗(yàn)證自己的特征工程是否寫對(duì)。2.2 typelist.py域名類型預(yù)篩模塊解決“第一道過濾門”的漏報(bào)問題惡意網(wǎng)站常偽裝成正常域名如apple-id-verify.net單純靠長(zhǎng)度或特殊符號(hào)規(guī)則會(huì)漏掉。typelist.py的核心不是分類而是類型歸因它把域名映射到 17 類業(yè)務(wù)語(yǔ)義標(biāo)簽如payment_gateway、cloud_storage、email_service再結(jié)合歷史黑名單庫(kù)做加權(quán)打分。代碼邏輯如下# typelist.py 關(guān)鍵片段 def get_domain_type(domain: str) - str: 返回域名最可能歸屬的業(yè)務(wù)類型基于詞典匹配Levenshtein距離 # 步驟1查白名單詞典payment_keywords.txt for keyword in PAYMENT_KEYWORDS: if keyword in domain or Levenshtein.distance(domain, keyword) 2: return payment_gateway # 步驟2查 TLD 映射表tld_mapping.json tld extract_tld(domain) # 調(diào)用內(nèi)置 TLD 提取器 if tld in TLD_MAPPING: return TLD_MAPPING[tld] # 步驟3fallback 到 n-gram 頻次統(tǒng)計(jì)n3 trigrams [domain[i:i3] for i in range(len(domain)-2)] scores {k: sum(1 for t in trigrams if t in v) for k, v in NGRAM_DICT.items()} return max(scores, keyscores.get) if scores else unknown這個(gè)函數(shù)返回的domain_type不直接用于最終預(yù)測(cè)而是作為forest_split.py的分層采樣依據(jù)。比如payment_gateway類域名中惡意樣本占比高達(dá) 37%而education類僅 0.8%那么在構(gòu)造訓(xùn)練集時(shí)會(huì)對(duì)前者做欠采樣、后者做過采樣避免 SVM 因類別不平衡導(dǎo)致precisiontop10驟降。這是很多教程忽略的實(shí)戰(zhàn)細(xì)節(jié)傳統(tǒng) ML 不是“丟進(jìn)去就完事”而是要讓數(shù)據(jù)分布先說話。2.3 translate.pyURL 到結(jié)構(gòu)化特征的轉(zhuǎn)換引擎不是簡(jiǎn)單正則translate.py是整個(gè) pipeline 的心臟它把原始 URL 字符串轉(zhuǎn)成 22 維數(shù)值特征向量。它不依賴urllib.parse的默認(rèn)行為而是針對(duì)中文、編碼混淆、路徑嵌套等惡意網(wǎng)站常用手法做了專項(xiàng)處理。例如對(duì)http://example.com/%E4%BD%A0%E5%A5%BD/..%2f..%2fetc%2fpasswd這類路徑遍歷 URL先做urllib.parse.unquote()解碼再用os.path.normpath()歸一化路徑最后統(tǒng)計(jì)../出現(xiàn)次數(shù)對(duì)https://www.google.com/search?qsite%3Aevil.com這類搜索引擎跳轉(zhuǎn) URL用re.search(rsite%3A([^\s]), url)提取被搜索的域名將其作為redirect_target特征對(duì)含中文 IDN 域名如https://www.谷歌.com調(diào)用idna.encode()轉(zhuǎn)為 punycode 后再解析避免unicode_error。它的主函數(shù)url_to_features(url: str) - List[float]返回一個(gè)固定長(zhǎng)度列表順序嚴(yán)格對(duì)應(yīng)train.csv的列順序。這意味著你完全可以寫個(gè)測(cè)試腳本# test_translate.py from translate import url_to_features url http://malware-site.net/login.php?redirecthttp://evil.com vec url_to_features(url) print(fLength: {len(vec)}, First 5: {vec[:5]}) # 輸出Length: 22, First 5: [18.0, 2.0, 1.0, 0.0, 3.21]只要vec長(zhǎng)度是 22 且數(shù)值合理如domain_length在 5~63 之間就說明特征提取模塊已就緒。這是后續(xù)所有模型訓(xùn)練的前提——寧可花 2 小時(shí)調(diào)通translate.py也不要帶著錯(cuò)誤特征去訓(xùn) SVM。2.4 SVM.py 與 DNN.py雙模型驗(yàn)證機(jī)制不是炫技而是交叉校驗(yàn)項(xiàng)目同時(shí)提供SVM.py和DNN.py但它們不是讓你“選一個(gè)用”而是構(gòu)建雙模型一致性校驗(yàn)。SVM.py用sklearn.svm.SVC(kernelrbf, C1.0, gammascale)輸入是translate.py輸出的 22 維向量DNN.py用 Keras 構(gòu)建 3 層全連接網(wǎng)絡(luò)128-64-32激活函數(shù)為relu輸出層為sigmoid。兩者訓(xùn)練代碼都強(qiáng)制要求輸入數(shù)據(jù)必須經(jīng)StandardScaler標(biāo)準(zhǔn)化SVM對(duì)量綱敏感DNN收斂慢訓(xùn)練集劃分嚴(yán)格按train_test_split(X, y, test_size0.2, stratifyy, random_state42)保證類別比例一致評(píng)估必須輸出classification_report精確率、召回率、F1和confusion_matrix。為什么這么做因?yàn)閻阂饩W(wǎng)站檢測(cè)中誤報(bào)False Positive比漏報(bào)False Negative更致命——把銀行官網(wǎng)標(biāo)成惡意用戶直接不敢付款。而 SVM 在小樣本下更穩(wěn)定DNN 容易過擬合噪聲。當(dāng)兩個(gè)模型對(duì)同一批測(cè)試 URL 的預(yù)測(cè)結(jié)果差異 15%就觸發(fā)告警提示你檢查translate.py是否引入了異常特征比如某個(gè) URL 的https_ratio_in_path算出負(fù)數(shù)。這種設(shè)計(jì)把“模型不可信”轉(zhuǎn)化成了可操作的排查信號(hào)。3. 本地運(yùn)行全流程從解壓到生成預(yù)測(cè)報(bào)告一步一驗(yàn)證別急著python SVM.py這套代碼的健壯性建立在“每步可驗(yàn)證”上。我一般會(huì)按以下順序執(zhí)行中間任何一步失敗立刻停住查原因而不是硬著頭皮往下跑。3.1 環(huán)境準(zhǔn)備與依賴安裝版本鎖定是避免玄學(xué)翻車的第一步項(xiàng)目沒提供requirements.txt但根據(jù)SVM.py和DNN.py的 import 語(yǔ)句可反推出最小依賴集。我推薦用虛擬環(huán)境避免污染全局 Python# 創(chuàng)建并激活虛擬環(huán)境Python 3.8 python -m venv ml-malware-env source ml-malware-env/bin/activate # Linux/macOS # ml-malware-env\Scripts\activate # Windows # 安裝指定版本關(guān)鍵 pip install numpy1.21.6 pandas1.3.5 scikit-learn1.0.2 pip install tensorflow2.8.0 # 注意DNN.py 用的是 TF 2.x不是 PyTorch pip install python-Levenshtein0.20.0 # typelist.py 依賴比 difflib 快 10 倍提示不要用pip install -r requirements.txt項(xiàng)目沒提供也不要盲目升級(jí)到最新版。scikit-learn 1.2的SVC默認(rèn)啟用了break_tiesTrue會(huì)導(dǎo)致預(yù)測(cè)結(jié)果與原項(xiàng)目README.md中的示例不一致tensorflow 2.10移除了部分舊 APIDNN.py里的tf.keras.layers.Dense初始化方式會(huì)報(bào)錯(cuò)。版本鎖死是復(fù)現(xiàn)成功的底線。3.2 數(shù)據(jù)加載與特征生成用translate.py驗(yàn)證你的 URL 輸入是否合規(guī)先解壓data.zip到項(xiàng)目根目錄確保train.csv和test.csv存在。然后運(yùn)行特征生成腳本# gen_features.py —— 自己寫的驗(yàn)證腳本 import pandas as pd from translate import url_to_features # 加載訓(xùn)練集只取前 10 行做快速驗(yàn)證 df pd.read_csv(train.csv, nrows10) print(Raw train.csv shape:, df.shape) # 對(duì)每行 URL 調(diào)用 translate.py features_list [] for idx, row in df.iterrows(): try: vec url_to_features(row[url]) # 注意train.csv 里 URL 列名是 url features_list.append(vec) print(f? URL {idx}: {row[url][:50]}... - {len(vec)}D vector) except Exception as e: print(f? URL {idx} failed: {e}) # 檢查所有向量長(zhǎng)度是否一致 lengths [len(v) for v in features_list] print(Feature vector lengths:, set(lengths)) # 必須輸出 {22}如果輸出里有?說明translate.py遇到了未覆蓋的 URL 格式如含\0字符、超長(zhǎng) base64 參數(shù)。此時(shí)不要改模型先打開translate.py在url_to_features函數(shù)開頭加一行print(fDEBUG: raw url {url})定位具體哪條 URL 觸發(fā)異常。這是血淚經(jīng)驗(yàn)80% 的“模型跑不通”問題根源都在特征生成這一步。3.3 SVM 模型訓(xùn)練與保存關(guān)注model.pkl生成而非屏幕日志SVM.py的核心邏輯是# SVM.py 關(guān)鍵片段 from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split import joblib # 1. 加載數(shù)據(jù)注意這里讀的是 train.csv不是原始 URL df pd.read_csv(train.csv) X df.iloc[:, :-1].values # 前22列特征 y df.iloc[:, -1].values # 最后1列標(biāo)簽 # 2. 標(biāo)準(zhǔn)化必須 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 3. 劃分訓(xùn)練/驗(yàn)證集 X_train, X_val, y_train, y_val train_test_split( X_scaled, y, test_size0.2, stratifyy, random_state42 ) # 4. 訓(xùn)練 SVM clf SVC(kernelrbf, C1.0, gammascale, probabilityTrue) clf.fit(X_train, y_train) # 5. 保存模型和 scaler關(guān)鍵 joblib.dump(clf, svm_model.pkl) joblib.dump(scaler, scaler.pkl) print(SVM model saved to svm_model.pkl)運(yùn)行python SVM.py后檢查當(dāng)前目錄是否生成了svm_model.pkl和scaler.pkl。不要只看屏幕輸出“Training finished”要確認(rèn)文件真實(shí)存在且大小 10KB。因?yàn)閖oblib.dump有時(shí)會(huì)因磁盤滿或權(quán)限問題靜默失敗。你可以用以下命令驗(yàn)證模型可加載python -c import joblib; m joblib.load(svm_model.pkl); print(Model loaded OK)如果報(bào)錯(cuò)ModuleNotFoundError: No module named sklearn說明環(huán)境沒激活如果報(bào)錯(cuò)ValueError: buffer size mismatch說明joblib版本不兼容需統(tǒng)一用joblib1.1.0。3.4 DNN 模型訓(xùn)練與權(quán)重保存Keras 的model.h5必須手動(dòng)指定路徑DNN.py使用 Keras Sequential API關(guān)鍵區(qū)別在于模型保存格式# DNN.py 關(guān)鍵片段 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from tensorflow.keras.callbacks import ModelCheckpoint # ... 數(shù)據(jù)加載與標(biāo)準(zhǔn)化同 SVM.py... # 構(gòu)建模型 model Sequential([ Dense(128, activationrelu, input_shape(22,)), Dense(64, activationrelu), Dense(32, activationrelu), Dense(1, activationsigmoid) ]) model.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) # 設(shè)置檢查點(diǎn)保存最佳權(quán)重 checkpoint ModelCheckpoint( filepathdnn_best_weights.h5, # 注意不是 .hdf5是 .h5 monitorval_accuracy, save_best_onlyTrue, modemax ) # 訓(xùn)練 history model.fit( X_train, y_train, validation_data(X_val, y_val), epochs50, callbacks[checkpoint], verbose1 )運(yùn)行python DNN.py后務(wù)必檢查是否生成dnn_best_weights.h5。Keras 默認(rèn)不會(huì)保存完整模型含架構(gòu)只保存權(quán)重。所以預(yù)測(cè)時(shí)必須先重建模型結(jié)構(gòu)再加載權(quán)重# predict_dnn.py from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense import numpy as np # 1. 重建完全相同的模型結(jié)構(gòu) model Sequential([ Dense(128, activationrelu, input_shape(22,)), Dense(64, activationrelu), Dense(32, activationrelu), Dense(1, activationsigmoid) ]) # 2. 加載權(quán)重 model.load_weights(dnn_best_weights.h5) # 3. 預(yù)測(cè)注意輸入必須是標(biāo)準(zhǔn)化后的向量 X_test np.array([[18.0, 2.0, 1.0, 0.0, 3.21, ...]]) # 22維 pred model.predict(X_test) print(DNN prediction:, pred[0][0])如果跳過第1步直接load_weights會(huì)報(bào)錯(cuò)ValueError: You are trying to load a weight file containing 8 layers into a model with 0 layers。這是新手最常踩的坑之一。4. 避坑指南五個(gè)真實(shí)發(fā)生過的翻車現(xiàn)場(chǎng)與自救方案這套代碼在多個(gè)課程設(shè)計(jì)中被使用我也幫 A同學(xué) 調(diào)試過他的畢設(shè)。以下是高頻、高破壞性的五個(gè)坑按“現(xiàn)象 → 原因 → 解決”給出可立即執(zhí)行的方案不是泛泛而談。4.1 現(xiàn)象python SVM.py報(bào)錯(cuò)ValueError: Input contains NaN, infinity or a value too large for dtype(float64)原因translate.py中某個(gè)特征計(jì)算出現(xiàn)除零如https_ratio_in_path https_count / path_length當(dāng)path_length0時(shí)結(jié)果為inf或 URL 含非法 Unicode 字符導(dǎo)致len()返回負(fù)數(shù)。解決在translate.py的url_to_features函數(shù)末尾加防御性檢查# 在 return vec 前插入 for i, v in enumerate(vec): if not isinstance(v, (int, float)) or np.isnan(v) or np.isinf(v) or abs(v) 1e6: print(f?? Feature {i} invalid: {v}, setting to 0) vec[i] 0.0 return vec然后重新運(yùn)行g(shù)en_features.py確認(rèn)所有vec元素都是有限浮點(diǎn)數(shù)。4.2 現(xiàn)象SVM.py訓(xùn)練完成但predict.py預(yù)測(cè)全是 0良性原因predict.py里忘了對(duì)輸入特征做標(biāo)準(zhǔn)化直接把原始 URL 特征向量喂給svm_model.pkl。SVM 對(duì)量綱極度敏感未標(biāo)準(zhǔn)化時(shí)domain_length值域 5~63的權(quán)重遠(yuǎn)大于tld_entropy值域 0~4.5模型實(shí)際只看了長(zhǎng)度。解決predict.py必須加載scaler.pkl并 transformfrom sklearn.preprocessing import StandardScaler import joblib scaler joblib.load(scaler.pkl) X_pred scaler.transform([feature_vector]) # 注意必須是二維數(shù)組 pred clf.predict(X_pred)4.3 現(xiàn)象DNN.py訓(xùn)練 loss 下降但 val_accuracy 卡在 0.5 不動(dòng)原因train.csv的label列是字符串0/1不是整數(shù)。Keras 的binary_crossentropy要求y是float32類型的 0/1字符串會(huì)導(dǎo)致 one-hot 錯(cuò)誤。解決在DNN.py數(shù)據(jù)加載后加類型轉(zhuǎn)換y df.iloc[:, -1].values.astype(int) # 強(qiáng)制轉(zhuǎn) int # 或更安全y (df.iloc[:, -1].values 1).astype(int)4.4 現(xiàn)象typelist.py中g(shù)et_domain_type總返回unknown原因PAYMENT_KEYWORDS列表是空的或tld_mapping.json文件路徑錯(cuò)誤代碼里寫的是./data/tld_mapping.json但你解壓data.zip到了上級(jí)目錄。解決檢查typelist.py開頭的路徑定義# 修改為絕對(duì)路徑或確保相對(duì)路徑正確 TLD_MAPPING_PATH tld_mapping.json # 如果文件和 typelist.py 同目錄 # 或 TLD_MAPPING_PATH os.path.join(os.path.dirname(__file__), tld_mapping.json)然后用cat tld_mapping.json | head -5確認(rèn)文件可讀。4.5 現(xiàn)象forest_split.py執(zhí)行時(shí)報(bào)KeyError: payment_gateway原因forest_split.py依賴typelist.py的返回值但你修改了typelist.py的返回字符串如把payment_gateway改成payment而forest_split.py的字典里還是舊 key。解決打開forest_split.py找到類似SAMPLING_RATIO {payment_gateway: 0.3, education: 1.0}的字典確保所有 key 與typelist.py的return語(yǔ)句完全一致包括大小寫、下劃線。建議用grep -r payment_gateway *.py全局搜索。5. 模型對(duì)比與閾值調(diào)優(yōu)用classification_report和roc_curve找到你的業(yè)務(wù)平衡點(diǎn)跑通不代表結(jié)束。惡意網(wǎng)站檢測(cè)的核心矛盾是提高召回率抓更多惡意站必然降低精確率誤殺更多好站。SVM.py和DNN.py默認(rèn)用 0.5 為分類閾值但這在生產(chǎn)環(huán)境中幾乎從不適用。你需要根據(jù)實(shí)際場(chǎng)景調(diào)優(yōu)。下面是我每次必做的三步驗(yàn)證。5.1 生成雙模型詳細(xì)評(píng)估報(bào)告不只是看 accuracy先用test.csv生成預(yù)測(cè)結(jié)果# eval_models.py import pandas as pd import numpy as np from sklearn.metrics import classification_report, roc_curve, auc import joblib # 加載測(cè)試數(shù)據(jù) df_test pd.read_csv(test.csv) X_test df_test.iloc[:, :-1].values y_true df_test.iloc[:, -1].values # 加載 SVM 模型和 scaler svm_clf joblib.load(svm_model.pkl) scaler joblib.load(scaler.pkl) X_test_scaled scaler.transform(X_test) y_pred_svm svm_clf.predict(X_test) y_proba_svm svm_clf.predict_proba(X_test_scaled)[:, 1] # 獲取正類概率 # 加載 DNN 模型 from tensorflow.keras.models import load_model dnn_model load_model(dnn_model.h5) # 注意DNN.py 需改寫為保存完整模型 y_proba_dnn dnn_model.predict(X_test_scaled).flatten() # 打印報(bào)告 print( SVM Classification Report ) print(classification_report(y_true, y_pred_svm)) print( DNN Classification Report ) y_pred_dnn (y_proba_dnn 0.5).astype(int) print(classification_report(y_true, y_pred_dnn))重點(diǎn)看precision精確率和recall召回率這兩行。如果 SVM 的recall是 0.92 但precision只有 0.65意味著每抓 100 個(gè)惡意站就有 35 個(gè)是冤枉的。這時(shí)就要調(diào)閾值。5.2 繪制 ROC 曲線確定最優(yōu)閾值用roc_curve找到你的業(yè)務(wù)拐點(diǎn)ROC 曲線橫軸是False Positive RateFPR縱軸是True Positive RateTPR/Recall。理想情況是左上角FPR0, TPR1但現(xiàn)實(shí)中要權(quán)衡。以下代碼生成曲線并計(jì)算 AUC# plot_roc.py import matplotlib.pyplot as plt from sklearn.metrics import roc_curve, auc fpr_svm, tpr_svm, _ roc_curve(y_true, y_proba_svm) fpr_dnn, tpr_dnn, _ roc_curve(y_true, y_proba_dnn) plt.figure(figsize(8, 6)) plt.plot(fpr_svm, tpr_svm, labelfSVM (AUC {auc(fpr_svm, tpr_svm):.3f})) plt.plot(fpr_dnn, tpr_dnn, labelfDNN (AUC {auc(fpr_dnn, tpr_dnn):.3f})) plt.plot([0, 1], [0, 1], k--, labelRandom Classifier) plt.xlabel(False Positive Rate) plt.ylabel(True Positive Rate) plt.title(ROC Curve) plt.legend() plt.grid(True) plt.savefig(roc_curve.png, dpi300, bbox_inchestight) plt.show()運(yùn)行后得到roc_curve.png。觀察曲線如果 SVM 曲線整體高于 DNN說明在相同 FPR 下 SVM 能獲得更高 TPR更適合“寧可錯(cuò)殺”的場(chǎng)景如內(nèi)網(wǎng)隔離如果 DNN 在低 FPR 區(qū)域FPR0.05更陡峭說明它在“嚴(yán)控誤報(bào)”時(shí)表現(xiàn)更好如面向終端用戶的瀏覽器插件。5.3 業(yè)務(wù)閾值決策表把技術(shù)指標(biāo)翻譯成運(yùn)營(yíng)語(yǔ)言不要憑感覺定閾值。我用一個(gè)表格把技術(shù)指標(biāo)和業(yè)務(wù)影響對(duì)應(yīng)起來供你決策閾值SVM PrecisionSVM Recall預(yù)估每日誤報(bào)數(shù)按 10w 請(qǐng)求適用場(chǎng)景0.30.580.9442,000離線批量掃描事后人工復(fù)核0.50.650.9235,000默認(rèn)值課程設(shè)計(jì)展示用0.70.780.8522,000企業(yè)網(wǎng)關(guān)旁路可接受少量漏報(bào)0.850.910.729,000瀏覽器插件用戶容忍度極低0.950.970.453,000高安全等級(jí)系統(tǒng)只攔截高置信惡意站計(jì)算邏輯誤報(bào)數(shù) 總請(qǐng)求數(shù) × (1 - Precision) × (True Negative Rate)其中True Negative Rate ≈ 0.99假設(shè) 99% 的請(qǐng)求是良性。這個(gè)表不是標(biāo)準(zhǔn)答案而是幫你把“我要更準(zhǔn)”翻譯成“我把閾值設(shè)成 0.85”。5.4 部署前的終極驗(yàn)證用predict.py測(cè)試真實(shí) URL最后一步寫一個(gè)真正可用的預(yù)測(cè)腳本輸入任意 URL輸出風(fēng)險(xiǎn)分和判定# predict.py import sys from translate import url_to_features from sklearn.preprocessing import StandardScaler import joblib import numpy as np if len(sys.argv) ! 2: print(Usage: python predict.py url) sys.exit(1) url sys.argv[1] try: features url_to_features(url) except Exception as e: print(fFeature extraction failed: {e}) sys.exit(1) # 加載模型和 scaler scaler joblib.load(scaler.pkl) svm_model joblib.load(svm_model.pkl) # 標(biāo)準(zhǔn)化并預(yù)測(cè) X np.array([features]) X_scaled scaler.transform(X) prob svm_model.predict_proba(X_scaled)[0][1] # 惡意概率 pred svm_model.predict(X_scaled)[0] print(fURL: {url}) print(fMalicious Probability: {prob:.3f}) print(fPrediction: {MALICIOUS if pred 1 else BENIGN}) print(fRisk Level: {HIGH if prob 0.85 else MEDIUM if prob 0.7 else LOW})運(yùn)行python predict.py http://fake-bank-login.net看輸出是否合理。如果prob是 0.99但你知道這個(gè)域名其實(shí)是某公司測(cè)試站那就回頭檢查translate.py里has_ip_in_url或tld_entropy的計(jì)算邏輯——這才是閉環(huán)驗(yàn)證。從那以后我每次交付模型都強(qiáng)制走一遍predict.py測(cè)試 5 個(gè)真實(shí) URL2 個(gè)已知惡意、2 個(gè)已知良性、1 個(gè)模糊案例不看到Risk Level符合預(yù)期絕不提交。因?yàn)橹笜?biāo)可以刷但一個(gè)真實(shí)的http://paypal-security-update.org被標(biāo)成LOW就是模型沒過關(guān)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取