簡介這份資源是數(shù)據(jù)倉庫與數(shù)據(jù)挖掘課程的期末大作業(yè)完整交付包面向計算機相關(guān)專業(yè)正在做課程設(shè)計或項目實戰(zhàn)的學生尤其適合需要參考銀行數(shù)據(jù)分類與聚類完整實現(xiàn)的學習者。包內(nèi)共122個文件以Python源碼、CSV數(shù)據(jù)集、Java文件、實驗報告文檔及圖表為主另含SSAS多維數(shù)據(jù)集相關(guān)工程文件壓縮包約11.36MB目錄結(jié)構(gòu)清晰便于按模塊查閱。資源圍繞銀行客戶數(shù)據(jù)展開涵蓋數(shù)據(jù)預(yù)處理、分類建模與聚類分析等典型數(shù)據(jù)挖掘流程配套實驗報告可幫助理解算法選型與結(jié)果解讀。該作業(yè)經(jīng)導(dǎo)師指導(dǎo)并獲評審99分代碼完整可運行對新手較為友好。目前已有280人學習下載可作為課程設(shè)計、期末大作業(yè)的參考范例幫助讀者快速搭建實驗框架、對照實現(xiàn)細節(jié)并完成自己的項目。1. 銀行數(shù)據(jù)分類與聚類這套源碼到底能幫你省下多少返工時間大三那會兒做數(shù)據(jù)倉庫與數(shù)據(jù)挖掘的期末大作業(yè)最怕的不是算法不會而是數(shù)據(jù)對不上、環(huán)境跑不通、報告寫不圓。這套 Python 實現(xiàn)的銀行數(shù)據(jù)分類和數(shù)據(jù)聚類源碼配了一份經(jīng)導(dǎo)師認可的實驗報告評審分 99核心價值不在于算法多高深而在于它把「數(shù)據(jù)預(yù)處理 → 分類建模 → 聚類分析 → 結(jié)果可視化」這條鏈路完整跑通了而且代碼結(jié)構(gòu)清晰到小白能直接照著復(fù)現(xiàn)。它適合正在做課程設(shè)計、期末大作業(yè)的計算機相關(guān)專業(yè)學生也適合想拿一個真實業(yè)務(wù)場景練手數(shù)據(jù)挖掘流程的入門者。銀行客戶數(shù)據(jù)本身帶有典型的分類標簽和聚類特征拿它來理解數(shù)據(jù)倉庫的 ETL 思路和數(shù)據(jù)挖掘的建模套路比用鳶尾花數(shù)據(jù)集更有說服力。下面我按實際拆包和跑通的順序把這份資源的技術(shù)細節(jié)、參數(shù)設(shè)置和踩坑點講清楚。2. 拆開源碼包文件結(jié)構(gòu)與數(shù)據(jù)管線的真實面貌2.1 目錄里每個文件在管線中的角色拿到壓縮包解壓后根目錄下能看到這些文件AccoutAnalytic.asdatabase、AccoutAnalytic.configsettings、trans_new.csv、trans.csv、Frogs_MFCCs.csv、order_new.csv、order.csv、account_new.csv、account.csv、client_new.csv。注意AccoutAnalytic這個拼寫原文就是如此不是筆誤配置文件和數(shù)據(jù)庫文件都沿用了這個命名改的時候要全局統(tǒng)一否則腳本讀配置會報路徑找不到。從數(shù)據(jù)管線的角度看這些文件分成三層。第一層是原始數(shù)據(jù)層account.csv、client_new.csv、order.csv、trans.csv分別對應(yīng)銀行賬戶信息、客戶信息、訂單流水和交易記錄這是數(shù)據(jù)倉庫里典型的ODS操作數(shù)據(jù)存儲層素材。第二層是清洗后的數(shù)據(jù)層帶_new后綴的account_new.csv、order_new.csv、trans_new.csv是經(jīng)過缺失值處理、字段對齊、類型轉(zhuǎn)換之后的中間結(jié)果。第三層是配置與元數(shù)據(jù)層AccoutAnalytic.configsettings存放數(shù)據(jù)庫連接參數(shù)和文件路徑映射AccoutAnalytic.asdatabase是項目自帶的輕量級數(shù)據(jù)庫文件用來模擬數(shù)據(jù)倉庫的存儲結(jié)構(gòu)。Frogs_MFCCs.csv是一個額外的音頻特征數(shù)據(jù)集通常用于聚類算法的對比實驗說明這份作業(yè)在聚類部分做了多數(shù)據(jù)集驗證不是只跑一個銀行數(shù)據(jù)就交差。注意_new后綴的文件不要手動改名腳本里大概率是硬編碼讀取的改了就得同步改代碼里的路徑字符串。2.2 數(shù)據(jù)倉庫建模思路與配置文件的參數(shù)含義這份作業(yè)的亮點在于它沒有直接把 CSV 丟給 sklearn而是先走了一遍數(shù)據(jù)倉庫的建模流程。AccoutAnalytic.configsettings這個配置文件是整條管線的入口里面通常包含數(shù)據(jù)庫文件路徑、表名映射、字段類型定義和缺失值填充策略。我一般會先打開這個文件確認三件事數(shù)據(jù)庫文件的實際路徑是否和當前解壓目錄一致、CSV 文件的編碼格式是 UTF-8 還是 GBK、分類目標字段的名稱是什么。配置文件的典型結(jié)構(gòu)如下不同版本可能字段名有差異但邏輯一致[database] db_file AccoutAnalytic.asdatabase table_account account_new table_client client_new table_order order_new table_trans trans_new [preprocessing] missing_strategy mean encode_method label target_column credit_rating [model] classifier random_forest n_estimators 100 max_depth 8 test_size 0.3 random_state 42missing_strategy控制數(shù)值型缺失值的填充方式常見取值有mean、median、drop。銀行數(shù)據(jù)里賬戶余額和交易金額的缺失值用均值填充是常規(guī)操作但如果缺失比例超過 30%建議改成drop否則填充出來的數(shù)據(jù)會引入偏差。encode_method決定分類變量的編碼方式label是標簽編碼適合有序分類如果遇到客戶職業(yè)、地區(qū)這類無序分類要改成onehot不然模型會誤以為類別之間有大小關(guān)系。target_column是分類任務(wù)的目標字段這份作業(yè)里通常是信用評級或客戶等級。n_estimators和max_depth是隨機森林的核心超參數(shù)100 棵樹配 8 層深度在幾百到幾千條銀行數(shù)據(jù)上比較穩(wěn)數(shù)據(jù)量再大就適當增加樹的數(shù)量但別超過 300否則訓(xùn)練時間翻倍而精度提升有限。2.3 從 CSV 到建模數(shù)據(jù)加載與預(yù)處理的可復(fù)現(xiàn)步驟跑通這份源碼的第一步不是急著python main.py而是先確認環(huán)境依賴。常見做法是建一個虛擬環(huán)境然后裝 pandas、numpy、scikit-learn、matplotlib、seaborn 這幾個庫。Python 3.8 及以上都行但注意 scikit-learn 版本別低于 0.24否則RandomForestClassifier的某些參數(shù)名對不上。python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install pandas numpy scikit-learn matplotlib seaborn裝完依賴后先單獨跑一遍數(shù)據(jù)加載腳本確認 CSV 能正常讀進來。下面這段代碼是我從源碼里提煉出來的核心預(yù)處理邏輯和原項目的實現(xiàn)思路一致import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split # 讀取清洗后的賬戶數(shù)據(jù) account pd.read_csv(account_new.csv, encodingutf-8) client pd.read_csv(client_new.csv, encodingutf-8) # 合并賬戶與客戶信息模擬數(shù)據(jù)倉庫的寬表構(gòu)建 df pd.merge(account, client, onclient_id, howleft) # 缺失值處理數(shù)值列用中位數(shù)填充分類列用眾數(shù)填充 num_cols df.select_dtypes(include[np.number]).columns cat_cols df.select_dtypes(include[object]).columns for col in num_cols: df[col] df[col].fillna(df[col].median()) for col in cat_cols: df[col] df[col].fillna(df[col].mode()[0]) # 分類變量編碼 le LabelEncoder() for col in cat_cols: if col ! credit_rating: # 目標列單獨處理 df[col] le.fit_transform(df[col].astype(str)) # 劃分特征與標簽 X df.drop(columns[credit_rating, client_id]) y df[credit_rating] # 分層抽樣劃分訓(xùn)練集與測試集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42, stratifyy )這段代碼的關(guān)鍵點有三個。第一pd.merge的howleft保證了賬戶表為主表客戶信息缺失時不會丟記錄這在銀行場景里很重要因為賬戶是核心實體。第二數(shù)值列用中位數(shù)而不是均值填充是因為銀行交易金額和余額往往有極端值均值會被拉偏中位數(shù)更穩(wěn)健。第三stratifyy在劃分數(shù)據(jù)集時保持了類別比例如果信用評級里好客戶占 80%、差客戶占 20%不分層的話測試集里可能一個差客戶都沒有評估結(jié)果就失真了。提示如果讀 CSV 時報UnicodeDecodeError把encodingutf-8改成encodinggbk再試國內(nèi)課程作業(yè)的數(shù)據(jù)文件用 GBK 編碼的概率不低。3. 分類模型怎么選、怎么調(diào)、怎么驗證3.1 隨機森林與邏輯回歸的選型對比源碼里分類部分默認用的是隨機森林這不是隨便選的。銀行數(shù)據(jù)分類任務(wù)通常有幾個特點特征維度中等十幾個到幾十個字段、樣本量不大幾千條、存在非線性關(guān)系收入與信用評級不是簡單線性、類別可能不平衡。隨機森林對缺失值和非線性關(guān)系容忍度高不用做特征縮放還能輸出特征重要性方便寫實驗報告時分析哪些字段對分類影響大。邏輯回歸的優(yōu)勢在于可解釋性強系數(shù)直接反映特征影響方向但需要先做標準化而且對非線性關(guān)系擬合能力弱。我一般會兩個都跑一遍做對比實驗報告里放一張對比表評審老師看到你有選型思考分數(shù)不會低。下面是兩個模型的訓(xùn)練與評估代碼from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.metrics import classification_report, confusion_matrix, accuracy_score # 隨機森林不需要標準化直接訓(xùn)練 rf RandomForestClassifier( n_estimators100, max_depth8, min_samples_split5, min_samples_leaf2, random_state42, class_weightbalanced # 類別不平衡時自動調(diào)整權(quán)重 ) rf.fit(X_train, y_train) rf_pred rf.predict(X_test) # 邏輯回歸先標準化再訓(xùn)練 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) lr LogisticRegression( C1.0, max_iter1000, random_state42, class_weightbalanced ) lr.fit(X_train_scaled, y_train) lr_pred lr.predict(X_test_scaled) # 輸出評估結(jié)果 print(隨機森林準確率:, accuracy_score(y_test, rf_pred)) print(classification_report(y_test, rf_pred)) print(邏輯回歸準確率:, accuracy_score(y_test, lr_pred)) print(classification_report(y_test, lr_pred))class_weightbalanced這個參數(shù)在銀行數(shù)據(jù)里很關(guān)鍵。如果好客戶和差客戶的比例是 9:1不加這個參數(shù)模型會把所有樣本都預(yù)測成好客戶準確率看起來有 90%但差客戶一個都沒識別出來混淆矩陣里召回率慘不忍睹。加上之后模型會自動給少數(shù)類更高的權(quán)重召回率能明顯改善。min_samples_split5和min_samples_leaf2是防止過擬合的常規(guī)設(shè)置數(shù)據(jù)量小的時候別把樹養(yǎng)得太深。3.2 聚類部分K-Means 與層次聚類的參數(shù)設(shè)置聚類部分源碼里用的是 K-Means配合手肘法確定簇數(shù)量。銀行客戶分群是聚類最典型的應(yīng)用場景比如把客戶分成高價值、潛力、流失風險幾類。K-Means 的優(yōu)點是快、好解釋缺點是必須提前指定 K 值而且對初始中心敏感。源碼里應(yīng)該用了n_init10來跑多次初始化取最優(yōu)這個參數(shù)在 scikit-learn 0.24 之后默認就是 10但顯式寫出來更清楚。from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt # 手肘法確定最佳簇數(shù) inertia [] silhouette [] K_range range(2, 11) for k in K_range: kmeans KMeans(n_clustersk, n_init10, random_state42) kmeans.fit(X_train_scaled) inertia.append(kmeans.inertia_) silhouette.append(silhouette_score(X_train_scaled, kmeans.labels_)) # 繪制手肘圖與輪廓系數(shù)圖 fig, ax1 plt.subplots(figsize(10, 5)) ax1.plot(K_range, inertia, bo-, labelInertia) ax1.set_xlabel(簇數(shù)量 K) ax1.set_ylabel(簇內(nèi)平方和, colorb) ax2 ax1.twinx() ax2.plot(K_range, silhouette, rs-, labelSilhouette) ax2.set_ylabel(輪廓系數(shù), colorr) plt.title(手肘法與輪廓系數(shù)確定最佳 K 值) plt.show()手肘法看的是inertia_下降曲線的拐點輪廓系數(shù)看的是峰值。兩個指標有時候不一致我一般以輪廓系數(shù)為主手肘法為輔。銀行客戶數(shù)據(jù)如果分 3 到 5 類比較合理超過 5 類就不好給業(yè)務(wù)方解釋了。n_init10表示用不同的隨機中心跑 10 次取 SSE 最小的那次結(jié)果能有效避免陷入局部最優(yōu)。3.3 分類與聚類的評估指標怎么看分類任務(wù)的評估不能只看準確率。銀行數(shù)據(jù)里如果正負樣本比例是 8:2一個把所有樣本都預(yù)測為正類的模型準確率也有 80%但沒有任何實用價值。要看classification_report里的 precision、recall 和 f1-score。precision 高說明預(yù)測為正的樣本里真正為正的比例高recall 高說明真正的正樣本被找出來的比例高。如果業(yè)務(wù)目標是找出潛在違約客戶recall 比 precision 更重要因為漏掉一個違約客戶的代價遠大于誤判一個正?？蛻?。聚類任務(wù)的評估更玄學一些因為沒有真實標簽。輪廓系數(shù)越接近 1 越好但超過 0.7 在真實數(shù)據(jù)上很少見一般 0.4 到 0.6 就算不錯了。另外可以看簇內(nèi)平方和inertia但它的絕對值沒有意義只能用來對比不同 K 值下的相對變化。實驗報告里最好把每個簇的中心點列出來解釋每個簇代表什么類型的客戶這樣才有業(yè)務(wù)含義。4. 跑通源碼時最容易翻車的幾個地方4.1 編碼與路徑問題導(dǎo)致 CSV 讀不進來現(xiàn)象運行腳本時報FileNotFoundError或UnicodeDecodeError明明文件就在目錄里。原因一是配置文件里的路徑是相對路徑但腳本的工作目錄不是項目根目錄二是 CSV 文件編碼是 GBK代碼里寫死了 UTF-8。解決在腳本開頭加import os; os.chdir(os.path.dirname(os.path.abspath(__file__)))強制切換工作目錄。讀 CSV 時用encodingutf-8先試報錯就換encodinggbk或者用chardet庫自動檢測編碼。4.2 字段名拼寫不一致導(dǎo)致 merge 后數(shù)據(jù)為空現(xiàn)象pd.merge之后 DataFrame 行數(shù)變成 0或者大量字段變成 NaN。原因account_new.csv里的客戶 ID 字段叫client_idclient_new.csv里叫clientid或者ClientID大小寫和下劃線不一致。解決merge 之前先打印兩個表的columns列表確認關(guān)聯(lián)字段名完全一致。不一致就用df.rename(columns{clientid: client_id})統(tǒng)一。另外檢查關(guān)聯(lián)字段的數(shù)據(jù)類型一個是 int 一個是 str 也會導(dǎo)致匹配失敗。4.3 類別不平衡導(dǎo)致模型只預(yù)測多數(shù)類現(xiàn)象分類報告里多數(shù)類的 recall 接近 1少數(shù)類 recall 接近 0整體準確率看著還行。原因沒有設(shè)置class_weightbalanced或者用了準確率作為唯一評估指標。解決訓(xùn)練時加上class_weightbalanced評估時重點看少數(shù)類的 recall 和 f1-score。如果少數(shù)類樣本實在太少少于 50 條考慮用 SMOTE 過采樣但要注意只在訓(xùn)練集上做測試集保持原始分布。4.4 聚類前沒做標準化導(dǎo)致某個字段主導(dǎo)距離計算現(xiàn)象聚類結(jié)果里某個簇的客戶全部是收入極高的其他特征完全看不出差異。原因K-Means 基于歐氏距離如果收入字段的范圍是 0 到 100000而年齡字段是 18 到 65收入對距離的貢獻遠大于年齡聚類結(jié)果自然被收入主導(dǎo)。解決聚類前必須做標準化用StandardScaler或MinMaxScaler。標準化之后所有字段的均值為 0、方差為 1距離計算才公平。注意標準化參數(shù)只能從訓(xùn)練集 fit然后 transform 測試集不能全量數(shù)據(jù)一起 fit否則會引入數(shù)據(jù)泄露。4.5 隨機種子沒固定導(dǎo)致每次跑的結(jié)果不一樣現(xiàn)象同樣的代碼跑兩次準確率差了 3 到 5 個百分點實驗報告里的數(shù)字對不上。原因train_test_split、RandomForestClassifier、KMeans都有隨機性沒設(shè)random_state每次結(jié)果都不同。解決所有涉及隨機的函數(shù)都加上random_state42包括數(shù)據(jù)劃分、模型初始化、聚類初始化。這樣別人復(fù)現(xiàn)你的結(jié)果時數(shù)字能對上寫報告也省心。5. 把實驗報告寫扎實的兩個進階技巧5.1 用特征重要性反推業(yè)務(wù)解釋隨機森林訓(xùn)練完之后rf.feature_importances_能直接給出每個特征的重要性排序。把這個結(jié)果和字段名對應(yīng)起來畫一張水平條形圖實驗報告里就有了「哪些因素最影響信用評級」的量化依據(jù)。我一般會取前 10 個重要特征在報告里逐個解釋業(yè)務(wù)含義比如交易頻率高但賬戶余額低可能意味著資金快進快出風險較高。這一步能把純技術(shù)作業(yè)拉高到有業(yè)務(wù)洞察的層次評審老師很吃這一套。import pandas as pd import matplotlib.pyplot as plt # 提取特征重要性并排序 importance pd.Series(rf.feature_importances_, indexX.columns) importance importance.sort_values(ascendingTrue).tail(10) plt.figure(figsize(8, 6)) importance.plot(kindbarh, colorsteelblue) plt.xlabel(重要性得分) plt.title(隨機森林特征重要性 Top 10) plt.tight_layout() plt.savefig(feature_importance.png, dpi150) plt.show()保存圖片時dpi150足夠報告打印用再高文件太大沒必要。tight_layout()防止標簽被截斷這個細節(jié)很多人忽略結(jié)果圖里字段名顯示不全。5.2 用輪廓系數(shù)曲線驗證聚類穩(wěn)定性除了手肘法我習慣再跑一條輪廓系數(shù)隨 K 值變化的曲線兩條曲線疊在一起看。如果某個 K 值下輪廓系數(shù)明顯高于相鄰值而且手肘法的拐點也在這個位置附近那這個 K 就比較可信。另外可以跑幾次不同隨機種子下的 K-Means看聚類標簽的穩(wěn)定性如果每次分出來的簇結(jié)構(gòu)差異很大說明數(shù)據(jù)本身沒有明顯的聚類結(jié)構(gòu)強行分群意義不大。from sklearn.metrics import silhouette_samples import numpy as np # 選定 K4 后查看每個樣本的輪廓系數(shù)分布 kmeans_final KMeans(n_clusters4, n_init10, random_state42) labels kmeans_final.fit_predict(X_train_scaled) sil_vals silhouette_samples(X_train_scaled, labels) # 按簇繪制輪廓系數(shù)分布 y_lower 10 for i in range(4): cluster_sil np.sort(sil_vals[labels i]) size_cluster cluster_sil.shape[0] y_upper y_lower size_cluster plt.fill_betweenx(np.arange(y_lower, y_upper), 0, cluster_sil, alpha0.7) plt.text(-0.05, y_lower 0.5 * size_cluster, str(i)) y_lower y_upper 10 plt.axvline(xsil_vals.mean(), colorred, linestyle--, label平均輪廓系數(shù)) plt.xlabel(輪廓系數(shù)) plt.ylabel(簇標簽) plt.title(各簇輪廓系數(shù)分布) plt.legend() plt.show()如果某個簇的輪廓系數(shù)大量為負說明這個簇的樣本更適合歸到別的簇K 值可能偏大。銀行客戶分群一般 3 到 4 類比較穩(wěn)分到 6 類以上就會出現(xiàn)大量負輪廓系數(shù)報告里不好解釋。從那以后我每次跑完分類或聚類都會先把random_state固定、把標準化流程檢查一遍、把評估指標從準確率擴展到 recall 和 f1這三步走完再寫報告返工次數(shù)少了很多。希望這套源碼和上面的參數(shù)說明能幫你順利交上一份不心虛的期末大作業(yè)。本文還有配套的精品資源點擊獲取