本節(jié)摘要上一節(jié)中我們利用線性回歸從應(yīng)力—應(yīng)變數(shù)據(jù)中識(shí)別了材料彈性模量。當(dāng)模型只有一個(gè)輸入特征時(shí)問題相對(duì)簡(jiǎn)單。但真實(shí)的有限元代理模型往往同時(shí)包含載荷、幾何尺寸、材料參數(shù)和邊界條件等多個(gè)輸入其中一些變量還可能高度相關(guān)。本節(jié)將通過一個(gè)多參數(shù)結(jié)構(gòu)位移預(yù)測(cè)案例學(xué)習(xí)嶺回歸、Lasso回歸和彈性網(wǎng)絡(luò)理解如何利用正則化緩解特征共線性與過擬合并從大量候選參數(shù)中篩選關(guān)鍵力學(xué)特征。一、本節(jié)學(xué)習(xí)目標(biāo)完成本節(jié)后你將能夠理解過擬合與特征共線性的基本含義解釋正則化為什么能夠提高模型穩(wěn)定性掌握嶺回歸的L2正則化原理掌握Lasso回歸的L1正則化原理理解彈性網(wǎng)絡(luò)如何結(jié)合L1與L2正則化正確使用StandardScaler標(biāo)準(zhǔn)化力學(xué)特征比較不同模型的系數(shù)、MAE、RMSE和利用Lasso初步篩選關(guān)鍵力學(xué)參數(shù)。二、為什么普通線性回歸還不夠考慮一個(gè)結(jié)構(gòu)位移預(yù)測(cè)任務(wù)。模型輸入包括其中為載荷為結(jié)構(gòu)長(zhǎng)度為截面寬度為截面厚度為截面積為彈性模量。模型輸出為最大位移由于截面積與寬度、厚度之間存在直接關(guān)系。因此模型輸入中的、和并不是相互獨(dú)立的。這類現(xiàn)象稱為特征共線性。當(dāng)多個(gè)特征表達(dá)了相似的信息時(shí)普通線性回歸可能出現(xiàn)回歸系數(shù)隨數(shù)據(jù)擾動(dòng)明顯變化某些系數(shù)符號(hào)不符合直覺不同數(shù)據(jù)劃分得到完全不同的系數(shù)訓(xùn)練集表現(xiàn)很好測(cè)試集表現(xiàn)下降很難判斷哪個(gè)參數(shù)真正重要。三、什么是過擬合一個(gè)模型如果過度追隨訓(xùn)練數(shù)據(jù)中的偶然波動(dòng)就可能出現(xiàn)訓(xùn)練誤差很小但測(cè)試誤差較大。這種現(xiàn)象稱為過擬合?？梢园阉胂蟪梢粋€(gè)結(jié)構(gòu)設(shè)計(jì)約束過少結(jié)構(gòu)雖然靈活卻可能不穩(wěn)定約束過強(qiáng)結(jié)構(gòu)非常穩(wěn)定卻可能失去必要的變形能力約束合理才能兼顧適應(yīng)性與穩(wěn)定性。正則化就是給模型系數(shù)增加適當(dāng)?shù)摹凹s束力”。圖5-1 不同正則化方法的作用四、普通線性回歸的目標(biāo)函數(shù)多元線性回歸模型可以寫成普通線性回歸通過最小化殘差平方和尋找模型參數(shù)它只關(guān)心預(yù)測(cè)誤差不限制系數(shù)大小。當(dāng)特征數(shù)量較多或存在共線性時(shí)模型可能使用較大的正負(fù)系數(shù)相互抵消。雖然訓(xùn)練誤差很小但模型容易受到數(shù)據(jù)擾動(dòng)影響。五、正則化的基本思想正則化在原有損失函數(shù)后增加一個(gè)系數(shù)懲罰項(xiàng)預(yù)測(cè)誤差系數(shù)懲罰它要求模型在兩個(gè)目標(biāo)之間進(jìn)行權(quán)衡盡量準(zhǔn)確地?cái)M合數(shù)據(jù)不要使用過大、過于復(fù)雜的系數(shù)組合。控制懲罰強(qiáng)度的參數(shù)通常記為一般來說時(shí)模型接近普通線性回歸較小時(shí)約束作用較弱較大時(shí)系數(shù)被明顯壓縮過大時(shí)模型可能發(fā)生欠擬合。六、嶺回歸使用L2約束穩(wěn)定模型嶺回歸的目標(biāo)函數(shù)為其中稱為L(zhǎng)2懲罰項(xiàng)。嶺回歸的主要特點(diǎn)是將較大的系數(shù)向0壓縮通常不會(huì)讓系數(shù)嚴(yán)格等于0能夠降低共線特征造成的系數(shù)波動(dòng)適合大部分特征都有一定貢獻(xiàn)的情況。嶺回歸更像是讓所有參數(shù)“共同承擔(dān)責(zé)任”但不允許某一個(gè)參數(shù)獲得過大的權(quán)重。七、Lasso回歸使用L1約束篩選特征Lasso回歸的目標(biāo)函數(shù)為其中稱為L(zhǎng)1懲罰項(xiàng)。Lasso的重要特點(diǎn)是它可以把部分不重要或冗余特征的系數(shù)直接壓縮為0。因此Lasso不僅能夠抑制過擬合還可以用于特征選擇。在力學(xué)預(yù)測(cè)中它可以幫助回答哪些幾何參數(shù)對(duì)位移影響較大哪些材料參數(shù)可以暫時(shí)忽略哪些特征表達(dá)了重復(fù)信息后續(xù)參數(shù)化仿真應(yīng)重點(diǎn)掃描哪些變量八、彈性網(wǎng)絡(luò)同時(shí)結(jié)合L1和L2彈性網(wǎng)絡(luò)的目標(biāo)函數(shù)可以寫成其中在scikit-learn中對(duì)應(yīng)l1_ratio當(dāng)模型接近Lasso回歸。當(dāng)模型接近嶺回歸。彈性網(wǎng)絡(luò)適合以下情況特征數(shù)量較多多個(gè)特征高度相關(guān)希望進(jìn)行特征篩選又不希望Lasso只保留相關(guān)特征中的一個(gè)。九、構(gòu)造多參數(shù)力學(xué)仿真數(shù)據(jù)集本案例模擬80組結(jié)構(gòu)參數(shù)化仿真數(shù)據(jù)。輸入變量包括載荷、長(zhǎng)度、寬度、厚度、截面積和彈性模量輸出為最大位移。import numpy as np import pandas as pd n_samples 80 index np.arange(n_samples) load_kN 5 (index % 16) * 0.8 length_mm 600 (index % 8) * 25 width_mm ( 20 (index % 10) * 0.9 0.5 * np.sin(index) ) thickness_mm ( 2.5 (index % 7) * 0.12 0.05 * np.cos(index) ) area_mm2 width_mm * thickness_mm elastic_modulus_values np.array([ 70.0, 110.0, 210.0, 110.0 ]) elastic_modulus_GPa ( elastic_modulus_values[index % 4] ) noise ( 0.18 * np.sin(0.7 * index) 0.08 * np.cos(1.3 * index) ) max_displacement_mm ( 0.55 * load_kN 0.004 * length_mm - 0.035 * area_mm2 - 0.018 * elastic_modulus_GPa noise ) data pd.DataFrame({ 載荷_kN: load_kN, 長(zhǎng)度_mm: length_mm, 寬度_mm: width_mm, 厚度_mm: thickness_mm, 截面積_mm2: area_mm2, 彈性模量_GPa: elastic_modulus_GPa, 最大位移_mm: max_displacement_mm }) print(數(shù)據(jù)形狀, data.shape) print(列名, data.columns.tolist())預(yù)期輸出數(shù)據(jù)形狀 (80, 7) 列名 [載荷_kN, 長(zhǎng)度_mm, 寬度_mm, 厚度_mm, 截面積_mm2, 彈性模量_GPa, 最大位移_mm]這里加入少量周期性擾動(dòng)用來模擬有限元離散誤差、測(cè)量誤差和未建模因素。十、檢查特征共線性geometry_correlation data[ [寬度_mm, 厚度_mm, 截面積_mm2] ].corr() print(geometry_correlation.round(3))預(yù)期輸出寬度_mm 厚度_mm 截面積_mm2 寬度_mm 1.000 -0.002 0.777 厚度_mm -0.002 1.000 0.624 截面積_mm2 0.777 0.624 1.000可以看到這說明截面積與寬度、厚度包含較多重復(fù)信息。相關(guān)系數(shù)接近1或-1時(shí)代表兩個(gè)特征具有較強(qiáng)線性關(guān)系。但相關(guān)系數(shù)只能幫助發(fā)現(xiàn)問題不能單獨(dú)決定是否刪除某個(gè)力學(xué)參數(shù)。十一、劃分特征、標(biāo)簽和數(shù)據(jù)集feature_names [ 載荷_kN, 長(zhǎng)度_mm, 寬度_mm, 厚度_mm, 截面積_mm2, 彈性模量_GPa ] X data[feature_names] y data[最大位移_mm] test_mask index % 5 0 train_mask ~test_mask X_train X.loc[train_mask] X_test X.loc[test_mask] y_train y.loc[train_mask] y_test y.loc[test_mask] print(訓(xùn)練集, X_train.shape) print(測(cè)試集, X_test.shape)預(yù)期輸出訓(xùn)練集 (64, 6) 測(cè)試集 (16, 6)測(cè)試集不參與模型參數(shù)訓(xùn)練只用于評(píng)價(jià)模型對(duì)未見工況的預(yù)測(cè)能力。十二、為什么必須進(jìn)行特征標(biāo)準(zhǔn)化不同力學(xué)特征的數(shù)值尺度差異很大載荷可能為長(zhǎng)度可能為厚度可能只有彈性模量可能為。如果直接進(jìn)行正則化數(shù)值尺度較大的特征可能受到不公平的懲罰。標(biāo)準(zhǔn)化公式為其中為第個(gè)特征的訓(xùn)練集均值為第個(gè)特征的訓(xùn)練集標(biāo)準(zhǔn)差。注意標(biāo)準(zhǔn)化器只能使用訓(xùn)練集擬合不能提前讀取測(cè)試集信息否則會(huì)造成數(shù)據(jù)泄漏。十三、建立四種回歸模型使用Pipeline可以將標(biāo)準(zhǔn)化和模型訓(xùn)練封裝成一個(gè)完整流程。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import ( LinearRegression, Ridge, Lasso, ElasticNet ) models { 線性回歸: Pipeline([ (scaler, StandardScaler()), (model, LinearRegression()) ]), 嶺回歸: Pipeline([ (scaler, StandardScaler()), (model, Ridge(alpha1.0)) ]), Lasso: Pipeline([ (scaler, StandardScaler()), (model, Lasso( alpha0.04, max_iter100000, tol1e-10 )) ]), 彈性網(wǎng)絡(luò): Pipeline([ (scaler, StandardScaler()), (model, ElasticNet( alpha0.04, l1_ratio0.5, max_iter100000, tol1e-10 )) ]) } for name, model in models.items(): model.fit(X_train, y_train) print(name, 訓(xùn)練完成)預(yù)期輸出線性回歸 訓(xùn)練完成 嶺回歸 訓(xùn)練完成 Lasso 訓(xùn)練完成 彈性網(wǎng)絡(luò) 訓(xùn)練完成Pipeline可以保證預(yù)測(cè)新數(shù)據(jù)時(shí)自動(dòng)使用訓(xùn)練階段建立的標(biāo)準(zhǔn)化規(guī)則。十四、比較四種模型的回歸系數(shù)coefficient_table pd.DataFrame( indexfeature_names ) for name, pipeline in models.items(): coefficient_table[name] ( pipeline.named_steps[model].coef_ ) print(coefficient_table.round(4))預(yù)期輸出線性回歸 嶺回歸 Lasso 彈性網(wǎng)絡(luò) 載荷_kN 2.0392 1.9980 2.0108 1.9728 長(zhǎng)度_mm 0.2153 0.2287 0.1779 0.2139 寬度_mm -0.1459 -0.0894 0.0000 0.0000 厚度_mm -0.1504 -0.1054 -0.0070 -0.0253 截面積_mm2 -0.1015 -0.1734 -0.2663 -0.2716 彈性模量_GPa -0.9308 -0.9144 -0.8812 -0.8856這里展示的是標(biāo)準(zhǔn)化特征對(duì)應(yīng)的系數(shù)因此可以比較不同特征的相對(duì)影響程度。從結(jié)果可以看到載荷系數(shù)為正說明載荷增大時(shí)位移增大彈性模量系數(shù)為負(fù)說明材料剛度提高時(shí)位移減小截面積系數(shù)為負(fù)說明截面增大時(shí)結(jié)構(gòu)位移減小Lasso將寬度系數(shù)壓縮為0嶺回歸保留了全部特征但減小了共線特征的系數(shù)波動(dòng)。圖5-2 四種模型的標(biāo)準(zhǔn)化回歸系數(shù)十五、為什么Lasso刪除了寬度截面積滿足當(dāng)模型已經(jīng)獲得、和時(shí)這些變量之間存在信息重復(fù)。Lasso發(fā)現(xiàn)在保留截面積和少量厚度信息后寬度不再提供足夠的額外預(yù)測(cè)價(jià)值因此將其系數(shù)壓縮為但必須注意系數(shù)為0不等于這個(gè)參數(shù)在物理上絕對(duì)沒有作用。它只表示在當(dāng)前數(shù)據(jù)范圍、當(dāng)前特征組合和當(dāng)前下該變量沒有提供足夠的獨(dú)立預(yù)測(cè)信息。如果刪除截面積再重新訓(xùn)練模型寬度和厚度的系數(shù)就可能重新增大。十六、計(jì)算模型評(píng)價(jià)指標(biāo)from sklearn.metrics import ( mean_absolute_error, mean_squared_error, r2_score ) evaluation_records [] for name, model in models.items(): prediction model.predict(X_test) mae mean_absolute_error( y_test, prediction ) rmse np.sqrt( mean_squared_error( y_test, prediction ) ) r2 r2_score( y_test, prediction ) evaluation_records.append({ 模型: name, MAE_mm: mae, RMSE_mm: rmse, R2: r2 }) evaluation pd.DataFrame( evaluation_records ) print( evaluation.to_string( indexFalse, float_formatlambda value: f{value:.4f} ) )預(yù)期輸出模型 MAE_mm RMSE_mm R2 線性回歸 0.1329 0.1544 0.9947 嶺回歸 0.1316 0.1566 0.9946 Lasso 0.1227 0.1480 0.9951 彈性網(wǎng)絡(luò) 0.1312 0.1584 0.9944在本案例中四種模型都取得了較高精度。其中Lasso的測(cè)試集MAE和RMSE略低并且使用了更少的有效特征。這并不意味著Lasso在所有問題中都最好而是說明預(yù)測(cè)精度模型簡(jiǎn)潔性工程可解釋性應(yīng)當(dāng)綜合考慮。圖5-3 不同模型的測(cè)試集誤差十七、正則化強(qiáng)度的影響決定模型受到多強(qiáng)的約束。當(dāng)過小時(shí)此時(shí)模型接近普通線性回歸系數(shù)約束較弱訓(xùn)練誤差較小可能無(wú)法解決過擬合與共線性。當(dāng)過大時(shí)大量系數(shù)被壓縮Lasso可能刪除過多特征模型表達(dá)能力下降訓(xùn)練誤差和測(cè)試誤差都可能增大。這種現(xiàn)象稱為欠擬合。因此不是越大越好也不是越小越好而應(yīng)通過交叉驗(yàn)證選擇。十八、Lasso篩選出的特征是否可信可以查看Lasso保留的特征lasso_coefficients ( models[Lasso] .named_steps[model] .coef_ ) selected_features [ feature for feature, coefficient in zip( feature_names, lasso_coefficients ) if abs(coefficient) 1e-8 ] removed_features [ feature for feature, coefficient in zip( feature_names, lasso_coefficients ) if abs(coefficient) 1e-8 ] print(保留特征, selected_features) print(刪除特征, removed_features)預(yù)期輸出保留特征 [載荷_kN, 長(zhǎng)度_mm, 厚度_mm, 截面積_mm2, 彈性模量_GPa] 刪除特征 [寬度_mm]模型篩選結(jié)果還需要接受力學(xué)知識(shí)檢查載荷被保留符合結(jié)構(gòu)變形規(guī)律長(zhǎng)度被保留符合尺寸效應(yīng)彈性模量被保留符合剛度規(guī)律截面積被保留符合截面承載規(guī)律寬度被刪除可能是因?yàn)樗男畔⒁呀?jīng)被截面積吸收。這種檢查過程稱為物理一致性驗(yàn)證。十九、嶺回歸、Lasso和彈性網(wǎng)絡(luò)怎么選方法主要特點(diǎn)適用場(chǎng)景線性回歸不限制系數(shù)特征少、共線性弱、數(shù)據(jù)充足嶺回歸所有系數(shù)整體收縮多數(shù)特征都有作用、共線性明顯Lasso部分系數(shù)變?yōu)?希望篩選關(guān)鍵參數(shù)、建立稀疏模型彈性網(wǎng)絡(luò)同時(shí)使用L1與L2特征多且成組相關(guān)需要兼顧篩選和穩(wěn)定可以使用下面的經(jīng)驗(yàn)判斷主要目標(biāo)是穩(wěn)定預(yù)測(cè)優(yōu)先嘗試嶺回歸主要目標(biāo)是篩選參數(shù)優(yōu)先嘗試Lasso特征很多且相關(guān)性復(fù)雜優(yōu)先嘗試彈性網(wǎng)絡(luò)樣本和特征都比較簡(jiǎn)單普通線性回歸可能已經(jīng)足夠。最終仍應(yīng)以交叉驗(yàn)證結(jié)果和力學(xué)合理性為準(zhǔn)。二十、常見錯(cuò)誤與排查方法錯(cuò)誤一正則化前沒有標(biāo)準(zhǔn)化不同單位和數(shù)值尺度會(huì)造成不公平的系數(shù)懲罰。推薦使用Pipeline([ (scaler, StandardScaler()), (model, Ridge(alpha1.0)) ])錯(cuò)誤二使用全部數(shù)據(jù)計(jì)算標(biāo)準(zhǔn)化參數(shù)這會(huì)讓測(cè)試集信息提前進(jìn)入訓(xùn)練過程造成數(shù)據(jù)泄漏。錯(cuò)誤三認(rèn)為L(zhǎng)asso刪除的特征沒有物理作用Lasso判斷的是特征對(duì)當(dāng)前數(shù)據(jù)和當(dāng)前模型的獨(dú)立預(yù)測(cè)貢獻(xiàn)而不是物理因果關(guān)系。錯(cuò)誤四只比較還應(yīng)同時(shí)檢查MAERMSE系數(shù)穩(wěn)定性特征數(shù)量殘差分布物理合理性。錯(cuò)誤五把正則化系數(shù)直接當(dāng)作物理參數(shù)標(biāo)準(zhǔn)化后的回歸系數(shù)適合比較相對(duì)重要性但通常不能直接替代具有明確單位的材料參數(shù)。錯(cuò)誤六設(shè)置過大如果所有系數(shù)都接近0模型可能已經(jīng)受到過強(qiáng)約束。二十一、本節(jié)練習(xí)基礎(chǔ)練習(xí)分別將嶺回歸的修改為0.01 0.1 1.0 10.0 100.0觀察回歸系數(shù)是否隨著增大而逐漸減小。進(jìn)階練習(xí)分別將Lasso的設(shè)置為0.001 0.01 0.04 0.1 0.5記錄每種情況下系數(shù)為0的特征數(shù)量。物理思考從數(shù)據(jù)集中刪除“截面積”列然后重新訓(xùn)練Lasso模型觀察寬度和厚度的系數(shù)如何變化并解釋原因。工程挑戰(zhàn)將輸出變量由最大位移改為最大應(yīng)力重新思考哪些輸入特征應(yīng)該保留彈性模量是否仍然重要截面積與應(yīng)力之間應(yīng)是什么關(guān)系模型系數(shù)符號(hào)是否符合力學(xué)規(guī)律二十二、本節(jié)小結(jié)本節(jié)從多參數(shù)力學(xué)數(shù)據(jù)出發(fā)學(xué)習(xí)了三種重要的正則化回歸方法。嶺回歸使用L2約束使所有系數(shù)整體縮小提高模型穩(wěn)定性。Lasso使用L1約束能夠?qū)⒉糠窒禂?shù)壓縮為0實(shí)現(xiàn)特征篩選。彈性網(wǎng)絡(luò)同時(shí)結(jié)合L1和L2兼顧模型稀疏性和共線特征下的穩(wěn)定性。需要記住的核心思想是模型更復(fù)雜模型預(yù)測(cè)一定更可靠正則化通過犧牲少量訓(xùn)練集擬合能力換取更穩(wěn)定的測(cè)試表現(xiàn)和更清晰的工程解釋。下一節(jié)將進(jìn)入決策樹學(xué)習(xí)模型如何通過一系列條件判斷自動(dòng)發(fā)現(xiàn)結(jié)構(gòu)失效、應(yīng)力突變和裂紋擴(kuò)展中的關(guān)鍵參數(shù)閾值。