文章目錄1. 課前導(dǎo)讀1.1 本節(jié)課學(xué)習(xí)目標(biāo)1.2 知識(shí)重難點(diǎn)1.3 學(xué)習(xí)前置條件1.4 學(xué)完可掌握能力1.5 行業(yè)應(yīng)用場景2. 核心理論精講2.1 從全連接到卷積的動(dòng)機(jī)2.2 局部感受野2.3 權(quán)值共享2.4 卷積運(yùn)算的數(shù)學(xué)形式2.5 步長與填充2.6 池化層2.7 CNN的層次化特征3. 環(huán)境搭建與工具配置4. 代碼實(shí)戰(zhàn)教學(xué)4.1 手動(dòng)實(shí)現(xiàn)二維卷積NumPy風(fēng)格4.2 TensorFlow Conv2D 基本用法4.3 卷積層參數(shù)數(shù)量計(jì)算4.4 池化層演示4.5 搭建簡單CNN用于MNIST4.6 可視化卷積核權(quán)重4.7 可視化特征圖中間激活5. 案例實(shí)操演練5.1 數(shù)據(jù)加載與預(yù)處理5.2 構(gòu)建CNN模型含池化和Dropout5.3 訓(xùn)練CNN5.4 構(gòu)建全連接網(wǎng)絡(luò)對(duì)比5.5 結(jié)果對(duì)比6. 常見坑點(diǎn)與排錯(cuò)總結(jié)6.1 尺寸計(jì)算錯(cuò)誤6.2 卷積層參數(shù)設(shè)置6.3 訓(xùn)練問題6.4 可視化誤解7. 知識(shí)點(diǎn)總結(jié) 課后作業(yè)7.1 核心知識(shí)點(diǎn)梳理7.2 基礎(chǔ)作業(yè)7.3 進(jìn)階實(shí)操作業(yè)7.4 思考拓展題《TensorFlow2.x: 深度學(xué)習(xí)入門到高階實(shí)戰(zhàn)教程》系列課程導(dǎo)航1. 課前導(dǎo)讀1.1 本節(jié)課學(xué)習(xí)目標(biāo)理解卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)動(dòng)機(jī)解決全連接網(wǎng)絡(luò)在圖像任務(wù)中參數(shù)爆炸和缺乏空間結(jié)構(gòu)建模的問題。掌握局部感受野、權(quán)值共享、池化的概念及其減少參數(shù)量的數(shù)學(xué)分析。熟悉卷積運(yùn)算的數(shù)學(xué)定義包括單通道與多通道卷積。掌握卷積層的關(guān)鍵超參數(shù)卷積核大小kernel size、步長stride、填充padding及其對(duì)輸出尺寸的影響。理解池化層的下采樣原理區(qū)分最大池化和平均池化。能夠使用TensorFlow 2.x的Conv2D和MaxPooling2D搭建簡單的CNN并在MNIST數(shù)據(jù)集上進(jìn)行訓(xùn)練和可視化。1.2 知識(shí)重難點(diǎn)類別內(nèi)容重點(diǎn)局部感受野與權(quán)值共享為何能降低參數(shù)量卷積輸出尺寸計(jì)算公式池化層的平移不變性難點(diǎn)多通道卷積中通道維度的對(duì)齊方式空洞卷積dilated convolution的原理作為拓展卷積層反向傳播的簡要理解易混淆點(diǎn)卷積核數(shù)量輸出通道數(shù)與卷積核大小填充same與valid的區(qū)別池化層步長與卷積步長的不同影響1.3 學(xué)習(xí)前置條件已掌握全連接網(wǎng)絡(luò)的基本結(jié)構(gòu)第15課。熟悉TensorFlow張量操作和模型訓(xùn)練流程第5、12、17課。具備基本的圖像概念像素、通道。1.4 學(xué)完可掌握能力獨(dú)立設(shè)計(jì)簡單的CNN結(jié)構(gòu)用于圖像分類任務(wù)。計(jì)算任意卷積層和池化層的輸出形狀。通過可視化卷積核理解模型學(xué)習(xí)到的特征。診斷因參數(shù)設(shè)置不當(dāng)導(dǎo)致的尺寸不匹配錯(cuò)誤。1.5 行業(yè)應(yīng)用場景圖像分類LeNet、AlexNet、ResNet等均基于CNN。目標(biāo)檢測YOLO、Faster R-CNN使用卷積提取特征。圖像分割FCN、U-Net利用卷積和上采樣。視頻分析3D卷積處理時(shí)序信息。醫(yī)學(xué)影像CT、MRI圖像分割與檢測。2. 核心理論精講2.1 從全連接到卷積的動(dòng)機(jī)考慮一張32×32的彩色圖像3通道展平后輸入維度為3072。若全連接第一層有1000個(gè)神經(jīng)元參數(shù)量為3072×1000 ≈ 3百萬且忽略了像素間的空間鄰接關(guān)系。卷積神經(jīng)網(wǎng)絡(luò)通過局部連接和權(quán)值共享將參數(shù)量降至數(shù)千級(jí)別同時(shí)提取局部特征。2.2 局部感受野每個(gè)卷積神經(jīng)元只連接輸入圖像的一個(gè)小區(qū)域稱為感受野例如5×5。這符合圖像特征的局部性邊緣、角點(diǎn)等僅需局部信息即可檢測。多個(gè)卷積層堆疊后高層的感受野可以覆蓋整個(gè)圖像。2.3 權(quán)值共享同一個(gè)卷積核濾波器在整個(gè)圖像上滑動(dòng)時(shí)其權(quán)重參數(shù)固定不變。這大幅減少參數(shù)量并使網(wǎng)絡(luò)能夠檢測到圖像任意位置的相同特征如水平邊緣。一個(gè)卷積核產(chǎn)生一個(gè)特征圖feature map。2.4 卷積運(yùn)算的數(shù)學(xué)形式單通道卷積灰度圖像輸入 ( I ) 大小為 ( H \times W )卷積核 ( K ) 大小為 ( k_h \times k_w )輸出 ( S ) 中的每個(gè)元素[S(i,j) \sum_{u0}^{k_h-1} \sum_{v0}^{k_w-1} I(iu, jv) \cdot K(u, v)]加上偏置后通過激活函數(shù)。多通道卷積輸入通道數(shù)為 ( C_{in} )每個(gè)卷積核的深度為 ( C_{in} )與輸入逐通道卷積后求和輸出一個(gè)通道。若使用 ( C_{out} ) 個(gè)卷積核輸出通道數(shù)為 ( C_{out} )。參數(shù)量 ( k_h \times k_w \times C_{in} \times C_{out} C_{out} )偏置。2.5 步長與填充步長stride卷積核在輸入上滑動(dòng)的步數(shù)。步長1會(huì)降低輸出尺寸。填充padding在輸入邊界周圍補(bǔ)零控制輸出尺寸。valid填充無填充same填充輸出尺寸等于輸入尺寸除以步長向上取整。輸出尺寸公式[O_H \left\lfloor \frac{H 2P - k_h}{s} \right\rfloor 1, \quad O_W \left\lfloor \frac{W 2P - k_w}{s} \right\rfloor 1]其中 ( P ) 為每邊填充零的行數(shù)/列數(shù)。2.6 池化層池化層對(duì)每個(gè)通道獨(dú)立進(jìn)行下采樣常見操作最大池化取窗口內(nèi)的最大值保留最強(qiáng)響應(yīng)。平均池化取窗口內(nèi)均值。池化層無參數(shù)只減少空間尺寸提供平移不變性微小偏移不影響最大值位置。輸出尺寸公式與卷積相同但通常步長等于窗口大小。2.7 CNN的層次化特征淺層卷積核檢測邊緣、顏色斑點(diǎn)中層檢測紋理、圖案深層檢測物體部件眼睛、車輪。這種層次結(jié)構(gòu)是CNN強(qiáng)大的根本原因。3. 環(huán)境搭建與工具配置沿用第20課環(huán)境。需要matplotlib顯示圖像。conda activate tf213 python導(dǎo)入importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotaspltfromtensorflow.kerasimportlayers,models,datasets4. 代碼實(shí)戰(zhàn)教學(xué)4.1 手動(dòng)實(shí)現(xiàn)二維卷積NumPy風(fēng)格defconv2d_numpy(input_img,kernel,stride1,padding0):輸入圖像 (H, W)卷積核 (k_h, k_w)H,Winput_img.shape k_h,k_wkernel.shape# 填充ifpadding0:input_padnp.pad(input_img,((padding,padding),(padding,padding)),modeconstant)else:input_padinput_img# 計(jì)算輸出尺寸out_h(H2*padding-k_h)//stride1out_w(W2*padding-k_w)//stride1outputnp.zeros((out_h,out_w))foriinrange(0,out_h):forjinrange(0,out_w):regioninput_pad[i*stride:i*stridek_h,j*stride:j*stridek_w]output[i,j]np.sum(region*kernel)returnoutput# 測試邊緣檢測imgnp.zeros((28,28))img[10:18,10:18]1# 方塊kernel_edgenp.array([[-1,-1,-1],[-1,8,-1],[-1,-1,-1]])# 邊緣檢測核outconv2d_numpy(img,kernel_edge,stride1,padding1)plt.subplot(1,2,1);plt.imshow(img,cmapgray);plt.title(Original)plt.subplot(1,2,2);plt.imshow(out,cmapgray);plt.title(Edge Detection)plt.show()4.2 TensorFlow Conv2D 基本用法# 創(chuàng)建模擬輸入 (batch, height, width, channels)input_tensortf.random.normal((1,32,32,3))# 卷積層32個(gè)3x3卷積核步長1填充sameconv_layerlayers.Conv2D(filters32,kernel_size3,strides1,paddingsame,activationrelu)outputconv_layer(input_tensor)print(fInput shape:{input_tensor.shape}- Output shape:{output.shape})# (1,32,32,32)4.3 卷積層參數(shù)數(shù)量計(jì)算# 查看卷積層參數(shù)conv_layerlayers.Conv2D(64,3,paddingsame,input_shape(32,32,3))conv_layer.build((None,32,32,3))print(Kernel shape:,conv_layer.kernel.shape)# (3,3,3,64)print(Bias shape:,conv_layer.bias.shape)# (64,)print(Total params:,conv_layer.count_params())# 3*3*3*64 64 17924.4 池化層演示# 最大池化與平均池化input_feattf.random.normal((1,28,28,16))maxpoollayers.MaxPooling2D(pool_size2,strides2)avgpoollayers.AveragePooling2D(pool_size2,strides2)out_maxmaxpool(input_feat)out_avgavgpool(input_feat)print(fInput:{input_feat.shape}, MaxPool output:{out_max.shape}, AvgPool output:{out_avg.shape})4.5 搭建簡單CNN用于MNIST# 加載MNIST并增加通道維度(x_train,y_train),(x_test,y_test)datasets.mnist.load_data()x_trainx_train.reshape(-1,28,28,1).astype(np.float32)/255.0x_testx_test.reshape(-1,28,28,1).astype(np.float32)/255.0y_traintf.keras.utils.to_categorical(y_train,10)y_testtf.keras.utils.to_categorical(y_test,10)# 構(gòu)建CNN模型modelmodels.Sequential([layers.Conv2D(32,(3,3),activationrelu,input_shape(28,28,1)),layers.MaxPooling2D((2,2)),layers.Conv2D(64,(3,3),activationrelu),layers.MaxPooling2D((2,2)),layers.Flatten(),layers.Dense(128,activationrelu),layers.Dense(10,activationsoftmax)])model.summary()# 編譯與訓(xùn)練model.compile(optimizeradam,losscategorical_crossentropy,metrics[accuracy])historymodel.fit(x_train,y_train,epochs5,batch_size128,validation_split0.1,verbose1)test_loss,test_accmodel.evaluate(x_test,y_test)print(fTest accuracy:{test_acc:.4f})4.6 可視化卷積核權(quán)重# 獲取第一層卷積核conv1_weightsmodel.layers[0].get_weights()[0]# shape (3,3,1,32)# 展示前16個(gè)卷積核每個(gè)是3x3fig,axesplt.subplots(4,4,figsize(6,6))fori,axinenumerate(axes.flat):ifi16:kernelconv1_weights[:,:,0,i]# 單通道核ax.imshow(kernel,cmapgray)ax.axis(off)plt.suptitle(First layer convolutional kernels)plt.show()4.7 可視化特征圖中間激活# 選擇一張測試圖像samplex_test[0:1]# (1,28,28,1)layer_outputs[layer.outputforlayerinmodel.layersifconv2dinlayer.name]activation_modeltf.keras.Model(inputsmodel.input,outputslayer_outputs)activationsactivation_model.predict(sample)# 顯示第一個(gè)卷積層的輸出特征圖前16個(gè)通道first_conv_actsactivations[0][0]# (26,26,32) 因?yàn)榻?jīng)過卷積但未池化實(shí)際模型第一個(gè)卷積后無池化尺寸26x26plt.figure(figsize(12,8))foriinrange(16):plt.subplot(4,4,i1)plt.imshow(first_conv_acts[:,:,i],cmapviridis)plt.axis(off)plt.suptitle(Feature maps after first conv layer)plt.show()5. 案例實(shí)操演練案例使用CNN對(duì)CIFAR-10進(jìn)行圖像分類并對(duì)比全連接網(wǎng)絡(luò)的性能5.1 數(shù)據(jù)加載與預(yù)處理(x_train,y_train),(x_test,y_test)datasets.cifar10.load_data()x_trainx_train.astype(np.float32)/255.0x_testx_test.astype(np.float32)/255.0y_traintf.keras.utils.to_categorical(y_train,10)y_testtf.keras.utils.to_categorical(y_test,10)5.2 構(gòu)建CNN模型含池化和Dropoutdefbuild_cifar_cnn():modelmodels.Sequential([layers.Conv2D(32,(3,3),activationrelu,paddingsame,input_shape(32,32,3)),layers.Conv2D(32,(3,3),activationrelu,paddingsame),layers.MaxPooling2D((2,2)),layers.Dropout(0.25),layers.Conv2D(64,(3,3),activationrelu,paddingsame),layers.Conv2D(64,(3,3),activationrelu,paddingsame),layers.MaxPooling2D((2,2)),layers.Dropout(0.25),layers.Conv2D(128,(3,3),activationrelu,paddingsame),layers.MaxPooling2D((2,2)),layers.Dropout(0.25),layers.Flatten(),layers.Dense(256,activationrelu),layers.Dropout(0.5),layers.Dense(10,activationsoftmax)])returnmodel cnn_modelbuild_cifar_cnn()cnn_model.summary()5.3 訓(xùn)練CNNcnn_model.compile(optimizeradam,losscategorical_crossentropy,metrics[accuracy])history_cnncnn_model.fit(x_train,y_train,epochs20,batch_size64,validation_split0.1,verbose1)5.4 構(gòu)建全連接網(wǎng)絡(luò)對(duì)比defbuild_fcn():modelmodels.Sequential([layers.Flatten(input_shape(32,32,3)),layers.Dense(1024,activationrelu),layers.Dropout(0.5),layers.Dense(512,activationrelu),layers.Dropout(0.5),layers.Dense(10,activationsoftmax)])returnmodel fcn_modelbuild_fcn()fcn_model.compile(optimizeradam,losscategorical_crossentropy,metrics[accuracy])history_fcnfcn_model.fit(x_train,y_train,epochs20,batch_size64,validation_split0.1,verbose1)5.5 結(jié)果對(duì)比plt.plot(history_cnn.history[val_accuracy],labelCNN)plt.plot(history_fcn.history[val_accuracy],labelFCN)plt.xlabel(Epoch)plt.ylabel(Validation Accuracy)plt.legend()plt.title(CNN vs Fully Connected on CIFAR-10)plt.show()# CNN顯著優(yōu)于FCN6. 常見坑點(diǎn)與排錯(cuò)總結(jié)6.1 尺寸計(jì)算錯(cuò)誤坑1卷積或池化后尺寸計(jì)算錯(cuò)誤導(dǎo)致后續(xù)Flatten后維度與Dense層不匹配。解決使用model.summary()查看每層輸出形狀或手動(dòng)套用公式?？?paddingsame時(shí)輸出尺寸為ceil(H/s)但步長1時(shí)可能不是嚴(yán)格等于H/s。記憶same保持輸入尺寸除以步長向上取整。6.2 卷積層參數(shù)設(shè)置坑3卷積核數(shù)量filters過小模型表達(dá)能力不足過大則過擬合且計(jì)算慢。經(jīng)驗(yàn)從32或64開始逐層翻倍?？?步長和池化組合導(dǎo)致特征圖過早變?yōu)?x1損失空間信息。建議最后一層卷積后至少保持4x4以上再全局池化或展平。6.3 訓(xùn)練問題坑5CNN訓(xùn)練不收斂損失不下降。排查檢查數(shù)據(jù)歸一化使用較小學(xué)習(xí)率添加BatchNormalization。坑6內(nèi)存不足OOM尤其是大圖像和深網(wǎng)絡(luò)。解決減小batch size使用更少的卷積核采用梯度累積。6.4 可視化誤解坑7認(rèn)為卷積核可視化后出現(xiàn)的紋理即是核的最終值實(shí)際上需要?dú)w一化到0-255才能顯示?？?特征圖可視化時(shí)不同通道范圍差異大需分別歸一化。7. 知識(shí)點(diǎn)總結(jié) 課后作業(yè)7.1 核心知識(shí)點(diǎn)梳理局部感受野每個(gè)神經(jīng)元只連接局部區(qū)域符合圖像特征局部性。權(quán)值共享同一卷積核在整個(gè)圖像上滑動(dòng)極大減少參數(shù)量。卷積運(yùn)算滑動(dòng)窗口內(nèi)逐元素乘加輸出特征圖。超參數(shù)核大小、步長、填充決定輸出尺寸。池化最大池化/平均池化降低維度增強(qiáng)平移不變性。多通道卷積每個(gè)卷積核與所有輸入通道卷積后求和。7.2 基礎(chǔ)作業(yè)計(jì)算輸入32×32×3使用5×5卷積核步長2填充valid輸出尺寸是多少若填充same呢使用TensorFlow手動(dòng)實(shí)現(xiàn)一個(gè)卷積層不使用Conv2D只用tf.nn.conv2d并與內(nèi)置結(jié)果對(duì)比。修改簡單CNNMNIST的卷積核數(shù)量為16和64觀察參數(shù)量變化和準(zhǔn)確率。7.3 進(jìn)階實(shí)操作業(yè)任務(wù)實(shí)現(xiàn)空洞卷積Dilated Convolution并對(duì)比感受野使用tf.keras.layers.Conv2D(filters, kernel_size, dilation_rate2)。在相同輸入上比較普通卷積膨脹率1和膨脹率為2的卷積的輸出尺寸和感受野大小。設(shè)計(jì)一個(gè)小型實(shí)驗(yàn)使用兩種卷積分別訓(xùn)練MNIST觀察精度差異膨脹卷積是否提升大感受野下的性能。7.4 思考拓展題權(quán)值共享使得卷積層具有平移等變性但對(duì)于旋轉(zhuǎn)或縮放是否同樣適用如果不適用有哪些改進(jìn)方法在深度CNN中為什么通常越深的層使用越多的卷積核這與特征圖的尺寸減小有何關(guān)系全局平均池化GlobalAveragePooling2D常替代FlattenDense來減少參數(shù)量。試分析其原理和優(yōu)缺點(diǎn)。下一課預(yù)告TF搭建基礎(chǔ)CNN網(wǎng)絡(luò)——我們將實(shí)戰(zhàn)搭建完整的CNN架構(gòu)包括卷積層、池化層、全連接層的組合設(shè)計(jì)并在真實(shí)圖像數(shù)據(jù)集上訓(xùn)練和評(píng)估模型。《TensorFlow2.x: 深度學(xué)習(xí)入門到高階實(shí)戰(zhàn)教程》系列課程導(dǎo)航去訂閱第一部分基礎(chǔ)入門1-10 課第二部分神經(jīng)網(wǎng)絡(luò)核心11-25 課第三部分進(jìn)階網(wǎng)絡(luò)與框架高階26-40 課第四部分企業(yè)實(shí)戰(zhàn)與項(xiàng)目落地41-50 課 感謝您耐心閱讀到這里 如果本文對(duì)您有所啟發(fā)歡迎 點(diǎn)贊 收藏 分享給更多需要的伙伴。? 期待在評(píng)論區(qū)看到您的想法, 共同進(jìn)步。 關(guān)注我持續(xù)獲取更多干貨內(nèi)容 我們下篇文章見