簡介人行道檢測是自動(dòng)駕駛、智能交通及智慧城市落地的關(guān)鍵環(huán)節(jié)開發(fā)者常需一套可運(yùn)行的深度學(xué)習(xí)方案。這份基于Python的實(shí)戰(zhàn)資料以卷積神經(jīng)網(wǎng)絡(luò)和預(yù)訓(xùn)練模型遷移為主線覆蓋人行道數(shù)據(jù)集準(zhǔn)備、標(biāo)注格式、模型訓(xùn)練、損失函數(shù)選擇及mAP評估并引入SidewalkDetection-master項(xiàng)目源碼展示從工程配置到推理的完整鏈路。資源包共32個(gè)文件含6個(gè)Python腳本、8個(gè)XML標(biāo)注、7篇PDF論文及README配置壓縮后約33.95MB目錄結(jié)構(gòu)清晰。論文涵蓋邊界跟蹤、多特征融合、DenseASPP等經(jīng)典方法便于對比算法思路Python腳本可直接修改參數(shù)在自有數(shù)據(jù)集上微調(diào)模型。目前已有917人學(xué)習(xí)適合具備一定Python與深度學(xué)習(xí)基礎(chǔ)的讀者可借助源碼快速落地試驗(yàn)也能將遷移學(xué)習(xí)與檢測思路拓展至盲道識(shí)別等相似任務(wù)。 人行道檢測在深度學(xué)習(xí)視覺任務(wù)里屬于那種“看起來簡單做起來全是細(xì)節(jié)”的活。它要解決的底層問題是如何讓計(jì)算機(jī)在圖像中準(zhǔn)確認(rèn)出“這是人行道”并且能框出來或者把像素標(biāo)出來。我第一次接到這個(gè)需求是給盲人輔助導(dǎo)航設(shè)備做視覺模塊后面又在智慧城市街道巡檢、無人機(jī)低空巡查里用到可以說這個(gè)任務(wù)橫跨目標(biāo)檢測和語義分割兩大技術(shù)方向特別適合用來練手也特別容易暴露出工程上的真實(shí)問題。這篇文章我從方案選型、環(huán)境配置、數(shù)據(jù)集構(gòu)建一直講到模型訓(xùn)練、部署加速和踩坑排查適合剛?cè)腴T深度學(xué)習(xí)、想拿真實(shí)場景練手的讀者也適合已經(jīng)有目標(biāo)檢測基礎(chǔ)、準(zhǔn)備往語義分割方向延伸的人。如果你只是想快速跑通一個(gè)“檢測人行道”的項(xiàng)目直接看第3節(jié)的YOLOv8部分如果你要落地到具體產(chǎn)品里那第4節(jié)和第5節(jié)值得認(rèn)真讀一遍。1. 先看清楚任務(wù)人行道檢測到底檢測什么1.1 同一個(gè)“人行道”三種不同的檢測口徑做深度學(xué)習(xí)項(xiàng)目最忌諱一上來就翻模型、調(diào)參數(shù)先把“檢測”這兩個(gè)字定義清楚再說。我遇到的第一版需求客戶說“檢測到人行道就行”聽著簡單但對算法來說完全不夠。人行道檢測一般有三種口徑目標(biāo)檢測輸出人行道區(qū)域的外接矩形框只關(guān)心“哪里有”不關(guān)心精確邊緣。語義分割對圖像每個(gè)像素分類輸出“人行道/非人行道”的像素級(jí)掩碼邊緣精度高。實(shí)例分割區(qū)分不同的人行道連通區(qū)域適合需要知道“第幾條路”的下游邏輯。這三種口徑對應(yīng)的模型、標(biāo)注成本、計(jì)算量完全不一樣。如果你只是提醒行人“前方有人行道”目標(biāo)檢測夠了但如果是給盲人輔助導(dǎo)航那就必須用語義分割甚至實(shí)例分割否則一個(gè)矩形框把半條馬路和花壇都框進(jìn)去非但幫不上忙還會(huì)誤導(dǎo)。我在實(shí)際項(xiàng)目中最終采用的是“分割為主、檢測為輔”的混合方案。先用分割網(wǎng)絡(luò)輸出人行道像素區(qū)域再用一個(gè)輕量檢測器輸出矩形框用于定位提醒后面會(huì)細(xì)講這么設(shè)計(jì)的理由。1.2 為什么是深度學(xué)習(xí)傳統(tǒng)視覺差在哪人行道檢測不是新需求早期大家用顏色閾值、邊緣檢測、霍夫變換做道路提取但這些方法在固定場景、單一光照下勉強(qiáng)能玩一旦進(jìn)入復(fù)雜城市環(huán)境就崩了。原因很簡單人行道的外觀極不統(tǒng)一有透水磚、花崗巖、柏油、彩色塑膠顏色花紋五花八門同一材質(zhì)在不同時(shí)段的光照下顏色差別也很大更別說還有陰影、積水、落葉遮擋這些噪聲。深度學(xué)習(xí)本質(zhì)上是在學(xué)一個(gè)“人行道”的高層語義而不是低層的顏色和紋理所以對材質(zhì)、光照的變化要魯棒得多。從2015年FCN提出以后語義分割就走上了卷積神經(jīng)網(wǎng)絡(luò)這條路最近的Transformer架構(gòu)比如SegFormer、Mask2Former又把精度往上推了一截。工業(yè)視覺軟件Halcon雖然也提供深度學(xué)習(xí)訓(xùn)練模塊部署方便但網(wǎng)絡(luò)結(jié)構(gòu)自由度低做這種偏開放場景的像素級(jí)任務(wù)我還是推薦PyTorch生態(tài)。就人行道檢測這個(gè)任務(wù)來說我的觀點(diǎn)很明確別惦記傳統(tǒng)視覺了直接上深度學(xué)習(xí)。但“直接上”不代表能跳過前期的需求分析和數(shù)據(jù)準(zhǔn)備這一步偷懶后面全找補(bǔ)回來。1.3 模型選型YOLO、DeepLabv3還是Transformer方案選型這塊我是吃過虧的。最初圖省事直接拿YOLOv8做目標(biāo)檢測訓(xùn)練快、指標(biāo)也漂亮結(jié)果到了真實(shí)場景里矩形框會(huì)把旁邊一半盲道也框進(jìn)去客戶要求“必須精準(zhǔn)到邊緣”只能放棄純目標(biāo)檢測方案。后來我對比了幾個(gè)生態(tài)成熟的分割模型DeepLabv3帶著ASPP空洞卷積結(jié)構(gòu)對多尺度目標(biāo)友好部署相對簡單Backbone可以換ResNet或MobileNet。U-Net數(shù)據(jù)量少時(shí)的經(jīng)典選擇結(jié)構(gòu)簡單、訓(xùn)練穩(wěn)定適合快速驗(yàn)證。SegFormer / Mask2FormerTransformer路線精度上限高但對顯存、推理速度、工程化成熟度要求高部署時(shí)容易踩坑。我最終用的是DeepLabv3Backbone選ResNet50再結(jié)合輕量的YOLOv8檢測器做位置提醒。如果你的場景不需要像素級(jí)精度純YOLOv8就夠了資源占用小很多訓(xùn)練周期也短沒必要給自己加戲。2. 環(huán)境配置和數(shù)據(jù)集真正的“隱形工作量”2.1 深度學(xué)習(xí)環(huán)境配置版本對齊是關(guān)鍵先聊環(huán)境因?yàn)檫@一塊卡住的初學(xué)者最多。網(wǎng)上各種“深度學(xué)習(xí)環(huán)境配置”教程滿天飛但九成問題都出在版本不匹配。我的建議是先確定PyTorch和CUDA版本再倒推其他依賴庫的版本而不是裝一個(gè)試一個(gè)。我這里給出一套經(jīng)過多次驗(yàn)證的穩(wěn)定組合組件版本建議說明操作系統(tǒng)Windows 11 / Ubuntu 20.04 / 22.04生產(chǎn)環(huán)境推薦UbuntuPython3.8 / 3.10太新太舊都容易踩坑CUDA11.8PyTorch 2.x推薦不一定裝最新穩(wěn)定優(yōu)先cuDNN與CUDA對應(yīng)版本卷積加速依賴它PyTorch2.0.x / 2.1.x配合torchvision一起裝opencv-python4.8圖像讀取與預(yù)處理numpy1.24.x左右不要默認(rèn)裝最新版ultralytics8.xYOLO訓(xùn)練與推理工具包labelme / CVAT標(biāo)注工具視數(shù)據(jù)量選裝完之后進(jìn)入Python驗(yàn)證一下import torch print(torch.__version__) print(torch.cuda.is_available())cuda.is_available()必須返回True否則后續(xù)GPU訓(xùn)練全白搭。這里有坑經(jīng)常出現(xiàn)PyTorch裝成CPU版或者驅(qū)動(dòng)版本比運(yùn)行時(shí)低的情況。建議安裝命令直接去PyTorch官網(wǎng)生成不要用默認(rèn)pip源里的舊包。2.2 公共數(shù)據(jù)集和人行道數(shù)據(jù)現(xiàn)狀訓(xùn)練深度學(xué)習(xí)模型數(shù)據(jù)質(zhì)量決定了效果上限。人行道檢測沒有像COCO那樣開箱即用的專門數(shù)據(jù)集需要自己動(dòng)手組合Cityscapes城市街景語義分割的經(jīng)典數(shù)據(jù)集有像素級(jí)標(biāo)注里面包含“sidewalk”類別是我用的主力數(shù)據(jù)集。Mapillary Vistas覆蓋更多國家、更多樣化的街景標(biāo)注更細(xì)。BDD100K主要做自動(dòng)駕駛場景順帶有人行道信息但標(biāo)注粒度不夠細(xì)。自建數(shù)據(jù)真實(shí)項(xiàng)目最終都要用現(xiàn)場采集圖尤其是俯視視角、夜間、雨天樣本。這里提醒一句公共數(shù)據(jù)集里的北美街景人行道和國內(nèi)城市的人行道在材質(zhì)、顏色、劃線風(fēng)格上差別很大。很多模型在國外街景上效果好拿到國內(nèi)城市就崩了。所以做落地項(xiàng)目的話至少要拿三分之一到一半的自采數(shù)據(jù)參與訓(xùn)練而且一定要覆蓋多種天氣和時(shí)段。2.3 像素級(jí)標(biāo)注的“笨功夫”怎么做如果你決定做語義分割標(biāo)注工作避不開。像素級(jí)標(biāo)注非常消耗人力一開始用LabelMe手動(dòng)畫多邊形一個(gè)人一天標(biāo)二三十張圖就到極限了幾百張訓(xùn)練圖能讓人崩潰。我的建議是分兩步走先拿Cityscapes訓(xùn)練一個(gè)初始模型。用這個(gè)模型對未標(biāo)注數(shù)據(jù)做“預(yù)標(biāo)注”也就是讓模型先生成一版掩碼。再用LabelMe或CVAT加載預(yù)標(biāo)注結(jié)果人工只修正離譜的區(qū)域。按這個(gè)流程走標(biāo)注效率能提升五六倍。修正時(shí)重點(diǎn)保證邊緣像素的精細(xì)度尤其是人行道和馬路牙子相接的位置這是分割模型最敏感的地方。另外標(biāo)注完一定要檢查類別不平衡人行道在圖像中占的面積往往很大但邊界像素占比極小后面訓(xùn)練時(shí)可以在損失函數(shù)里增加邊界權(quán)重。3. YOLOv8與DeepLabv3組合實(shí)戰(zhàn)3.1 用YOLOv8快速驗(yàn)證位置檢測如果你是目標(biāo)檢測方案YOLOv8是目前最省心的選擇。數(shù)據(jù)格式準(zhǔn)備好后訓(xùn)練代碼非常簡潔from ultralytics import YOLO model YOLO(yolov8s.pt) model.train( datasidewalk.yaml, epochs100, imgsz640, batch16, device0, projectruns/sidewalk, )對應(yīng)的sidewalk.yaml主要配置訓(xùn)練集路徑和類別train: datasets/sidewalk/images/train val: datasets/sidewalk/images/val nc: 1 names: [sidewalk]訓(xùn)練完成后看驗(yàn)證集指標(biāo)mAP50通常很容易過0.85但mAP50-95更真實(shí)。人行道這種類矩形目標(biāo)不復(fù)雜重點(diǎn)反而在部署端。模型文件選yolov8s或者n、m就夠用不要一上來就上yolov8x訓(xùn)練和推理都慢收益還小。3.2 DeepLabv3分割模型配置與訓(xùn)練要點(diǎn)分割模型的訓(xùn)練腳本要自己寫或者用segmentation_models_pytorchSMP封裝代碼簡潔很多import segmentation_models_pytorch as smp model smp.DeepLabV3Plus( encoder_nameresnet50, encoder_weightsimagenet, classes2, activationsoftmax2d, )訓(xùn)練時(shí)幾個(gè)關(guān)鍵參數(shù)輸入尺寸我用的512x512或640x640太大訓(xùn)練慢太小邊緣細(xì)節(jié)丟失。損失函數(shù)Dice Loss和CrossEntropy Loss組合權(quán)重1:1。優(yōu)化器AdamW初始學(xué)習(xí)率1e-4。數(shù)據(jù)增強(qiáng)隨機(jī)翻轉(zhuǎn)、隨機(jī)亮度對比度、隨機(jī)HSV抖動(dòng)有條件可以加一點(diǎn)粗粒度的RandomErasing模擬遮擋。我訓(xùn)練時(shí)用RTX 3090 24G顯存batch size開到8ResNet50編碼器訓(xùn)練約80個(gè)epoch驗(yàn)證集mIoU到了0.72左右。為什么沒到0.8因?yàn)樽圆蓴?shù)據(jù)里很多陰影遮擋和夜間燈光變化比較極端后來加了針對性增強(qiáng)mIoU才提升到約0.78。3.3 訓(xùn)練日志解讀怎么判斷模型真的在學(xué)很多人訓(xùn)練完只看最終準(zhǔn)確率和loss其實(shí)中間的曲線信息量很大loss曲線應(yīng)該平穩(wěn)下降如果劇烈震蕩大概率是學(xué)習(xí)率太高或batch太小。驗(yàn)證loss如果在某個(gè)epoch開始回升說明過擬合信號(hào)出現(xiàn)要早?；蛘呒诱齽t化。mIoU曲線相對滯后前20個(gè)epoch漲得慢很正常不用急著中斷。常見的“指標(biāo)好但實(shí)際效果差”大概率是數(shù)據(jù)集本身有問題比如訓(xùn)練集里人行道占比過大或過小模型學(xué)到了“圖像里本來就占大塊的區(qū)域”這個(gè)偏置。建議每輪訓(xùn)練后隨機(jī)挑幾張驗(yàn)證圖保存預(yù)測mask肉眼看邊緣和漏報(bào)情況比只盯mIoU靠譜得多。4. 推理優(yōu)化與落地部署實(shí)錄4.1 用TensorRT加速分割模型模型訓(xùn)練完只是第一步落地部署才是真正的挑戰(zhàn)。尤其是給嵌入式設(shè)備或邊緣設(shè)備做推理必須做加速。我最常用的路線是PyTorch模型轉(zhuǎn)ONNX再用TensorRTTensorRT 8.x版本以上轉(zhuǎn)成engine。ONNX導(dǎo)出有幾個(gè)注意點(diǎn)固定輸入尺寸避免動(dòng)態(tài)shape帶來的性能損失。設(shè)置opset_version11或更高。模型切到eval模式避免BatchNorm和Dropout在導(dǎo)出時(shí)產(chǎn)生不一致。導(dǎo)出代碼示例import torch model.eval() dummy torch.randn(1, 3, 512, 512).cuda() torch.onnx.export( model, dummy, deeplabv3plus.onnx, opset_version11, input_names[input], output_names[output], dynamic_axesNone, )TensorRT加速后我實(shí)測RTX 3090上DeepLabv3單張512x512圖像的推理從約15毫秒降到約6毫秒換到Jetson Orin上也能跑到40毫秒左右基本滿足實(shí)時(shí)需求。4.2 FP16與INT8量化精度和速度的權(quán)衡TensorRT最常見的加速是FP16精度一般能獲得接近一半的提速mIoU幾乎不掉。想再進(jìn)一步就做INT8量化但對分割任務(wù)風(fēng)險(xiǎn)很高邊緣像素的微小誤差會(huì)被放大。我試過一次mIoU從0.78掉到0.68有些細(xì)窄人行道直接斷成幾截。所以除非硬件條件實(shí)在緊張否則建議只到FP16為止。另外量化校準(zhǔn)數(shù)據(jù)集的選擇也很重要。不要用訓(xùn)練集做校準(zhǔn)要選和真實(shí)場景分布一致的驗(yàn)證圖數(shù)量在500張左右即可多了意義不大少了容易過擬合到幾張圖的光照上。4.3 服務(wù)端部署的工程細(xì)節(jié)服務(wù)端部署我用FastAPI包一個(gè)推理接口輸入圖像、輸出二值掩碼和矩形框坐標(biāo)的JSON。多進(jìn)程并發(fā)時(shí)要注意模型要放到進(jìn)程池里統(tǒng)一加載避免每個(gè)請求都重新加載權(quán)重。實(shí)際線上跑了一段時(shí)間QPS不高但單次推理延遲很穩(wěn)定因?yàn)椴l(fā)主要集中在少量邊緣設(shè)備上傳圖片多數(shù)時(shí)間服務(wù)是空閑的。這里有個(gè)容易忽略的細(xì)節(jié)輸入圖像的大小和編碼格式要統(tǒng)一。我在接口里強(qiáng)制轉(zhuǎn)成RGB統(tǒng)一縮放到512x512再歸一化到0到1避免有些客戶端傳BGR、有些傳灰度圖導(dǎo)致推理結(jié)果不穩(wěn)定。返回結(jié)果時(shí)掩碼建議用PNG編碼再base64傳輸不要直接返回一個(gè)大數(shù)組否則網(wǎng)絡(luò)開銷會(huì)很大。5. 踩坑清單與排查速查表5.1 現(xiàn)象與原因速查這一節(jié)把我在項(xiàng)目里踩過的坑以及群里朋友常問的問題整理一下問題現(xiàn)象根本原因解決方案loss下降但mIoU不漲類別不平衡嚴(yán)重切Dice Loss或加權(quán)CE做類別重采樣訓(xùn)練集表現(xiàn)好、驗(yàn)證集崩過擬合加數(shù)據(jù)增強(qiáng)、Dropout換小Backbone夜間大量漏檢訓(xùn)練集白天樣本太多混合白天夜間數(shù)據(jù)增加亮度抖動(dòng)細(xì)窄人行道斷裂輸入分辨率不夠提高輸入尺寸增強(qiáng)里加隨機(jī)裁剪標(biāo)注邊緣不齊分割邊界模糊標(biāo)注質(zhì)量問題統(tǒng)一標(biāo)注規(guī)范重點(diǎn)修邊界部署時(shí)推理忽快忽慢動(dòng)態(tài)shape或動(dòng)態(tài)batch固定輸入shape控制并發(fā)5.2 數(shù)據(jù)增強(qiáng)怎么做才能減少返工做分割項(xiàng)目數(shù)據(jù)增強(qiáng)是性價(jià)比最高的投入。我常用的組合是水平翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)10度以內(nèi)、隨機(jī)縮放0.8到1.2、隨機(jī)亮度0.8到1.2、隨機(jī)HSVH加或減10外加光照模擬。配合Albumentations庫幾行代碼就能搞定不要自己手寫一堆圖像變換容易出錯(cuò)還慢。注意幾何增強(qiáng)一定要同步作用在mask上Albumentations的Compose里有專門處理mask的機(jī)制。我見過有人只增強(qiáng)圖像不增強(qiáng)標(biāo)注訓(xùn)練出來的模型預(yù)測結(jié)果完全對不上位置這個(gè)低級(jí)錯(cuò)誤一犯就是半天起步。5.3 換一個(gè)城市效果崩了怎么辦如果換了城市、換了人行道材質(zhì)后效果斷崖式下降不用慌這是典型的域適應(yīng)問題。處理順序是先采集目標(biāo)場景200到500張圖像用當(dāng)前模型做預(yù)標(biāo)注人工修正后用低學(xué)習(xí)率對原模型做增量微調(diào)。微調(diào)時(shí)可以凍結(jié)前30層只訓(xùn)練解碼器部分一般訓(xùn)練100到200個(gè)epoch效果就會(huì)明顯回升。千萬不要把舊數(shù)據(jù)刪掉只拿新數(shù)據(jù)訓(xùn)練記憶會(huì)崩塌模型會(huì)把之前學(xué)到的人行道知識(shí)忘得一干二凈也就是“災(zāi)難性遺忘”到時(shí)候還得從頭訓(xùn)練時(shí)間成本全浪費(fèi)了。6. 寫在最后兩點(diǎn)比調(diào)參更重要的體會(huì)6.1 數(shù)據(jù)里的細(xì)節(jié)永遠(yuǎn)比指標(biāo)更誠實(shí)人行道檢測這個(gè)項(xiàng)目做完我最大的感觸是深度學(xué)習(xí)項(xiàng)目里模型選型和訓(xùn)練只是最表面的20%數(shù)據(jù)質(zhì)量、環(huán)境工程、部署細(xì)節(jié)才真正決定項(xiàng)目能不能收官。我見過太多人花一整周調(diào)學(xué)習(xí)率、換Backbone最后效果還不如認(rèn)認(rèn)真真修一批標(biāo)注邊界來得明顯。每次訓(xùn)練結(jié)束后我都會(huì)隨機(jī)抽幾十張圖把模型的預(yù)測mask和原圖疊在一起保存成視頻或者圖片序列過一遍肉眼檢查。重點(diǎn)看兩類區(qū)域一類是模型輸出和標(biāo)注不一致的地方另一類是細(xì)窄人行道結(jié)構(gòu)斷裂的地方。模型學(xué)會(huì)的數(shù)據(jù)規(guī)律基本都能從這些樣本里找到線索。6.2 建議所有人先跑通“最簡閉環(huán)”如果只是練手我建議直接從YOLOv8的人行道檢測開始。它數(shù)據(jù)格式簡單、文檔完善、踩坑成本低等你把訓(xùn)練、驗(yàn)證、部署這一整套流程走順了再去做語義分割這種更重的任務(wù)會(huì)輕松得多。不要一上來就看Transformer模型先能穩(wěn)定跑通一個(gè)基礎(chǔ)網(wǎng)絡(luò)再談精度提升。最后再分享一個(gè)小經(jīng)驗(yàn)訓(xùn)練日志里的預(yù)測圖一定要定期翻出來看尤其關(guān)注那些邊界區(qū)域。我后端上線前排查出的最后一批問題幾乎都是在真實(shí)街景圖上逐幀看預(yù)測結(jié)果時(shí)發(fā)現(xiàn)的。數(shù)據(jù)里的細(xì)節(jié)永遠(yuǎn)比指標(biāo)數(shù)字更誠實(shí)。本文還有配套的精品資源點(diǎn)擊獲取