產(chǎn)線上一塊鋼板過(guò)去表面有沒(méi)有麻點(diǎn)、劃傷、氧化皮以前靠老師傅拿眼睛盯。人眼盯久了會(huì)疲勞而且同一個(gè)缺陷換個(gè)時(shí)段、換個(gè)檢驗(yàn)員來(lái)判結(jié)果可能就不一樣。我最近用YOLOv8做了一套鋼材表面缺陷檢測(cè)方案從數(shù)據(jù)集處理、模型訓(xùn)練一路推到部署推理完整跑通了一遍。這篇文章把整個(gè)過(guò)程、關(guān)鍵參數(shù)和踩過(guò)的坑都整理出來(lái)適合剛接觸目標(biāo)檢測(cè)、想拿工業(yè)缺陷場(chǎng)景練手的開(kāi)發(fā)者也適合已經(jīng)在做檢測(cè)、想對(duì)比一下方案選址的朋友。我當(dāng)時(shí)接到這個(gè)需求時(shí)第一反應(yīng)不是急著訓(xùn)練模型而是先把數(shù)據(jù)從頭到尾捋了一遍。原因很簡(jiǎn)單鋼材表面缺陷檢測(cè)任務(wù)里模型反而是最不難的部分真正難的是把數(shù)據(jù)洗干凈、把評(píng)價(jià)指標(biāo)定對(duì)、把部署環(huán)境里的各種意外處理好。下面我就按我實(shí)際執(zhí)行的順序來(lái)寫(xiě)。1. 項(xiàng)目初衷與技術(shù)選型1.1 鋼材表面缺陷檢測(cè)難在哪先說(shuō)說(shuō)這個(gè)任務(wù)本身。鋼材表面缺陷檢測(cè)本質(zhì)上是目標(biāo)檢測(cè)里的“小目標(biāo)外觀差異大類別不平衡”三重難題疊在一起。常見(jiàn)缺陷包括裂紋、夾雜、麻點(diǎn)、氧化皮、軋制氧化鐵皮、劃傷這六類形態(tài)完全不同。裂紋是細(xì)長(zhǎng)線狀稍不留意就被當(dāng)成背景紋理麻點(diǎn)是密集小坑單個(gè)尺寸可能只有幾十個(gè)像素氧化皮是成片的不規(guī)則暗色區(qū)域邊緣模糊跟正常的銹蝕還有陰影非常像。這種任務(wù)跟我平時(shí)做行人檢測(cè)、車(chē)輛檢測(cè)完全不是一個(gè)感受。行人和車(chē)輛在圖像里占的比例大、外觀穩(wěn)定即使有遮擋也不至于找不著。鋼材缺陷不一樣很多缺陷放在整幅圖里可能只有整張圖面積的千分之一甚至更少就像在一張A4紙上找一根頭發(fā)絲還要說(shuō)清楚它是裂紋還是劃傷。再加上鋼廠現(xiàn)場(chǎng)光照暗、粉塵多、鋼板表面反光同一個(gè)缺陷在不同工況下拍出來(lái)可能完全不像同一個(gè)東西。還有一個(gè)現(xiàn)實(shí)問(wèn)題缺陷樣本本身是稀缺的。負(fù)樣本到處都是正樣本要等缺陷出現(xiàn)才能采到。很多公開(kāi)數(shù)據(jù)集的圖像是在實(shí)驗(yàn)室條件拍的背景干凈、光照均勻拿這套權(quán)重直接上產(chǎn)線大概率會(huì)被真實(shí)場(chǎng)景教做人。所以數(shù)據(jù)處理這一環(huán)必須花大力氣。1.2 對(duì)比一圈為什么YOLOv8最合適動(dòng)手之前我其實(shí)比較過(guò)Faster R-CNN、YOLOv5和YOLOv8。Faster R-CNN精度確實(shí)高但推理速度在普通工控機(jī)上跑起來(lái)不理想產(chǎn)線對(duì)一幀的處理時(shí)間往往要求在幾十毫秒級(jí)別Faster R-CNN很容易卡在邊界。YOLOv5也很成熟社區(qū)資料多但到了后續(xù)導(dǎo)出部署、內(nèi)置增強(qiáng)這些方面還是YOLOv8更省事。我最終選YOLOv8的核心原因有這么幾個(gè)。第一YOLOv8是anchor-free設(shè)計(jì)少掉了調(diào)anchor這一大堆事情對(duì)于鋼材缺陷這種目標(biāo)尺寸分布特別不規(guī)律的數(shù)據(jù)集省心很多。第二YOLOv8的C2f結(jié)構(gòu)在保持推理速度的同時(shí)特征提取更好對(duì)小目標(biāo)的敏感度比舊版有提升。第三官方倉(cāng)庫(kù)直接集成了訓(xùn)練、驗(yàn)證、導(dǎo)出、推理一條鏈不需要自己手寫(xiě)太多膠水代碼。第四也是很重要的一點(diǎn)YOLOv8內(nèi)置的數(shù)據(jù)增強(qiáng)和訓(xùn)練策略比較完善比如mosaic增強(qiáng)、自動(dòng)早停這些能少踩不少坑。當(dāng)然不是說(shuō)YOLOv8就萬(wàn)能。如果缺陷實(shí)在太小YOLOv8照樣會(huì)漏檢這時(shí)候需要結(jié)合滑窗或者提高輸入分辨率來(lái)補(bǔ)救。但作為第一版方案YOLOv8是穩(wěn)妥的起點(diǎn)。1.3 整體方案怎么規(guī)劃我給自己定了一條完整的執(zhí)行路徑每一步都有明確的輸入和輸出收集數(shù)據(jù)評(píng)估數(shù)據(jù)質(zhì)量和類別分布。數(shù)據(jù)清洗修掉錯(cuò)誤標(biāo)注和重復(fù)圖。把標(biāo)注格式統(tǒng)一轉(zhuǎn)換成YOLO的txt格式按序列切分訓(xùn)練集、驗(yàn)證集和測(cè)試集。編寫(xiě)數(shù)據(jù)集配置文件設(shè)置增強(qiáng)參數(shù)。選擇預(yù)訓(xùn)練權(quán)重配置超參數(shù)開(kāi)始訓(xùn)練。用best.pt做驗(yàn)證輸出per-class指標(biāo)和混淆矩陣。針對(duì)漏檢誤檢案例迭代補(bǔ)數(shù)據(jù)、改增強(qiáng)、調(diào)分辨率。導(dǎo)出ONNX放到推理環(huán)境里做最終測(cè)試。這套流程看起來(lái)很常規(guī)但每一步里都有說(shuō)不完的細(xì)節(jié)。下面我按這個(gè)順序拆開(kāi)細(xì)講。2. 數(shù)據(jù)集拿到了先別急著訓(xùn)練2.1 數(shù)據(jù)從哪來(lái)質(zhì)量和規(guī)模怎么看我手里的鋼材缺陷數(shù)據(jù)主要來(lái)自兩個(gè)來(lái)源一個(gè)公開(kāi)的鋼材表面缺陷數(shù)據(jù)集另一個(gè)是某廠現(xiàn)場(chǎng)抽拍的鋼板表面圖像。公開(kāi)數(shù)據(jù)集的好處是標(biāo)注規(guī)范能用來(lái)快速驗(yàn)證流程壞處是圖像背景偏干凈、缺陷形態(tài)相對(duì)典型跟產(chǎn)線實(shí)際數(shù)據(jù)有g(shù)ap?，F(xiàn)場(chǎng)數(shù)據(jù)更真實(shí)但標(biāo)注成本高格式也亂。拿到數(shù)據(jù)第一步不是數(shù)張數(shù)而是做抽樣檢查。我習(xí)慣把每類圖片隨機(jī)抽20%出來(lái)用標(biāo)注工具打開(kāi)快速翻一遍重點(diǎn)看三件事標(biāo)注框是否緊貼缺陷邊緣有沒(méi)有把兩個(gè)相鄰缺陷框在一個(gè)框里有沒(méi)有明顯漏標(biāo)。這一步花不了太多時(shí)間但能避免后面整個(gè)訓(xùn)練過(guò)程被錯(cuò)誤標(biāo)注帶著走。在規(guī)模上我的經(jīng)驗(yàn)是每個(gè)類至少要有300到500張有效圖。少于此數(shù)量模型很容易過(guò)擬合泛化到新工況基本沒(méi)有保障。當(dāng)然如果某些類天然稀少可以先通過(guò)數(shù)據(jù)增強(qiáng)硬湊但這只是緩兵之計(jì)最終要回到補(bǔ)充真實(shí)樣本上。2.2 先把六類缺陷的樣子和分布摸清楚我把這版數(shù)據(jù)里的六類缺陷整理成了一張?zhí)卣鞅矸奖愫竺鎸?duì)照分析。缺陷類別常見(jiàn)成因形態(tài)特征裂紋軋制應(yīng)力、材質(zhì)不均細(xì)長(zhǎng)線狀方向比較規(guī)律有時(shí)帶分叉夾雜非金屬夾雜物暴露斑點(diǎn)或小塊狀顏色和基體差別明顯麻點(diǎn)表面腐蝕或氧化密集小坑面積小、邊緣不規(guī)則氧化皮高溫氧化不規(guī)則片狀顏色發(fā)暗邊緣模糊軋制氧化鐵皮軋制過(guò)程中壓入鱗片狀顏色偏黑藍(lán)有一定厚度感劃傷機(jī)械摩擦直線亮痕寬度小、長(zhǎng)度長(zhǎng)讀這批數(shù)據(jù)時(shí)帶著一個(gè)任務(wù)去看哪兩類最容易混。我觀察下來(lái)氧化皮和麻點(diǎn)經(jīng)常混因?yàn)槎急憩F(xiàn)為暗色區(qū)域劃傷和裂紋也容易混因?yàn)槎际情L(zhǎng)條形。搞清楚這個(gè)后面再做類別權(quán)重和增強(qiáng)策略時(shí)就有依據(jù)。另一個(gè)容易被忽視的工作是統(tǒng)計(jì)分析缺陷框的尺寸分布。寫(xiě)個(gè)小腳本統(tǒng)計(jì)所有標(biāo)注框的寬高像素值看看中位數(shù)是多少、最小的是多少。如果大量缺陷框在40像素以下那輸入尺寸就要認(rèn)真考慮640可能不夠。2.3 清洗數(shù)據(jù)比增強(qiáng)數(shù)據(jù)更重要我見(jiàn)過(guò)不少朋友一上來(lái)就把增強(qiáng)拉滿各種翻轉(zhuǎn)、旋轉(zhuǎn)、加噪聲結(jié)果訓(xùn)練出來(lái)mAP挺高一測(cè)真實(shí)場(chǎng)景就垮。原因很簡(jiǎn)單原始數(shù)據(jù)本身是臟的增強(qiáng)只會(huì)把臟信息放大。我清洗數(shù)據(jù)時(shí)主要有幾個(gè)操作剔除重復(fù)圖像用文件的MD5值去重就能干剔除標(biāo)錯(cuò)類別的圖片比如把麻點(diǎn)標(biāo)成氧化皮剔除嚴(yán)重過(guò)曝或嚴(yán)重欠曝的樣本這類圖即使模型訓(xùn)出來(lái)在真實(shí)場(chǎng)景里也是負(fù)收益對(duì)標(biāo)注框做合法性檢查確保xmin小于xmax、ymin小于ymax且都落在圖像范圍內(nèi)。清洗完以后我寧愿數(shù)據(jù)集從1200張變成900張也不愿用那300張臟數(shù)據(jù)。后來(lái)實(shí)際訓(xùn)練結(jié)果證明這個(gè)決策是對(duì)的洗過(guò)的900張訓(xùn)練效果明顯好于沒(méi)洗的1200張。3. 數(shù)據(jù)集處理的硬核細(xì)節(jié)3.1 從XML標(biāo)注轉(zhuǎn)到Y(jié)OLO txt一條腳本搞定很多標(biāo)注工具導(dǎo)出的是XML或JSON格式記錄的是目標(biāo)的左上角和右下角像素坐標(biāo)。YOLO訓(xùn)練需要的txt不是這種格式它要求一行一個(gè)目標(biāo)類別id、中心點(diǎn)x坐標(biāo)、中心點(diǎn)y坐標(biāo)、寬、高并且全部歸一化到0到1之間。我寫(xiě)了一個(gè)轉(zhuǎn)換腳本把常見(jiàn)的XML標(biāo)注轉(zhuǎn)成YOLO格式import os import xml.etree.ElementTree as ET def voc_to_yolo(xml_path, out_dir, class_names): tree ET.parse(xml_path) root tree.getroot() size root.find(size) W float(size.find(width).text) H float(size.find(height).text) lines [] for obj in root.iter(object): name obj.find(name).text if name not in class_names: continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) assert xmax xmin and ymax ymin, finvalid box in {xml_path} cx (xmin xmax) / 2.0 / W cy (ymin ymax) / 2.0 / H bw (xmax - xmin) / W bh (ymax - ymin) / H lines.append(f{class_names.index(name)} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) img_name os.path.splitext(os.path.basename(xml_path))[0] .txt with open(os.path.join(out_dir, img_name), w) as f: f.write(\n.join(lines)) # 示例用法 class_names [crazing, inclusion, patches, pitted_surface, rolled_in_scale, scratches] os.makedirs(labels/train, exist_okTrue) for xml_file in os.listdir(xmls): if xml_file.endswith(.xml): voc_to_yolo(os.path.join(xmls, xml_file), labels/train, class_names)這里有兩個(gè)非常容易踩的坑。第一個(gè)是類別id必須從0開(kāi)始不能從1開(kāi)始否則訓(xùn)練時(shí)類別數(shù)對(duì)不上。第二個(gè)是歸一化必須除以圖像的原始寬高而不是除以某次resize之后的寬高。我當(dāng)時(shí)就是忘了除以原圖寬高只算了相對(duì)坐標(biāo)差值結(jié)果訓(xùn)練loss能降但輸出的框位置完全不對(duì)。3.2 訓(xùn)練集、驗(yàn)證集、測(cè)試集怎么切分切分看似簡(jiǎn)單實(shí)際上很講究。最忌諱的做法是直接把所有文件路徑丟進(jìn)一個(gè)隨機(jī)函數(shù)然后按比例切三份。這樣很容易讓同一現(xiàn)場(chǎng)拍攝的連續(xù)幀同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里模型相當(dāng)于提前見(jiàn)識(shí)過(guò)驗(yàn)證集內(nèi)容最后指標(biāo)虛高一到新場(chǎng)景就現(xiàn)原形。我通常按序列分組切分。比如現(xiàn)場(chǎng)圖是一卷鋼一個(gè)文件夾或者一批圖有一個(gè)共同的前綴那就要保證同一來(lái)源的圖只出現(xiàn)在一個(gè)集合里。先對(duì)樣本做分組再按組隨機(jī)分配到訓(xùn)練集、驗(yàn)證集和測(cè)試集比例控制在85%、10%、5%左右。測(cè)試集一旦劃定在整個(gè)迭代過(guò)程中盡量不要?jiǎng)臃駝t你就是在對(duì)著測(cè)試集調(diào)參指標(biāo)會(huì)失真。代碼上可以用一個(gè)簡(jiǎn)單的分配邏輯按文件名前綴分組再對(duì)組列表打亂然后把組依次填入三個(gè)集合。雖然多寫(xiě)幾行代碼但換來(lái)的是可靠指標(biāo)非常值得。3.3 數(shù)據(jù)增強(qiáng)哪些對(duì)缺陷檢測(cè)真有用YOLOv8內(nèi)置了一系列增強(qiáng)手段mosaic、平移、縮放、翻轉(zhuǎn)、HSV色域變換都有。默認(rèn)配置已經(jīng)比較合理但針對(duì)鋼材表面這種特殊數(shù)據(jù)我做了兩處關(guān)鍵調(diào)整。第一是HSV增強(qiáng)強(qiáng)度要收一點(diǎn)。鋼板顏色本身是識(shí)別氧化皮、麻點(diǎn)的重要線索如果把色相、飽和度調(diào)得太猛氧化皮的顏色就可能變成類似塑料反光的顏色反而加大誤檢。我用的是hsv_h0.01、hsv_s0.5、hsv_v0.3效果比默認(rèn)值更貼合當(dāng)前數(shù)據(jù)。第二是翻轉(zhuǎn)方向要謹(jǐn)慎。如果產(chǎn)線相機(jī)固定鋼板從左往右走那么左右翻轉(zhuǎn)生成的圖像在現(xiàn)實(shí)中根本不會(huì)出現(xiàn)這時(shí)候把fliplr設(shè)成0或很小值更合理。mosaic增強(qiáng)對(duì)多數(shù)目標(biāo)檢測(cè)任務(wù)都有提升但在小缺陷很多的數(shù)據(jù)集上要控制力度。mosaic會(huì)把多張小圖拼成一張大圖缺陷能被進(jìn)一步縮小原來(lái)就小的麻點(diǎn)可能直接縮到無(wú)法辨認(rèn)。我建議類別分布比較均衡時(shí)用默認(rèn)mosaic1.0如果小目標(biāo)占主導(dǎo)嘗試降到0.5以下。cutout這種挖空增強(qiáng)我也試過(guò)在鋼材數(shù)據(jù)上不但沒(méi)用還會(huì)把真實(shí)缺陷挖掉不建議使用。3.4 dataset.yaml和目錄結(jié)構(gòu)YOLOv8訓(xùn)練需要一份數(shù)據(jù)集配置文件指定圖像和標(biāo)簽的路徑以及類別名。我用的是這樣的目錄結(jié)構(gòu)steel/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ └── labels/ ├── train/ ├── val/ └── test/對(duì)應(yīng)的dataset.yaml如下path: ./steel train: images/train val: images/val test: images/test names: 0: crazing 1: inclusion 2: patches 3: pitted_surface 4: rolled_in_scale 5: scratches這個(gè)文件有兩點(diǎn)必須注意。一個(gè)是names的順序必須和txt標(biāo)注里的數(shù)字id嚴(yán)格對(duì)應(yīng)一旦開(kāi)始訓(xùn)練就不能隨便改改完整個(gè)模型輸出對(duì)不上。另一個(gè)是path建議用絕對(duì)路徑或者相對(duì)當(dāng)前命令行的路徑別用會(huì)在不同機(jī)器上變化的路徑不然換一臺(tái)機(jī)器訓(xùn)練時(shí)容易排查半天。4. 訓(xùn)練流程與參數(shù)調(diào)優(yōu)實(shí)戰(zhàn)4.1 環(huán)境準(zhǔn)備與基礎(chǔ)訓(xùn)練我的環(huán)境是Python 3.9、PyTorch 2.1、CUDA 12.1安裝YOLOv8直接用pip就行conda create -n steel python3.9 conda activate steel pip install ultralytics torch torchvision opencv-python基礎(chǔ)訓(xùn)練命令看起來(lái)很簡(jiǎn)單yolo detect train datasteel.yaml modelyolov8s.pt epochs300 imgsz640 batch16 device0但這行命令背后有幾個(gè)參數(shù)要理解清楚。modelyolov8s.pt是預(yù)訓(xùn)練權(quán)重用它在自己的數(shù)據(jù)上微調(diào)收斂比從零訓(xùn)練快得多。imgsz640是訓(xùn)練時(shí)輸入網(wǎng)絡(luò)的尺寸如果缺陷框的中位數(shù)尺寸在40像素以下建議直接上960。batch16對(duì)8到12GB顯存的顯卡比較合適想算自己顯存夠不夠可以大概估一下16張640x640x3的輸入圖像本身占內(nèi)存才約80MB但梯度、中間特征、優(yōu)化器狀態(tài)會(huì)把這個(gè)數(shù)放大許多倍實(shí)測(cè)下來(lái)16的批量需要8GB以上顯存。我建議第一次迭代先用yolov8s不要一上來(lái)就上l或者x。模型越大對(duì)數(shù)據(jù)質(zhì)量的要求越高在數(shù)據(jù)還沒(méi)洗干凈的階段大模型只會(huì)更快地記住噪聲。4.2 超參數(shù)選擇思路訓(xùn)練參數(shù)里我重點(diǎn)調(diào)整的是epochs、patience和lr0。YOLOv8默認(rèn)epochs是100但對(duì)工業(yè)缺陷這種需要精雕細(xì)琢的任務(wù)100輪往往不夠我直接設(shè)成300。patience設(shè)為50意思是驗(yàn)證集指標(biāo)連續(xù)50輪不提升就自動(dòng)停止既省時(shí)間又防過(guò)擬合。學(xué)習(xí)率lr0默認(rèn)是0.01如果訓(xùn)練日志顯示loss一開(kāi)始就劇烈震蕩就降到0.001重新啟動(dòng)。動(dòng)量momentum保持默認(rèn)即可不需要?jiǎng)?。還有一個(gè)值得關(guān)注的參數(shù)是close_mosaicYOLOv8會(huì)在訓(xùn)練最后10輪自動(dòng)關(guān)閉mosaic增強(qiáng)讓模型在更接近真實(shí)分布的數(shù)據(jù)上做最后精修這個(gè)機(jī)制對(duì)小目標(biāo)缺陷很友好默認(rèn)打開(kāi)就好。4.3 訓(xùn)練日志怎么看訓(xùn)練過(guò)程會(huì)生成results.png和weights目錄里面放著best.pt和last.pt。很多人只看最后一個(gè)結(jié)果這是不對(duì)的。best.pt是驗(yàn)證集mAP最高的權(quán)重last.pt是最后一輪的結(jié)果兩者差距有時(shí)候很大。我習(xí)慣先看train/loss和val/loss兩條曲線如果train/loss一直降但val/loss漲就是過(guò)擬合信號(hào)可以把epochs降下來(lái)或者增大增強(qiáng)。如果val/loss一直在震蕩不收斂?jī)?yōu)先檢查數(shù)據(jù)切分和標(biāo)注。驗(yàn)證集指標(biāo)里mAP50反應(yīng)的是粗略定位質(zhì)量mAP50-95反應(yīng)的是框和真實(shí)框的重合度要求。鋼材缺陷這種業(yè)務(wù)我實(shí)際更看重mAP50和每類recall因?yàn)楝F(xiàn)場(chǎng)漏檢比框不準(zhǔn)更致命。4.4 顯存不足和訓(xùn)練太慢訓(xùn)練中經(jīng)常會(huì)遇到顯存爆掉的問(wèn)題解決方案優(yōu)先級(jí)我按這個(gè)順序來(lái)先把batch從16降到8這樣一般能救回來(lái)如果還不夠把imgsz從640降到512再不行換yolov8n。注意YOLOv8默認(rèn)開(kāi)了amp混合精度這個(gè)能省不少顯存別莫名其妙關(guān)掉。訓(xùn)練太慢的話最大的瓶頸往往是CPU在做數(shù)據(jù)增強(qiáng)尤其是mosaic?？梢园褀orkers從默認(rèn)的8升到16如果CPU核心多的話會(huì)有明顯改善。硬盤(pán)IO也有影響強(qiáng)烈建議把數(shù)據(jù)集放到NVMe固態(tài)硬盤(pán)上而不是機(jī)械盤(pán)。5. 評(píng)估指標(biāo)與錯(cuò)誤分析5.1 別只報(bào)一個(gè)mAP第一輪訓(xùn)練跑完之后我拿到一份看起來(lái)不錯(cuò)的mAP數(shù)據(jù)但真正有用的信息藏在per-class指標(biāo)里。當(dāng)時(shí)我的驗(yàn)證集整體mAP50到了0.78看起來(lái)能接受但拆開(kāi)看后發(fā)現(xiàn)裂紋這一類的AP50只有0.42recall更是低到0.55大量裂紋被漏成背景。這種情況下整體mAP被其他容易分類的缺陷抬高了直接上線肯定會(huì)出事。所以我強(qiáng)烈建議每次評(píng)估都輸出per-class表格和混淆矩陣。YOLOv8驗(yàn)證時(shí)直接會(huì)生成這些結(jié)果在runs/detect/val目錄下可以找到confusion_matrix.png和results.csv。我習(xí)慣把驗(yàn)證結(jié)果按類別整理成一張表比如這個(gè)格式類別AP50Recall裂紋0.620.58夾雜0.950.92麻點(diǎn)0.880.85氧化皮0.840.80軋制氧化鐵皮0.780.74劃傷0.820.78這是示例數(shù)據(jù)但這類表才是真正能指導(dǎo)迭代的東西。AP低的那一類就是要優(yōu)先補(bǔ)數(shù)據(jù)、修標(biāo)注、調(diào)參數(shù)的方向。5.2 漏檢率比mAP更值得關(guān)注我把漏檢樣本單獨(dú)抽出來(lái)建了一個(gè)文件夾每張圖按失敗原因分類。看下來(lái)發(fā)現(xiàn)漏檢主要集中在這幾種情況缺陷尺寸太小經(jīng)過(guò)640縮放后辨識(shí)度急劇下降缺陷對(duì)比度低和周?chē)摪灞砻娴幕叶炔钐∪毕葸吘壞：龢?biāo)注框本身就不確定。針對(duì)小目標(biāo)漏檢我先試過(guò)把imgsz從640提到960效果有提升但顯存壓力變大。后來(lái)又改成滑窗推理把大圖切成若干小圖分別送進(jìn)模型推理再把結(jié)果合并回原坐標(biāo)。這一招在缺陷尺寸極小的情況下非常有效代價(jià)是推理時(shí)間增加數(shù)倍。折中方案是只對(duì)懷疑區(qū)域做滑窗或者用更大模型結(jié)合更高分辨率。如果業(yè)務(wù)允許優(yōu)先采集更多近景圖像從數(shù)據(jù)源頭解決問(wèn)題。5.3 第二次迭代怎么改第一次迭代后不要急著亂調(diào)參數(shù)。我給自己定了一個(gè)規(guī)則每次迭代只改一個(gè)變量。先補(bǔ)正好清洗過(guò)的數(shù)據(jù)不動(dòng)增強(qiáng)再單獨(dú)調(diào)輸入尺寸再試增強(qiáng)系數(shù)最后才是換模型體積。實(shí)際做了兩輪之后我發(fā)現(xiàn)提升最大的一步不是從s換到l而是把標(biāo)注中的錯(cuò)誤框修好同時(shí)把輸入尺寸從640提到960。這樣做還有一個(gè)好處可以回滾。如果某個(gè)改動(dòng)讓指標(biāo)下降立刻知道是哪個(gè)變量導(dǎo)致的不用把整個(gè)訓(xùn)練配置推倒重來(lái)。6. 推理部署與工程化落地6.1 導(dǎo)出ONNX并脫離訓(xùn)練環(huán)境推理訓(xùn)練結(jié)束后部署端往往不裝PyTorch直接用ONNX模型會(huì)更輕量。導(dǎo)出命令如下yolo export modelbest.pt formatonnx imgsz640 dynamicTrue opset12dynamicTrue表示輸入尺寸可以是動(dòng)態(tài)的方便在推理時(shí)傳入任意分辨率。但要注意如果后面要轉(zhuǎn)TensorRT動(dòng)態(tài)尺寸會(huì)增加轉(zhuǎn)換復(fù)雜度固定尺寸會(huì)更穩(wěn)。我在這版項(xiàng)目里先用ONNX Runtime跑固定成640x640邏輯更簡(jiǎn)單。ONNX推理的關(guān)鍵是預(yù)處理必須和訓(xùn)練時(shí)完全一致。我用的核心流程是讀圖、letterbox縮放、RGB通道轉(zhuǎn)換、歸一化、轉(zhuǎn)CHW送入模型、解碼輸出、畫(huà)框。其中最容易出錯(cuò)的是letterbox。直接resize會(huì)把圖片橫向拉伸檢測(cè)框坐標(biāo)跟著偏所以在后處理時(shí)要把letterbox的縮放比例和填充偏移記下來(lái)還原到原圖坐標(biāo)。6.2 部署環(huán)境最容易出問(wèn)題的三個(gè)點(diǎn)部署中最常遇到的問(wèn)題我捋了三個(gè)。第一是通道順序。訓(xùn)練時(shí)用的是RGBOpenCV默認(rèn)讀進(jìn)來(lái)是BGR如果忘了轉(zhuǎn)檢測(cè)效果會(huì)明顯下降而且不會(huì)報(bào)錯(cuò)。第二是NMS參數(shù)。推理時(shí)置信度閾值如果按默認(rèn)0.25來(lái)很多小缺陷會(huì)被過(guò)濾掉我在鋼材缺陷場(chǎng)景里通常把置信度閾值調(diào)到0.1到0.15但這樣誤檢會(huì)增加得用NMS的IoU閾值來(lái)控制重疊框。第三是輸入歸一化。YOLOv8官方推理時(shí)會(huì)對(duì)圖像除以255如果在自己的推理腳本里忘了這一步模型輸出基本等于廢的。我給自己寫(xiě)了個(gè)推理小腳本用OpenCV和ONNX Runtime跑單張圖整體流程大約幾十行代碼。實(shí)測(cè)下來(lái)CPU推理一張640x640的圖大概在幾百毫秒GPU上可以到幾十毫秒基本能滿足產(chǎn)線慢速分檢的需求。6.3 與產(chǎn)線場(chǎng)景對(duì)接的注意事項(xiàng)部署后還要面對(duì)真實(shí)環(huán)境的變量。相機(jī)一旦裝好焦距和安裝距離就不要隨便動(dòng)否則目標(biāo)尺度變化會(huì)直接影響模型表現(xiàn)。光照是最核心的干擾因素鋼廠現(xiàn)場(chǎng)照明變化劇烈模型的誤檢率會(huì)跟著變。我的做法是在不同時(shí)段、不同燈光下各采集一批負(fù)樣本專門(mén)測(cè)試模型有沒(méi)有把陰影和反光當(dāng)成缺陷。還有輸出坐標(biāo)的處理。模型輸出的是歸一化坐標(biāo)必須乘回原圖寬高才能給下游設(shè)備用。如果下游機(jī)械臂要根據(jù)缺陷坐標(biāo)做動(dòng)作那坐標(biāo)精度就非常關(guān)鍵此時(shí)用mAP50-95這類指標(biāo)去衡量會(huì)更貼合業(yè)務(wù)。7. 踩坑實(shí)錄與常見(jiàn)問(wèn)題速查7.1 我踩過(guò)的坑按嚴(yán)重程度排第一個(gè)大坑是標(biāo)注格式轉(zhuǎn)換時(shí)把xmax和xmin的順序搞反了。訓(xùn)練過(guò)程完全不報(bào)錯(cuò)loss也能下降但模型輸出的框全部偏到圖像邊緣。排查了很久才發(fā)現(xiàn)是轉(zhuǎn)換腳本里的賦值出錯(cuò)。所以轉(zhuǎn)換完成后一定要做可視化檢查隨機(jī)抽幾十張圖把標(biāo)注框畫(huà)出來(lái)人工看一眼。第二個(gè)坑是類別id和names順序?qū)Σ簧?。我一開(kāi)始把names的第一個(gè)類當(dāng)成1號(hào)實(shí)際上YOLO從0號(hào)開(kāi)始結(jié)果訓(xùn)練日志里分類loss一直不收斂。后來(lái)我把txt文件里的id和data.yaml里的順序重新對(duì)照了一遍才解決。第三個(gè)坑是數(shù)據(jù)增強(qiáng)過(guò)猛。我為了追求“泛化能力”把hsv_v調(diào)到了0.8結(jié)果鋼板表面顏色被改得面目全非模型學(xué)到的是錯(cuò)誤的顏色特征檢測(cè)率直線下降。后來(lái)我才意識(shí)到工業(yè)缺陷檢測(cè)里很多線索恰恰來(lái)自顏色和紋理增強(qiáng)不是越多越好。第四個(gè)坑是評(píng)估集切分沒(méi)有按序列隔開(kāi)。最開(kāi)始直接隨機(jī)切分訓(xùn)練集和驗(yàn)證集里出現(xiàn)了同一卷鋼的連續(xù)幀驗(yàn)證mAP虛高到0.9但換到新樣本直接掉到0.65。這讓我徹底記住了分組切分比隨機(jī)切分靠譜得多。7.2 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象可能原因解決辦法train/loss降但val/loss不降過(guò)擬合、標(biāo)注噪聲大清洗數(shù)據(jù)、增強(qiáng)、增大訓(xùn)練數(shù)據(jù)、提前早停檢測(cè)框整體偏移letterbox后處理錯(cuò)誤或坐標(biāo)未還原核對(duì)縮放比和填充偏移按原圖尺寸還原坐標(biāo)小缺陷大量漏檢輸入分辨率不夠、置信度閾值過(guò)高提高imgsz、滑窗推理、降低置信度閾值兩類缺陷互相誤檢類別特征重疊、樣本不足補(bǔ)樣本、減少顛覆性增強(qiáng)、做一個(gè)專業(yè)分類器模型在真實(shí)環(huán)境誤檢多訓(xùn)練數(shù)據(jù)背景單一、新場(chǎng)景光照不同補(bǔ)邊界樣本、加入真實(shí)負(fù)樣本、降低增強(qiáng)里的顏色變換導(dǎo)出ONNX后輸出異常NMS已內(nèi)嵌、輸入預(yù)處理不一致重新核對(duì)歸一化和通道順序必要時(shí)在外部做NMS訓(xùn)練速度極慢數(shù)據(jù)增強(qiáng)CPU瓶頸、硬盤(pán)IO慢調(diào)高workers、數(shù)據(jù)放固態(tài)盤(pán)、適當(dāng)減小imgsz7.3 寫(xiě)在最后的一點(diǎn)體會(huì)跑完整個(gè)流程之后我最深的感受是工業(yè)缺陷檢測(cè)項(xiàng)目里模型能力的天花板其實(shí)很低數(shù)據(jù)質(zhì)量和工作方法才是決定成敗的部分。每一次指標(biāo)不達(dá)標(biāo)先不要懷疑模型選型先回去看數(shù)據(jù)有沒(méi)有臟、切分有沒(méi)有問(wèn)題、指標(biāo)有沒(méi)有看對(duì)。把數(shù)據(jù)吃透再談模型調(diào)優(yōu)。另外就是每次迭代只改一個(gè)變量把中間模型全部保存下來(lái)。我現(xiàn)在回頭看真正讓效果變好的都是那些看起來(lái)最笨的步驟人工核對(duì)標(biāo)注、分析漏檢圖、按序列切分?jǐn)?shù)據(jù)。這些步驟不能省也省不得。最后再分享一個(gè)小經(jīng)驗(yàn)如果條件允許訓(xùn)練前先用YOLOv8自帶的預(yù)訓(xùn)練模型跑一遍公開(kāi)的鋼材表面小數(shù)據(jù)集看看整體流程通不通再切到自己的數(shù)據(jù)。先把流水線跑通再追求精度整個(gè)過(guò)程會(huì)順很多。