寫OpenCV的實(shí)戰(zhàn)文章我其實(shí)想了很久。網(wǎng)上的教程一抓一大把但大多數(shù)要么是官方文檔的平鋪直敘要么是貼一段代碼讓人自己跑跑完了還不知道中間每一行到底在干什么。這篇不一樣。我挑了5個(gè)自己在實(shí)際項(xiàng)目里反復(fù)用到的案例從最基礎(chǔ)的顏色識(shí)別到最后的AI超分辨率修復(fù)每一個(gè)都配了完整的原理拆解、代碼邏輯和踩坑記錄。不敢說(shuō)做到極致但跟著走一遍你對(duì)OpenCV的認(rèn)知會(huì)扎實(shí)很多。這5個(gè)案例的難度是遞進(jìn)的前兩個(gè)偏像素級(jí)別的操作第三個(gè)開(kāi)始接觸特征檢測(cè)第四個(gè)涉及幾何變換第五個(gè)直接跨到深度學(xué)習(xí)的應(yīng)用。也就是說(shuō)你不僅是在“學(xué)OpenCV”還在把整個(gè)計(jì)算機(jī)視覺(jué)的常見(jiàn)路徑蹚一遍。如果你正打算入行CV方向或者工作中突然要用OpenCV解決某個(gè)圖像問(wèn)題這篇文章可以幫你省掉大量翻文檔的時(shí)間。1. 為什么是這5個(gè)案例1.1 每個(gè)案例解決哪一類真實(shí)問(wèn)題選案例思路和選工具一樣要覆蓋不同的應(yīng)用場(chǎng)景而不是貪多求全。我從實(shí)際業(yè)務(wù)里篩了很久最終敲定這5個(gè)因?yàn)樗鼈儽澈蟮哪芰S度完全不重疊。顏色識(shí)別與分割解決“如何按顏色把對(duì)象從圖片里摳出來(lái)”這一基礎(chǔ)命題代表顏色空間轉(zhuǎn)換和掩膜操作。形態(tài)學(xué)操作解決“圖片里的噪聲怎么清理、斷開(kāi)的線條怎么接上”這類二值圖像加工問(wèn)題代表腐蝕、膨脹、開(kāi)閉運(yùn)算。邊緣檢測(cè)與人臉檢測(cè)解決“怎么從圖像里定位目標(biāo)和邊界”這個(gè)目標(biāo)檢測(cè)的老祖宗問(wèn)題代表梯度計(jì)算和級(jí)聯(lián)分類器。特征匹配與圖像拼接解決“如何把兩張有重疊區(qū)域的圖合成一張全景圖”這個(gè)幾何視覺(jué)問(wèn)題代表特征點(diǎn)提取和透視變換。圖像去霧與AI超分辨率解決“圖像質(zhì)量差、清晰度低怎么修復(fù)”這個(gè)畫質(zhì)增強(qiáng)問(wèn)題代表物理模型先驗(yàn)與深度學(xué)習(xí)后處理。這5個(gè)能力放到實(shí)際項(xiàng)目中對(duì)應(yīng)的就是工業(yè)分揀線的顏色篩選、醫(yī)學(xué)切片噪聲清理、安防人臉抓拍、機(jī)器人視覺(jué)里的多幀拼接、老照片修復(fù)和老視頻增強(qiáng)。你會(huì)發(fā)現(xiàn)它們之間不是孤立的四和五都是現(xiàn)在商用系統(tǒng)里的高配需求一二是底座。1.2 環(huán)境準(zhǔn)備版本選擇和依賴安裝我建議直接用Python 3.9以上版本配合OpenCV 4.x。為什么不建議OpenCV 3因?yàn)?.x對(duì)很多API做了精簡(jiǎn)和性能優(yōu)化網(wǎng)上新教程也基本默認(rèn)4.x你用3.x會(huì)遇到很多“函數(shù)不存在”的問(wèn)題。安裝方式很簡(jiǎn)單pip install opencv-python opencv-contrib-python numpy需要注意兩個(gè)包都要裝。opencv-python是主庫(kù)包含了核心的cv2模塊opencv-contrib-python提供了SIFT、SURF等非免費(fèi)算法這里說(shuō)的“非免費(fèi)”是專利層面的事實(shí)際開(kāi)發(fā)中常用。如果你只裝了opencv-python后面調(diào)用cv2.SIFT_create()會(huì)直接報(bào)錯(cuò)找不到屬性。后面的AI超分辨率案例還需要PyTorch環(huán)境裝CPU版本就夠了跑推理不吃力pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu測(cè)試環(huán)境是否正常跑一行代碼import cv2 print(cv2.__version__)能輸出版本號(hào)就說(shuō)明環(huán)境OK了。1.3 一個(gè)必須記牢的基礎(chǔ)概念OpenCV里的圖像就是numpy數(shù)組很多人學(xué)了半天OpenCV還云里霧里的原因是沒(méi)意識(shí)到一件最重要的事圖像在OpenCV里就是numpy數(shù)組。一張灰度圖是二維數(shù)組行、列一張彩色圖是三維數(shù)組行、列、通道。import cv2 img cv2.imread(demo.jpg) print(img.shape) # 比如 (720, 1280, 3) print(img.dtype) # uint8即每個(gè)像素取值0~255那這跟實(shí)戰(zhàn)有什么關(guān)系關(guān)系大了。你后面做的每一個(gè)操作本質(zhì)上都是在對(duì)數(shù)組做數(shù)學(xué)運(yùn)算cv2.add是數(shù)組加法cv2.resize是數(shù)組重采樣cv2.inRange是條件篩選生成掩膜甚至卷積模糊就是用一個(gè)核在數(shù)組上做滑動(dòng)加權(quán)求和一旦建立了“圖像數(shù)組”的思維很多API就不再需要死記硬背你能推理出它大概在做什么。更妙的是你可以直接用numpy的操作做一些OpenCV沒(méi)有提供的事情比如用切片提取ROI區(qū)域face img[100:300, 200:400] # 裁剪出左上角坐標(biāo)(200,100)到(400,300)的區(qū)域這一個(gè)基礎(chǔ)操作在后面的所有案例里都會(huì)反復(fù)出現(xiàn)。還有一個(gè)特別容易踩的坑OpenCV讀取彩色圖片的順序是BGR藍(lán)綠紅不是RGB。所以你用OpenCV讀完圖再丟給matplotlib顯示顏色會(huì)偏藍(lán)偏怪。解決辦法是轉(zhuǎn)換一次img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB)這個(gè)坑我在案例一里還會(huì)再提因?yàn)轭伾樞蚋沐e(cuò)了你的顏色識(shí)別程序會(huì)得到完全錯(cuò)誤的識(shí)別結(jié)果。2. 案例一三行代碼搞定顏色識(shí)別與目標(biāo)分割2.1 為什么用HSV顏色空間而不是RGB如果你直接用RGB做顏色判斷會(huì)發(fā)現(xiàn)光照稍微變一點(diǎn)同一個(gè)紅色的RGB值就變了上午的紅色和下午的紅色數(shù)值差異巨大你設(shè)置的閾值要么漏檢要么誤檢。這是RGB顏色空間的本質(zhì)問(wèn)題它把亮度信息和顏色信息混在一起。為了把顏色判斷做得穩(wěn)定我們切換到HSV顏色空間。HSV把顏色拆成三個(gè)維度HHue色相也就是“這到底是什么顏色”用角度表示0到180SSaturation飽和度顏色有多濃VValue明度顏色有多亮這樣一來(lái)我們判斷顏色只看H值就夠。比如紅色的色相在0到10和170到180之間綠色的色相在35到85之間藍(lán)色的色相在100到130之間。只要光照不是極端異常H值相對(duì)穩(wěn)定。轉(zhuǎn)換成本極低一行代碼hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV)2.2 核心實(shí)現(xiàn)掩膜與按位運(yùn)算識(shí)別特定顏色并把它單獨(dú)摳出來(lái)標(biāo)準(zhǔn)流程只有三步轉(zhuǎn)HSV、生成掩膜、按位與。import cv2 import numpy as np img cv2.imread(color_demo.jpg) hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 設(shè)定紅色的HSV范圍注意是BGR轉(zhuǎn)過(guò)來(lái)的HSV lower_red np.array([0, 120, 70]) upper_red np.array([10, 255, 255]) mask cv2.inRange(hsv, lower_red, upper_red) # 只保留紅色區(qū)域其余變黑 result cv2.bitwise_and(img, img, maskmask) cv2.imwrite(red_mask.jpg, mask) cv2.imwrite(red_result.jpg, result)cv2.inRange的意思很簡(jiǎn)單把hsv數(shù)組里每個(gè)像素和上下界比較在范圍內(nèi)的標(biāo)為白色255不在范圍內(nèi)的標(biāo)為黑色0。生成的mask就是一張黑白圖。cv2.bitwise_and是掩膜的靈魂操作。它把原圖和自身做按位與但只有掩膜白色區(qū)域才保留原圖的像素黑色區(qū)域直接變零。效果就是你要的顏色留下來(lái)了其他全部變黑。有一個(gè)細(xì)節(jié)紅色的H值范圍橫跨0度兩端紅色在色相環(huán)上是一個(gè)閉環(huán)的兩端所以處理紅色時(shí)通常需要兩個(gè)范圍拼接lower_red1 np.array([0, 120, 70]) upper_red1 np.array([10, 255, 255]) lower_red2 np.array([170, 120, 70]) upper_red2 np.array([180, 255, 255]) mask1 cv2.inRange(hsv, lower_red1, upper_red1) mask2 cv2.inRange(hsv, lower_red2, upper_red2) mask cv2.bitwise_or(mask1, mask2)2.3 顏色閾值怎么調(diào)用調(diào)試窗口而不是直接猜我見(jiàn)過(guò)太多新人在這里卡住寫了個(gè)顏色識(shí)別程序運(yùn)行時(shí)發(fā)現(xiàn)該識(shí)別的東西沒(méi)識(shí)別出來(lái)然后就一頓亂調(diào)S和V的上下限調(diào)了半天也不知道哪個(gè)參數(shù)起的作用。正確的做法是做一個(gè)帶滑塊的調(diào)試窗口實(shí)時(shí)看效果。OpenCV的cv2.createTrackbar可以在窗口里生成滑塊下面這段代碼可以讓你拖動(dòng)六個(gè)滑塊實(shí)時(shí)調(diào)整上下限并預(yù)覽掩膜效果cv2.namedWindow(adjust) cv2.createTrackbar(LH, adjust, 0, 180, nothing) cv2.createTrackbar(LS, adjust, 120, 255, nothing) cv2.createTrackbar(LV, adjust, 70, 255, nothing) cv2.createTrackbar(UH, adjust, 10, 180, nothing) cv2.createTrackbar(US, adjust, 255, 255, nothing) cv2.createTrackbar(UV, adjust, 255, 255, nothing) while True: lh cv2.getTrackbarPos(LH, adjust) ls cv2.getTrackbarPos(LS, adjust) lv cv2.getTrackbarPos(LV, adjust) uh cv2.getTrackbarPos(UH, adjust) us cv2.getTrackbarPos(US, adjust) uv cv2.getTrackbarPos(UV, adjust) lower np.array([lh, ls, lv]) upper np.array([uh, us, uv]) mask cv2.inRange(hsv, lower, upper) cv2.imshow(adjust, mask)調(diào)參的時(shí)候先固定S和V在比較寬的范圍比如50到255然后只調(diào)H的上下限把目標(biāo)顏色的H值范圍先框出來(lái)再慢慢收緊S和V把非目標(biāo)顏色剔除。我實(shí)測(cè)下來(lái)這個(gè)方法比憑空想?yún)?shù)高效十倍。顏色范圍這種東西在真實(shí)場(chǎng)景里因?yàn)楣庹?、攝像頭品牌不同差異很大沒(méi)有一勞永逸的數(shù)值。調(diào)試窗口調(diào)好以后把最終參數(shù)寫死到配置文件里即可。2.4 應(yīng)用擴(kuò)展如何計(jì)算目標(biāo)面積和中心位置識(shí)別顏色只是第一步業(yè)務(wù)上往往還要知道目標(biāo)的位置和大小。比如流水線上要抓取紅色物料你得給它一個(gè)機(jī)械臂坐標(biāo)。這步用cv2.findContours做輪廓分析contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for contour in contours: area cv2.contourArea(contour) if area 500: # 過(guò)濾太小的噪聲塊 continue x, y, w, h cv2.boundingRect(contour) cx, cy x w // 2, y h // 2 cv2.rectangle(img, (x, y), (x w, y h), (0, 255, 0), 2) cv2.circle(img, (cx, cy), 4, (0, 0, 255), -1)面積過(guò)濾很重要因?yàn)閕nRange生成的掩膜里經(jīng)常會(huì)有零星的小白點(diǎn)噪點(diǎn)它們面積小但會(huì)影響目標(biāo)計(jì)數(shù)。設(shè)定一個(gè)最小面積閾值就能把噪聲擋在外面。項(xiàng)目里我曾用這套方案給某自動(dòng)化分揀系統(tǒng)做過(guò)顏色篩選模塊。當(dāng)時(shí)最大的挑戰(zhàn)不是算法本身而是不同批次物料的表面光澤度不同導(dǎo)致同一顏色在HSV里的S值和V值漂移很大。最終采用的是“動(dòng)態(tài)閾值”方案每隔一段時(shí)間自動(dòng)采集一小塊區(qū)域的顏色分布動(dòng)態(tài)更新HSV范圍把誤檢率從最初的8%降到了0.5%以下。如果你的場(chǎng)景光照在變化這個(gè)思路值得借鑒。3. 案例二形態(tài)學(xué)操作讓二值圖像更干凈3.1 腐蝕、膨脹的直覺(jué)理解二值圖像黑白的mask圖里經(jīng)常有兩個(gè)問(wèn)題該有的區(qū)域有空洞和斷裂不該有的區(qū)域有零散噪點(diǎn)。形態(tài)學(xué)操作就是為治理這兩個(gè)問(wèn)題而生的。用一個(gè)不太精確但很直覺(jué)的類比腐蝕就像“向內(nèi)收縮”把白色區(qū)域邊緣往里剝掉一層膨脹就是“向外擴(kuò)張”把白色區(qū)域邊緣往外擴(kuò)一圈。在numpy數(shù)組上它們分別做的是“取局部最小值”和“取局部最大值”kernel np.ones((5, 5), np.uint8) eroded cv2.erode(mask, kernel, iterations1) dilated cv2.dilate(mask, kernel, iterations1)這里的kernel是結(jié)構(gòu)元素決定每次操作影響的范圍。5x5的方格是最常用的實(shí)際操作中你也可以用橢圓或十字形核對(duì)不同形狀的目標(biāo)做更精準(zhǔn)的處理。3.2 開(kāi)運(yùn)算和閉運(yùn)算噪聲清理與空洞填充在實(shí)際項(xiàng)目里我更常用的其實(shí)是開(kāi)運(yùn)算和閉運(yùn)算它們本質(zhì)上是腐蝕和膨脹的組合。開(kāi)運(yùn)算是先腐蝕后膨脹效果是去掉小的孤立的點(diǎn)。想象一下一群東西里有一粒沙子腐蝕把沙子連根抹掉了膨脹再把周圍完好的部分恢復(fù)原樣。代碼opening cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1)閉運(yùn)算是先膨脹后腐蝕效果是填上小的空洞和裂縫。比如一條車道線可能中間斷了一小截膨脹把它接上了腐蝕再恢復(fù)線條粗細(xì)closing cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations1)在真實(shí)工程里這兩個(gè)操作通常是結(jié)伴出現(xiàn)的先開(kāi)運(yùn)算清掉噪聲再閉運(yùn)算補(bǔ)上目標(biāo)內(nèi)部的空洞。用的時(shí)候要注意kernel的大小。kernel太大會(huì)把該保留的細(xì)節(jié)也腐蝕掉kernel太小又起不到清理作用。我通常從3x3開(kāi)始效果不夠就加到5x5靠實(shí)驗(yàn)調(diào)整而不是一開(kāi)始就貪大。形態(tài)學(xué)還有一種操作叫形態(tài)學(xué)梯度就是膨脹結(jié)果減腐蝕結(jié)果可以用來(lái)提取目標(biāo)的邊緣輪廓gradient cv2.morphologyEx(mask, cv2.MORPH_GRADIENT, kernel)這個(gè)在處理顆粒計(jì)數(shù)、細(xì)胞統(tǒng)計(jì)時(shí)意外地好用比Canny邊緣更干凈因?yàn)樗轻槍?duì)二值圖操作的不會(huì)受灰度梯度影響。3.3 典型實(shí)戰(zhàn)識(shí)別圖中所有瑕疵點(diǎn)并統(tǒng)計(jì)數(shù)量這個(gè)案例可以串起完整的形態(tài)學(xué)預(yù)處理流程。我處理過(guò)的原始圖像是一塊金屬表面的顯微照片腐蝕坑在灰度圖中顯示為暗色小點(diǎn)。當(dāng)時(shí)的流程是灰度化二值化目標(biāo)區(qū)域變白開(kāi)運(yùn)算去掉灰塵等微小亮噪點(diǎn)閉運(yùn)算把同一個(gè)腐蝕坑中的幾處斷裂縫隙連起來(lái)連通域分析統(tǒng)計(jì)瑕疵數(shù)量import cv2 import numpy as np img cv2.imread(defect.jpg, cv2.IMREAD_GRAYSCALE) _, binary cv2.threshold(img, 0, 255, cv2.THRESH_BINARY_INV cv2.THRESH_OTSU) kernel np.ones((3, 3), np.uint8) cleaned cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel, iterations2) filled cv2.morphologyEx(cleaned, cv2.MORPH_CLOSE, kernel, iterations2) num_labels, labels, stats, _ cv2.connectedComponentsWithStats(filled, connectivity8) real_count num_labels - 1 # 0是背景用cv2.connectedComponentsWithStats做連通域統(tǒng)計(jì)比f(wàn)indContours更直接因?yàn)槊總€(gè)連通域的面積、外接矩形、中心坐標(biāo)都在stats數(shù)組里天然適合批量統(tǒng)計(jì)。這里有一個(gè)心得分享給你二值化別用固定閾值。固定閾值在不同光照條件下完全失效我踩過(guò)這個(gè)坑。cv2.threshold配合cv2.THRESH_OTSU會(huì)自動(dòng)計(jì)算當(dāng)前圖像的最佳分割閾值雖然計(jì)算量稍大但對(duì)光照變化的適應(yīng)性好了很多。在實(shí)時(shí)性要求不高的場(chǎng)景里Otsu方案永遠(yuǎn)是首選。4. 案例三Canny邊緣檢測(cè)與人臉檢測(cè)4.1 Canny邊緣檢測(cè)的參數(shù)規(guī)律和完整流程邊緣檢測(cè)在圖像處理里的地位不用多說(shuō)。Canny是其中最經(jīng)典的方法它不是一個(gè)單一的算子而是一套完整流程高斯模糊降噪用Sobel算子計(jì)算圖像的梯度幅值和方向非極大值抑制把梯度方向上的非最大值點(diǎn)置零讓邊緣變細(xì)雙閾值檢測(cè)高閾值確定強(qiáng)邊緣低閾值確定弱邊緣和強(qiáng)邊緣相連的弱邊緣保留輸出最終邊緣圖代碼只有一行edges cv2.Canny(img, threshold1100, threshold2200)但兩個(gè)閾值怎么選這是很多人卡殼的地方。我的經(jīng)驗(yàn)是threshold1和threshold2的比例通常在1:2到1:3之間比較合理。threshold2過(guò)高邊緣會(huì)斷斷續(xù)續(xù)threshold2過(guò)低圖像里的紋理噪聲全被當(dāng)成邊緣。一個(gè)穩(wěn)妥的起點(diǎn)是(50, 150)如果邊緣太碎就兩者一起往上調(diào)如果邊緣太密就兩者一起往下調(diào)比例保持在1:3附近問(wèn)題不大。高斯模糊這一步非常關(guān)鍵。如果你發(fā)現(xiàn)檢測(cè)出來(lái)的邊緣毛刺特別多多半不是threshold的鍋而是沒(méi)有做足夠的降噪?？梢韵扔胏v2.GaussianBlur處理一遍再送Cannyblurred cv2.GaussianBlur(img, (5, 5), 1.5) edges cv2.Canny(blurred, 50, 150)這個(gè)先后順序不能顛倒。先模糊再Canny邊緣質(zhì)量顯著提升毛刺少了一大半。原理也很簡(jiǎn)單Canny里的Sobel算子對(duì)噪聲極其敏感一個(gè)噪聲點(diǎn)就可能在梯度圖上激活一個(gè)邊緣響應(yīng)。模糊是過(guò)濾噪聲前置步驟別省。4.2 用Haar級(jí)聯(lián)做人臉檢測(cè)的核心代碼人臉檢測(cè)最直接的入門方案是OpenCV自帶的Haar級(jí)聯(lián)分類器。它的原理可以理解成把圖像劃分成很多小區(qū)域在每個(gè)區(qū)域里計(jì)算若干特征的值這些特征能反映出眼睛區(qū)域比臉頰區(qū)域暗、鼻梁區(qū)域比兩側(cè)亮等規(guī)律再用訓(xùn)練好的AdaBoost分類器去判斷這個(gè)區(qū)域像不像人臉。代碼用起來(lái)非常簡(jiǎn)單import cv2 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) img cv2.imread(people.jpg) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale( gray, scaleFactor1.1, minNeighbors5, minSize(30, 30) ) for (x, y, w, h) in faces: cv2.rectangle(img, (x, y), (x w, y h), (0, 255, 0), 2)detectMultiScale有四個(gè)關(guān)鍵參數(shù)直接影響檢測(cè)效果scaleFactor每次搜索時(shí)窗口縮放的比例。越小越精細(xì)但越慢1.1是常規(guī)選擇minNeighbors每個(gè)候選矩形需要鄰近多少個(gè)矩形才確認(rèn)是人臉。越大越嚴(yán)格誤檢越少但也可能漏檢minSize目標(biāo)的最小尺寸。設(shè)太小會(huì)增加大量無(wú)效計(jì)算maxSize目標(biāo)的最大尺寸。范圍外的不檢測(cè)配合minSize能大幅提升速度如果你發(fā)現(xiàn)檢測(cè)速度太慢第一個(gè)要調(diào)的參數(shù)是minSize而不是scaleFactor。把最小值調(diào)到60x60甚至80x80計(jì)算量能降好幾個(gè)數(shù)量級(jí)因?yàn)槲覀兺ǔ２恍枰獧z測(cè)特別小的人臉。4.3 人臉檢測(cè)的工程化經(jīng)驗(yàn)多尺度與誤檢過(guò)濾Haar級(jí)聯(lián)檢測(cè)人臉實(shí)際使用中你很快會(huì)發(fā)現(xiàn)兩個(gè)問(wèn)題近距離的人臉容易漏檢背景里的非人臉容易誤檢。第一個(gè)問(wèn)題核心原因是默認(rèn)參數(shù)只覆蓋有限尺度范圍。再加上檢測(cè)窗口是固定尺寸大臉相對(duì)于窗口偏大就檢測(cè)不到。解決辦法是多次調(diào)用檢測(cè)函數(shù)每次用不同尺寸的圖像或者直接用檢測(cè)到的人臉區(qū)域做回歸驗(yàn)證。第二個(gè)問(wèn)題我的做法是做兩層過(guò)濾。第一層基于檢測(cè)結(jié)果的幾何比例。人臉的長(zhǎng)寬比通常在0.7到1.3之間太離譜的候選直接丟掉。第二層是基于多幀確認(rèn)連續(xù)檢測(cè)窗口內(nèi)兩次出現(xiàn)才算有效。在視頻流場(chǎng)景里這個(gè)方法可以把誤檢率壓得非常低。valid [] for (x, y, w, h) in faces: ratio w / h if 0.7 ratio 1.3: valid.append((x, y, w, h))這個(gè)案例最值得注意的一點(diǎn)是人臉檢測(cè)看起來(lái)是“AI”但Haar級(jí)聯(lián)本質(zhì)上是手工特征加傳統(tǒng)機(jī)器學(xué)習(xí)它的泛化能力和深度學(xué)習(xí)模型完全不在一個(gè)量級(jí)。如果你處理的是側(cè)面、戴帽子、暗光下的人臉不要指望Haar級(jí)聯(lián)表現(xiàn)很好這種情況上深度學(xué)習(xí)檢測(cè)模型后面案例五會(huì)做一個(gè)代表性示范。Haar級(jí)聯(lián)的定位是快速、輕量、CPU友好在設(shè)備端做簡(jiǎn)單人臉檢測(cè)夠用。5. 案例四SIFT特征匹配實(shí)現(xiàn)全景圖拼接5.1 為什么SIFT比ORB更適合拼接場(chǎng)景到了這個(gè)案例我們開(kāi)始接觸圖像特征。特征就是圖像里那些“獨(dú)特”的局部區(qū)域比如墻角、紋理交叉點(diǎn)、斑點(diǎn)。不同算法找特征的能力和特性完全不同。ORB是二值化特征速度快適合實(shí)時(shí)場(chǎng)景但對(duì)尺度變化和視角變化的魯棒性差。簡(jiǎn)單說(shuō)就是圖一里一個(gè)小角點(diǎn)圖二里放大了兩倍ORB可能就匹配不上了。SIFT尺度不變特征變換不一樣。它通過(guò)對(duì)圖像構(gòu)建高斯金字塔在不同尺度空間里檢測(cè)極值點(diǎn)所以對(duì)圖像縮放、旋轉(zhuǎn)、甚至一定程度的視角變化都有很強(qiáng)的魯棒性。這意味著兩張圖里同一塊區(qū)域一張是完整的大圖一張是從遠(yuǎn)景拍的小圖SIFT依然能找到對(duì)應(yīng)關(guān)系這是拼接場(chǎng)景里的核心需求。代價(jià)是SIFT的計(jì)算量大很多而且在某些地區(qū)的機(jī)器視覺(jué)項(xiàng)目里因?yàn)閷＠麊?wèn)題被限制過(guò)。不過(guò)在實(shí)際應(yīng)用上開(kāi)源社區(qū)依然廣泛使用。OpenCV里調(diào)起來(lái)很順手sift cv2.SIFT_create()5.2 關(guān)鍵點(diǎn)和描述子的概念這里需要把“關(guān)鍵點(diǎn)”和“描述子”兩個(gè)概念分清楚。關(guān)鍵點(diǎn)是特征在圖像中的位置坐標(biāo)包含x、y、尺度、方向等信息。描述子是一個(gè)128維的向量描述這個(gè)關(guān)鍵點(diǎn)周圍的局部梯度分布相當(dāng)于這個(gè)點(diǎn)的“指紋”。匹配兩張圖時(shí)我們不直接比關(guān)鍵點(diǎn)坐標(biāo)而是比描述子向量的距離。比如在拼接場(chǎng)景中左圖的某個(gè)關(guān)鍵點(diǎn)可能是“左上角墻皮上的裂縫”右圖中相同位置的裂縫關(guān)鍵點(diǎn)它們的描述子會(huì)非常接近距離很小。kp1, des1 sift.detectAndCompute(img1, None) kp2, des2 sift.detectAndCompute(img2, None)detectAndCompute一次搞定檢測(cè)加描述子計(jì)算效率比分別調(diào)用detect和compute高。5.3 比率測(cè)試與匹配過(guò)濾匹配特征點(diǎn)用的是cv2.BFMatcher暴力匹配器。它會(huì)把左圖的每個(gè)描述子遍歷右圖所有描述子找出最近的兩個(gè)鄰居然后看最近距離和次近距離的比值。這個(gè)比值越小說(shuō)明最近鄰居越“獨(dú)一無(wú)二”匹配越可靠。bf cv2.BFMatcher() matches bf.knnMatch(des1, des2, k2) good [] for pair in matches: if len(pair) ! 2: continue m, n pair if m.distance 0.75 * n.distance: good.append(m)這個(gè)0.75就是經(jīng)驗(yàn)值。實(shí)測(cè)中越小匹配越嚴(yán)格誤匹配越少但好匹配也會(huì)被過(guò)濾掉0.8略寬松0.7更嚴(yán)格。我通常在拼接場(chǎng)景用0.75在物體識(shí)別場(chǎng)景用0.7這個(gè)取舍看你的應(yīng)用容錯(cuò)率。5.4 單應(yīng)矩陣與圖像變形拼接有了可靠匹配點(diǎn)就可以求單應(yīng)矩陣。單應(yīng)矩陣描述了兩幅圖像在同一平面上的投影變換關(guān)系是3x3的矩陣。用RANSAC算法可以從匹配點(diǎn)里估計(jì)出這個(gè)矩陣同時(shí)把外點(diǎn)錯(cuò)誤匹配剔除if len(good) 4: src_pts np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2) dst_pts np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2) H, status cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)然后對(duì)右圖應(yīng)用透視變換到左圖坐標(biāo)系再疊加拼合height, width img1.shape[:2] warped cv2.warpPerspective(img2, H, (width img2.shape[1], height)) warped[0:height, 0:width] img1這里直接賦值會(huì)有一個(gè)問(wèn)題拼接縫很明顯因?yàn)閮蓮垐D的曝光差異在拼接處形成了階躍。一個(gè)改善方法是用cv2.seamlessClone做泊松融合mask np.zeros(warped.shape[:2], dtypenp.uint8) mask[0:height, 0:width] 255 center (width // 2, height // 2) warped cv2.seamlessClone(img1, warped, mask, center, cv2.NORMAL_CLONE)從純OpenCV角度做到這一步已經(jīng)能拼出看起來(lái)不錯(cuò)的全景圖了。更商業(yè)化的全景拼接還需要做光照一致性校準(zhǔn)和曝光補(bǔ)償?shù)鞘橇硪粋€(gè)大工程。用這套基礎(chǔ)方案我?guī)湍彻镜难矙z機(jī)器人做過(guò)簡(jiǎn)單拼接模塊能把設(shè)備正前方的左右攝像頭畫面拼成一張完整畫面。5.5 拼接實(shí)戰(zhàn)中的一個(gè)核心參數(shù)尺度問(wèn)題做拼接最容易出的問(wèn)題是匹配數(shù)量足夠但拼接結(jié)果扭曲。原因往往是兩張圖的拍攝距離差異太大SIFT雖然尺度不變但極端的尺度差異會(huì)導(dǎo)致單應(yīng)矩陣的病態(tài)。實(shí)操經(jīng)驗(yàn)是拼接前先cv2.resize把兩張圖調(diào)整到接近的分辨率拼接后看效果再縮放回去。這個(gè)預(yù)處理步驟比任何高級(jí)融合算法都更能保證結(jié)果穩(wěn)定。6. 案例五圖像去霧與AI超分辨率增強(qiáng)6.1 暗通道先驗(yàn)去霧的核心邏輯霧天拍的圖像對(duì)比度低、發(fā)灰本質(zhì)是大氣散射導(dǎo)致景物光路上混入了大氣光。暗通道先驗(yàn)去霧算法建立的觀察是這樣的在大多數(shù)無(wú)霧圖像中每個(gè)局部區(qū)域里至少有一個(gè)顏色通道的像素值非常低接近于零。霧的存在會(huì)讓這個(gè)最小值升高使得畫面整體發(fā)白。通過(guò)估算每個(gè)像素處的大氣光值和透射率可以反推出原始景物顏色。核心公式是大氣散射模型I(x) J(x)t(x) A(1-t(x))其中I是觀測(cè)到的有霧圖J是要恢復(fù)的無(wú)霧圖t是透射率A是全局大氣光。公式看著抽象但代碼邏輯卻不算復(fù)雜import cv2 import numpy as np def dark_channel(img, size15): r, g, b cv2.split(img) min_channel cv2.min(cv2.min(r, g), b) kernel cv2.getStructuringElement(cv2.MORPH_RECT, (size, size)) dark cv2.erode(min_channel, kernel) return dark def estimate_atmospheric_light(img, dark): h, w img.shape[:2] pixels h * w num_bright int(max(pixels // 1000, 1)) flat_dark dark.ravel() indices np.argsort(flat_dark)[-num_bright:] img_flat img.reshape(-1, 3) atmospheric np.max(img_flat[indices], axis0) return atmospheric這一段的原理是取暗通道里最亮的前0.1%的像素在原始圖像中找到對(duì)應(yīng)位置取這些位置的RGB最大值作為大氣光估計(jì)。透射率則用暗通道圖和一個(gè)縮小系數(shù)算出。最終得到的去霧圖像對(duì)比度會(huì)顯著提升。實(shí)際工程里我寧愿用簡(jiǎn)化版直方圖均衡化先頂上因?yàn)橥暾陌低ǖ廊レF算法在有大片白色區(qū)域比如天空、白墻的時(shí)候會(huì)失效畫面會(huì)嚴(yán)重偏色。暗通道先驗(yàn)的假設(shè)就是“無(wú)霧圖的局部有暗區(qū)域”天空破壞了這一假設(shè)處理結(jié)果容易翻車。所以這個(gè)算法更適合地面景物、建筑、街景不適合天空占比大的風(fēng)景照。6.2 CLAHE性價(jià)比最高的畫質(zhì)增強(qiáng)方案如果你覺(jué)得去霧算法有點(diǎn)重課堂上最實(shí)用的是CLAHE對(duì)比度受限的自適應(yīng)直方圖均衡化。它把圖像分成小塊每個(gè)小塊單獨(dú)做直方圖均衡化并且限制對(duì)比度放大的幅度避免噪聲被過(guò)度放大。代碼三行clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) enhanced clahe.apply(cv2.cvtColor(img, cv2.COLOR_BGR2LAB)[:, :, 0]) enhanced_color cv2.cvtColor(cv2.merge([enhanced, cv2.cvtColor(img, cv2.COLOR_BGR2LAB)[:, :, 1], cv2.cvtColor(img, cv2.COLOR_BGR2LAB)[:, :, 2]]), cv2.COLOR_LAB2BGR)這里把圖像從BGR轉(zhuǎn)到LAB顏色空間只對(duì)L亮度通道做CLAHE保留A和B通道的顏色信息再轉(zhuǎn)回BGR。這個(gè)做法的好處是不會(huì)像全局直方圖均衡化那樣把顏色搞失真。我實(shí)際測(cè)過(guò)一批監(jiān)控視頻截圖這種處理方法在低對(duì)比度、逆光場(chǎng)景下的改善肉眼可見(jiàn)而且計(jì)算量極小適合做視頻流的實(shí)時(shí)預(yù)處理環(huán)節(jié)。雖然它不如深度學(xué)習(xí)方案那樣“智能”但它不會(huì)引入偽影穩(wěn)得很。6.3 用Real-ESRGAN做一個(gè)四倍超分辨率修復(fù)傳統(tǒng)圖像插值算法放大圖片比如cv2.resize配合INTER_CUBIC放大后邊緣是糊的。因?yàn)椴逯当举|(zhì)上是猜新像素的值而猜想依據(jù)的是鄰近像素的顏色細(xì)節(jié)無(wú)從恢復(fù)。Real-ESRGAN是真正用深度生成網(wǎng)絡(luò)做的超分辨率模型能重建出紋理和邊緣細(xì)節(jié)特別適合老照片修復(fù)。它之所以叫“Real”是因?yàn)橛?xùn)練數(shù)據(jù)里加入了真實(shí)的降質(zhì)過(guò)程模糊、噪聲、壓縮偽影所以對(duì)真實(shí)拍攝的老照片效果比純合成數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)好很多。在CPU上跑起來(lái)也不慢而且模型已經(jīng)編譯成Python包可以直接調(diào)pip install realesrganfrom realesrgan import RealESRGANer from basicsr.archs.rrdbnet_arch import RRDBNet model RRDBNet(num_in_ch3, num_out_ch3, num_feat64, num_block23, num_grow_ch32, scale4) upsampler RealESRGANer(scale4, model_pathRealESRGAN_x4plus.pth, modelmodel, tile0, pre_pad0, halfFalse) output, _ upsampler.enhance(img, outscale4)這里scale4是放大四倍tile0表示不切片如果圖片太大顯存不夠可以把tile設(shè)置成256或512讓模型按塊推理。CPU推理一張1920x1080的圖大約需要幾十秒GPU環(huán)境幾秒搞定。如果你用的是Apple Silicon也可以走M(jìn)etal加速但halfFalse這個(gè)參數(shù)要留著Apple環(huán)境下半精度反而慢。老照片修復(fù)時(shí)我建議先做一步簡(jiǎn)單的顏色校正或白平衡再進(jìn)Real-ESRGAN。因?yàn)槟Ｐ蛯?duì)輸入數(shù)據(jù)的分布有偏向顏色偏得太離譜的輸出也會(huì)帶偏色。7. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄7.1 高頻問(wèn)題速查表我把這幾年在OpenCV開(kāi)發(fā)中遇到的問(wèn)題整理成了一份速查表基本覆蓋了新手上路的絕大多數(shù)場(chǎng)景?，F(xiàn)象可能原因解決方法圖片顯示出來(lái)的顏色偏藍(lán)偏綠OpenCV以BGR順序讀取而顯示組件期望RGB用cv2.cvtColor(img, cv2.COLOR_BGR2RGB)轉(zhuǎn)換顏色識(shí)別范圍調(diào)了很久還是不準(zhǔn)沒(méi)有用HSV空間直接用BGR做范圍判斷轉(zhuǎn)到HSV空間用調(diào)試窗口調(diào)參攝像頭畫面卡頓嚴(yán)重每幀都做了太多高耗時(shí)操作把幀率統(tǒng)計(jì)加上如果判斷每幀需要120ms以上考慮縮小處理分辨率人臉檢測(cè)漏檢嚴(yán)重minSize設(shè)置太大或scaleFactor太大調(diào)小minSize到32或40scaleFactor調(diào)到1.05SIFT匹配結(jié)果全錯(cuò)輸入圖像本身沒(méi)有紋理特征如純色墻面換用ORB或者提高匹配過(guò)濾閾值到0.8檢測(cè)到的輪廓數(shù)量忽多忽少二值化的固定閾值在不同光照下失效改用Otsu自適應(yīng)閾值或結(jié)合形態(tài)學(xué)預(yù)處理中文路徑讀不到圖片OpenCV的imread底層用C對(duì)中文路徑支持不完善先用cv2.imdecode(np.fromfile(path, dtypenp.uint8), cv2.IMREAD_COLOR)讀入顯示窗口一按空格就跳過(guò)但代碼不退出等待按鍵的返回值未檢查把cv2.waitKey(0)返回值賦給變量并判斷是否等于27Esc這些坑每一個(gè)我都踩過(guò)。尤其是中文路徑問(wèn)題很多人在自己的電腦上運(yùn)行好好的一到生產(chǎn)環(huán)境就報(bào)“圖像讀取失敗”查半天代碼沒(méi)發(fā)現(xiàn)問(wèn)題最后發(fā)現(xiàn)是路徑里有中文。用imdecode全套繞過(guò)去別跟它硬剛。7.2 無(wú)人會(huì)告訴你的三個(gè)調(diào)試習(xí)慣第一個(gè)習(xí)慣分階段保存中間結(jié)果。每做完一步處理就把當(dāng)前圖片保存成文件比如1_original.jpg、2_hsv.jpg、3_mask.jpg。當(dāng)結(jié)果不符合預(yù)期時(shí)只看最后一張圖很難定位問(wèn)題但逐張回看就能快速判斷是哪一步出了問(wèn)題。不要嫌麻煩這個(gè)習(xí)慣能省下大量排查時(shí)間。第二個(gè)習(xí)慣寫一個(gè)小工具函數(shù)來(lái)疊加顯示多張圖。OpenCV的cv2.imshow一次只能顯示一張圖調(diào)試時(shí)來(lái)回切換窗口很煩。我會(huì)把多張圖橫向拼接顯示def show_multiple(images, titles, size(400, 400)): resized [cv2.resize(img, size) for img in images] combined np.hstack(resized) cv2.imshow(debug, combined) cv2.waitKey(1)第三個(gè)習(xí)慣把圖像尺寸打印出來(lái)。核的大小、坐標(biāo)的索引、縮放的比例很多bug都是因?yàn)槌叽绮黄ヅ洹Ｃ總€(gè)圖像處理步驟之后先驗(yàn)證數(shù)組形狀比最后出圖時(shí)再找問(wèn)題輕松得多。7.3 性能優(yōu)化的三條實(shí)用經(jīng)驗(yàn)如果你最終要把算法部署到實(shí)時(shí)視頻流或者嵌入式設(shè)備上性能就是硬指標(biāo)。首要原則縮小圖像尺寸永遠(yuǎn)是性價(jià)比最高的優(yōu)化。把720p圖像縮到360p處理時(shí)間至少減半很多情況下精度損失微乎其微。尤其對(duì)于檢測(cè)任務(wù)模型只在一定的尺度范圍內(nèi)有效縮小圖像對(duì)量大管飽的檢測(cè)場(chǎng)景幾乎無(wú)損。第二個(gè)原則避免大kernel的GaussianBlur和腐蝕操作。7x7以上在視頻流里扛不住。能用cv2.boxFilter或者降采樣湊合就用它們。第三個(gè)原則別在循環(huán)里創(chuàng)建新的numpy數(shù)組。OpenCV的大部分函數(shù)都會(huì)返回新數(shù)組反復(fù)創(chuàng)建會(huì)觸發(fā)大量?jī)?nèi)存分配。預(yù)先聲明好輸出數(shù)組用dst參數(shù)傳入可以復(fù)用內(nèi)存cv2.GaussianBlur(src, (5, 5), 1.5, dstblurred)當(dāng)然這個(gè)優(yōu)化在Python層意義有限但對(duì)于要求苛刻的場(chǎng)景每一個(gè)細(xì)節(jié)都不能放過(guò)。寫在最后一點(diǎn)個(gè)人體會(huì)把這5個(gè)案例完整跑一遍你對(duì)OpenCV的認(rèn)識(shí)會(huì)從“一個(gè)能調(diào)用的圖像庫(kù)”變成“一套完整的圖像處理工具箱”。這是實(shí)打?qū)嵉哪芰S遷。往后遇到任何圖像問(wèn)題你不會(huì)第一反應(yīng)是找現(xiàn)成的API而是先拆解問(wèn)題的本質(zhì)——是在像素層面做操作還是在特征層面做匹配或者需要更高級(jí)的AI模型。我個(gè)人在工作中最大的體會(huì)是OpenCV的難點(diǎn)從來(lái)不在API調(diào)用而在思維方式的轉(zhuǎn)變。你必須學(xué)會(huì)把圖像當(dāng)成數(shù)據(jù)把操作當(dāng)成數(shù)學(xué)運(yùn)算把一個(gè)視覺(jué)效果分解成處理流程。在這條路上沒(méi)有誰(shuí)能一步登天但每一個(gè)小案例的積累最后都會(huì)變成你自己的直覺(jué)。最后再分享一個(gè)極其實(shí)用的小技巧。光說(shuō)不練假把式把案例一和案例三組合起來(lái)做一個(gè)“在彩色圖像中找出紅色區(qū)域邊緣”的即時(shí)效果驗(yàn)證先用顏色分割得到紅色區(qū)域的mask再用形態(tài)學(xué)清理出完整的輪廓圖最后用Canny檢測(cè)邊緣。這個(gè)簡(jiǎn)單的組合會(huì)讓你直觀理解PositionsExperience里各階段的銜接是什么感覺(jué)。先跑起來(lái)再不斷改進(jìn)。