1. 圖像旋轉(zhuǎn)為什么你該自己寫一遍而不是只調(diào)函數(shù)不管是做圖像處理入門還是在實(shí)際項(xiàng)目里遇到文檔掃描、衛(wèi)星影像校正、游戲素材生成圖像旋轉(zhuǎn)都是繞不開的基礎(chǔ)操作。很多人提起旋轉(zhuǎn)第一反應(yīng)就是cv2.getRotationMatrix2D加cv2.warpAffine兩行代碼搞定真到面試被問一句“旋轉(zhuǎn)矩陣?yán)锬莻€(gè) sin 為什么帶負(fù)號(hào)”或者產(chǎn)品提了需求“我要讓圖像旋轉(zhuǎn)后不被裁剪還得知道旋轉(zhuǎn)后角點(diǎn)的精確坐標(biāo)”手就停了。這篇內(nèi)容圍繞“圖像旋轉(zhuǎn)——常規(guī)旋轉(zhuǎn)”這個(gè)主題把二維平面內(nèi)圖像旋轉(zhuǎn)的數(shù)學(xué)原理、代碼實(shí)現(xiàn)、邊界處理策略以及實(shí)踐中的典型坑一次講透。文章不涉及 3D 旋轉(zhuǎn)、透視變換或極坐標(biāo)下的旋轉(zhuǎn)聚焦在最常用、也最容易被輕視的一個(gè)基礎(chǔ)操作上。適合剛接觸 OpenCV 的學(xué)生、做工業(yè)視覺的工程師、以及想補(bǔ)一遍底層原理的開發(fā)者閱讀。先說一個(gè)我自己的經(jīng)驗(yàn)圖像旋轉(zhuǎn)看著簡(jiǎn)單但它的核心難點(diǎn)從來不是“轉(zhuǎn)一下”而是“繞哪個(gè)點(diǎn)轉(zhuǎn)”“轉(zhuǎn)完畫布多大”“空白區(qū)域填什么”“旋轉(zhuǎn)后坐標(biāo)怎么對(duì)應(yīng)回去”。這四個(gè)問題搞定了旋轉(zhuǎn)這個(gè)專題你就真正拿下了后面再看仿射變換、透視變換都會(huì)輕松很多。這篇文章就按這個(gè)思路往下走。2. 旋轉(zhuǎn)的數(shù)學(xué)基礎(chǔ)從二維平面坐標(biāo)變換說起2.1 二維平面繞原點(diǎn)旋轉(zhuǎn)的坐標(biāo)變換二維平面里一個(gè)點(diǎn)繞原點(diǎn)旋轉(zhuǎn)一個(gè)角度 θ變換公式是x x * cosθ - y * sinθ y x * sinθ y * cosθ這個(gè)公式是圖像旋轉(zhuǎn)的地基。我先說說它是怎么推出來的因?yàn)槔斫饬送茖?dǎo)過程你就不會(huì)記混符號(hào)。假設(shè)有一點(diǎn) P(x, y)在極坐標(biāo)下可以寫作x r * cosα y r * sinα其中 r 是點(diǎn)到原點(diǎn)的距離α 是該點(diǎn)與 x 軸正方向的夾角。現(xiàn)在把這個(gè)點(diǎn)繞原點(diǎn)逆時(shí)針旋轉(zhuǎn) θ新的角度變成 α θ于是旋轉(zhuǎn)后的坐標(biāo)是x r * cos(α θ) r * (cosα * cosθ - sinα * sinθ) x * cosθ - y * sinθ y r * sin(α θ) r * (sinα * cosθ cosα * sinθ) x * sinθ y * cosθ這樣推導(dǎo)下來符號(hào)就不會(huì)記反。注意這個(gè)公式默認(rèn)的是逆時(shí)針旋轉(zhuǎn)而且旋轉(zhuǎn)中心是坐標(biāo)系原點(diǎn) (0, 0)。圖像處理里這兩個(gè)前提常常被打破后面會(huì)專門講。把上面的公式寫成矩陣形式就是|x| | cosθ -sinθ | |x| |y| | sinθ cosθ | |y|這個(gè) 2×2 矩陣就是二維旋轉(zhuǎn)矩陣 R。到這里你可能覺得簡(jiǎn)單但千萬別小看這個(gè)矩陣很多人寫代碼時(shí)出錯(cuò)就是因?yàn)樽鴺?biāo)系方向和旋轉(zhuǎn)方向的定義沒統(tǒng)一。2.2 先說結(jié)論OpenCV 的旋轉(zhuǎn)方向定義OpenCV 的坐標(biāo)系統(tǒng)和數(shù)學(xué)課本里的笛卡爾坐標(biāo)系有一個(gè)關(guān)鍵區(qū)別在 OpenCV 圖像坐標(biāo)系中x 軸向右y 軸向下。這就導(dǎo)致同一個(gè)“正角度”在數(shù)學(xué)里是逆時(shí)針在 OpenCV 里看起來是順時(shí)針。坐標(biāo)系x 軸方向y 軸方向正角度旋轉(zhuǎn)方向數(shù)學(xué)坐標(biāo)系右上逆時(shí)針圖像坐標(biāo)系(OpenCV)右下順時(shí)針視覺上但 OpenCV 的轉(zhuǎn)置矩陣公式本身仍然沿用數(shù)學(xué)公式的形式即x x * cosθ - y * sinθ y x * sinθ y * cosθ所以當(dāng)你調(diào)用cv2.getRotationMatrix2D(center, angle, scale)時(shí)傳入正角度圖像會(huì)繞 center 逆時(shí)針旋轉(zhuǎn)從圖像內(nèi)容上看圖像內(nèi)容逆時(shí)針轉(zhuǎn)。這個(gè)細(xì)節(jié)在實(shí)際編碼中極其容易踩坑后面我會(huì)通過實(shí)驗(yàn)驗(yàn)證。3. 繞原點(diǎn)旋轉(zhuǎn)的代碼實(shí)現(xiàn)與缺陷分析3.1 最直接的實(shí)現(xiàn)遍歷像素點(diǎn)做坐標(biāo)映射剛理解公式時(shí)最容易想到的實(shí)現(xiàn)方式就是遍歷原圖像的每個(gè)像素點(diǎn) (x, y)計(jì)算旋轉(zhuǎn)后的新坐標(biāo)然后把像素值賦過去。寫成代碼如下import numpy as np import cv2 def rotate_around_origin(img, angle_deg): h, w img.shape[:2] theta np.deg2rad(angle_deg) # 旋轉(zhuǎn)矩陣數(shù)學(xué)形式 cos_a np.cos(theta) sin_a np.sin(theta) # 目標(biāo)圖像畫布需要擴(kuò)大先估算新尺寸 new_w int(abs(w * cos_a) abs(h * sin_a)) 1 new_h int(abs(w * sin_a) abs(h * cos_a)) 1 dst np.zeros((new_h, new_w, 3), dtypeimg.dtype) for y in range(h): for x in range(w): # 繞 (0,0) 旋轉(zhuǎn) new_x int(x * cos_a - y * sin_a) new_y int(x * sin_a y * cos_a) # 檢查是否在目標(biāo)畫布范圍內(nèi) if 0 new_x new_w and 0 new_y new_h: dst[new_y, new_x] img[y, x] return dst這段代碼跑起來能轉(zhuǎn)但問題一眼就能看出來。第一個(gè)問題是目標(biāo)圖像上會(huì)出現(xiàn)大量空洞。因?yàn)樵瓐D的整數(shù)像素點(diǎn)經(jīng)過旋轉(zhuǎn)后映射到目標(biāo)畫布上也是整數(shù)坐標(biāo)但旋轉(zhuǎn)后的坐標(biāo)分布不是均勻的有些目標(biāo)位置可能沒有任何源像素對(duì)應(yīng)結(jié)果就是結(jié)果圖上有黑色的斑點(diǎn)和條紋視覺效果很差。第二個(gè)問題是邊界切邊。繞原點(diǎn)旋轉(zhuǎn)時(shí)圖像左上角那個(gè)點(diǎn) (0, 0) 永遠(yuǎn)留在原點(diǎn)不動(dòng)但圖像的其它角點(diǎn)會(huì)轉(zhuǎn)出原畫布范圍導(dǎo)致輸出圖像內(nèi)容嚴(yán)重丟失。3.2 反向映射才是正經(jīng)做法正向映射從源圖找目標(biāo)會(huì)產(chǎn)生空洞那反過來呢從目標(biāo)圖像的每個(gè)像素出發(fā)計(jì)算它在源圖像中的對(duì)應(yīng)位置再去源圖采樣就不會(huì)有空洞了。這就是反向映射inverse mapping也叫反向坐標(biāo)變換。反向旋轉(zhuǎn)的本質(zhì)是求旋轉(zhuǎn)矩陣的逆。由于旋轉(zhuǎn)矩陣是正交矩陣它的逆就是它的轉(zhuǎn)置R^(-1) R^T于是反向映射公式為x_src x_dst * cosθ y_dst * sinθ y_src -x_dst * sinθ y_dst * cosθ代碼同樣簡(jiǎn)單def rotate_around_origin_inverse(img, angle_deg): h, w img.shape[:2] theta np.deg2rad(angle_deg) cos_a np.cos(theta) sin_a np.sin(theta) new_w int(abs(w * cos_a) abs(h * sin_a)) 1 new_h int(abs(w * sin_a) abs(h * cos_a)) 1 dst np.zeros((new_h, new_w, 3), dtypeimg.dtype) for y_dst in range(new_h): for x_dst in range(new_w): # 反向映射到源圖像坐標(biāo) x_src x_dst * cos_a y_dst * sin_a y_src -x_dst * sin_a y_dst * cos_a # 最近鄰采樣 x_src_int int(round(x_src)) y_src_int int(round(y_src)) if 0 x_src_int w and 0 y_src_int h: dst[y_dst, x_dst] img[y_src_int, x_src_int] return dst這個(gè)版本的效果比正向映射好得多但依然存在一個(gè)致命問題繞原點(diǎn)旋轉(zhuǎn)時(shí)圖像內(nèi)容會(huì)大量移出畫布結(jié)果圖雖然變大了但有效內(nèi)容殘缺。3.3 一個(gè)可視化實(shí)驗(yàn)看看繞原點(diǎn)旋轉(zhuǎn)到底丟了什么我拿一張 200×150 的測(cè)試圖上面畫了一個(gè)矩形、一個(gè)圓形和一個(gè)三角形標(biāo)志物分別做 45 度旋轉(zhuǎn)輸出了正向映射和反向映射兩張結(jié)果。正向映射的結(jié)果圖里矩形區(qū)域出現(xiàn)大量黑色空洞邊緣呈鋸齒狀原因是多個(gè)源像素競(jìng)爭(zhēng)同一個(gè)目標(biāo)位置或完全無像素落位。反向映射的結(jié)果圖沒有空洞但四個(gè)角的內(nèi)容全部丟失圖像主體嚴(yán)重偏移因?yàn)樾D(zhuǎn)中心是左上角頂點(diǎn) (0, 0)圖像中所有像素都圍繞這個(gè)頂點(diǎn)轉(zhuǎn)動(dòng)視覺上就是整張圖被“甩”到了右下方。這個(gè)實(shí)驗(yàn)的價(jià)值在于它直觀告訴你繞原點(diǎn)旋轉(zhuǎn)在圖像處理中幾乎沒有實(shí)用價(jià)值。圖像處理的習(xí)慣是繞圖像中心旋轉(zhuǎn)視覺上才符合“這張圖在原位置轉(zhuǎn)了個(gè)角度”的直覺。4. 繞圖像中心旋轉(zhuǎn)從公式到代碼的完整推導(dǎo)4.1 三步走平移→旋轉(zhuǎn)→平移繞圖像中心旋轉(zhuǎn)本質(zhì)上是把坐標(biāo)系原點(diǎn)從圖像左上角移動(dòng)到圖像中心然后在新的坐標(biāo)系下做旋轉(zhuǎn)最后再把結(jié)果平移回以左上角為原點(diǎn)的畫布坐標(biāo)系。這三步可以合成為一個(gè)復(fù)合變換矩陣是圖像旋轉(zhuǎn)最核心的套路。假設(shè)圖像寬 w高 h中心點(diǎn)坐標(biāo)為cx (w - 1) / 2 cy (h - 1) / 2繞中心旋轉(zhuǎn)角度 θ 的完整變換分三步將圖像中心平移到原點(diǎn)即所有坐標(biāo)減去中心坐標(biāo)|x1| |1 0 -cx| |x| |y1| |0 1 -cy| |y| |1 | |0 0 1 | |1|繞原點(diǎn)旋轉(zhuǎn) θ|x2| | cosθ -sinθ 0| |x1| |y2| | sinθ cosθ 0| |y1| |1 | |0 0 1| |1 |將中心平移到圖像中心相當(dāng)于把整個(gè)坐標(biāo)重新拉回原區(qū)域|x| |1 0 cx| |x2| |y| |0 1 cy| |y2| |1 | |0 0 1 | |1 |三步矩陣相乘得到最終的旋轉(zhuǎn)變換矩陣| cosθ -sinθ cx*(1-cosθ) cy*sinθ | | sinθ cosθ cy*(1-cosθ) - cx*sinθ | | 0 0 1 |這里要特別強(qiáng)調(diào)一個(gè)容易犯的錯(cuò)誤很多人直接用旋轉(zhuǎn)矩陣作用在圖像像素坐標(biāo)上忘了圖像像素坐標(biāo)是以左上角為原點(diǎn)的而且圖像坐標(biāo)系的 y 軸是向下的。在這個(gè)前提下公式依然成立因?yàn)樗举|(zhì)上是線性代數(shù)的坐標(biāo)變換與坐標(biāo)系朝向無關(guān)只要矩陣乘法運(yùn)算正確就能得到正確的像素位置。4.2 設(shè)計(jì)一個(gè)可復(fù)現(xiàn)的實(shí)驗(yàn)驗(yàn)證中心旋轉(zhuǎn)理論推導(dǎo)完必須用實(shí)驗(yàn)驗(yàn)證不然心里始終不踏實(shí)。我用一張帶明顯方向感的圖片做測(cè)試一張 400×300 的純藍(lán)色背景上放置一個(gè)紅色矩形和一個(gè)綠色圓形分別在右上角和左下角這樣旋轉(zhuǎn)后是否“繞中心轉(zhuǎn)”一眼就能看出來。驗(yàn)證方法的大體思路讀取原圖計(jì)算中心點(diǎn) cx, cy。取圖像中心附近的一個(gè)小點(diǎn)比如中心點(diǎn)正上方 50 像素的像素 P(200, 100)手動(dòng)計(jì)算它繞中心旋轉(zhuǎn) 90 度后的坐標(biāo)。旋轉(zhuǎn) 90 度時(shí) cos0, sin1代入公式x cx * (1 - 0) cy * 1 - (x - cx) * 0?這里直接代入完整矩陣公式更穩(wěn)妥x cosθ * (x - cx) - sinθ * (y - cy) cx y sinθ * (x - cx) cosθ * (y - cy) cy代入 θ90°cx199.5, cy149.5注意 OpenCV 坐標(biāo)下寬 400 的中心是 199.5 而非 200這一步對(duì)精確計(jì)算非常重要x 0 * (200 - 199.5) - 1 * (100 - 149.5) 199.5 49.5 199.5 249 y 1 * (200 - 199.5) 0 * (100 - 149.5) 149.5 0.5 149.5 150理論上中心正上方偏右的點(diǎn)旋轉(zhuǎn) 90 度后會(huì)落到中心正右方。實(shí)驗(yàn)結(jié)果也印證了這一點(diǎn)圖像中紅色矩形從右上方跑到了右下方綠色圓形從左下方跑到左上方整個(gè)圖像內(nèi)容以圖像中心為圓心轉(zhuǎn)了一圈驗(yàn)證了公式正確。4.3 繞中心旋轉(zhuǎn)的最小可運(yùn)行代碼完整代碼封裝如下這版代碼去掉了循環(huán)利用 OpenCV 的仿射變換函數(shù)直接完成import cv2 import numpy as np def rotate_image_center(img, angle_deg, scale1.0): h, w img.shape[:2] center ((w - 1) / 2.0, (h - 1) / 2.0) # 獲取旋轉(zhuǎn)矩陣 M cv2.getRotationMatrix2D(center, angle_deg, scale) # 計(jì)算旋轉(zhuǎn)后新畫布尺寸 cos_a abs(M[0, 0]) sin_a abs(M[0, 1]) new_w int(h * sin_a w * cos_a) new_h int(h * cos_a w * sin_a) # 調(diào)整矩陣平移分量使圖像在新畫布中居中 M[0, 2] (new_w - w) / 2.0 M[1, 2] (new_h - h) / 2.0 return cv2.warpAffine(img, M, (new_w, new_h))這里有一個(gè)關(guān)鍵點(diǎn)要說明cv2.getRotationMatrix2D返回的矩陣默認(rèn)情況下是保持原圖像尺寸不變也就是說旋轉(zhuǎn)后超出原畫布的部分會(huì)被裁掉。如果我們希望圖像完整地旋轉(zhuǎn)并放到一個(gè)更大的畫布上就必須手動(dòng)調(diào)整矩陣的平移分量。這就是代碼中M[0, 2] (new_w - w) / 2.0這一行的作用。5. 邊界處理旋轉(zhuǎn)后圖像被“切角”的系統(tǒng)解決方案5.1 三個(gè)典型場(chǎng)景保持尺寸、擴(kuò)展畫布、收縮畫布在真實(shí)項(xiàng)目里旋轉(zhuǎn)后的邊界處理經(jīng)常決定一個(gè)功能是否可用。不同的需求對(duì)應(yīng)不同的策略場(chǎng)景需求描述畫布尺寸策略典型應(yīng)用場(chǎng)景一旋轉(zhuǎn)后不改變圖像尺寸保持原圖寬高手機(jī)相冊(cè)預(yù)覽、實(shí)時(shí)視頻流處理場(chǎng)景二旋轉(zhuǎn)后完整保留全部圖像內(nèi)容根據(jù)角點(diǎn)坐標(biāo)計(jì)算新尺寸文檔掃描件旋轉(zhuǎn)、衛(wèi)星影像處理場(chǎng)景三旋轉(zhuǎn)后自動(dòng)裁剪到最大內(nèi)接矩形縮小畫布到內(nèi)接矩形圖片旋轉(zhuǎn)后想盡量保留主體、避免黑邊先說場(chǎng)景一。直接用cv2.warpAffine(img, M, (w, h))就是在保持原尺寸的前提下旋轉(zhuǎn)。這種情況下旋轉(zhuǎn)中心如果仍設(shè)為圖像中心那么圖像四角一定會(huì)被裁剪出現(xiàn)黑色三角區(qū)域。很多初學(xué)者第一次做旋轉(zhuǎn)就會(huì)遇到這個(gè)問題不知道怎么辦。場(chǎng)景二則需要計(jì)算圖像四個(gè)角點(diǎn)旋轉(zhuǎn)后的坐標(biāo)然后求出新畫布的包圍盒。這一步的數(shù)學(xué)很簡(jiǎn)單只需要對(duì)四個(gè)角點(diǎn)分別應(yīng)用旋轉(zhuǎn)矩陣即可def calculate_rotated_bounding_box(w, h, angle_deg): theta np.deg2rad(angle_deg) cos_a abs(np.cos(theta)) sin_a abs(np.sin(theta)) new_w int(np.ceil(h * sin_a w * cos_a)) new_h int(np.ceil(h * cos_a w * sin_a)) return new_w, new_h注意這里用的是角度的絕對(duì)值的三角值因?yàn)榻屈c(diǎn)旋轉(zhuǎn)后可能分布在四個(gè)象限取絕對(duì)值保證積分包圍盒覆蓋全部旋轉(zhuǎn)后內(nèi)容。5.2 角點(diǎn)坐標(biāo)精確推導(dǎo)與驗(yàn)證如果你需要在旋轉(zhuǎn)后精確知道某個(gè)點(diǎn)的新坐標(biāo)比如旋轉(zhuǎn)后矩形框的位置用于目標(biāo)檢測(cè)那就不能只計(jì)算畫布尺寸還要每個(gè)角點(diǎn)單獨(dú)算。仍以 400×300 圖像旋轉(zhuǎn) 30 度為例四個(gè)角點(diǎn)為(0, 0), (399, 0), (0, 299), (399, 299)繞中心旋轉(zhuǎn) 30 度后左上角 (0, 0) 的新坐標(biāo)為x cos30° * (0 - 199.5) - sin30° * (0 - 149.5) 199.5 0.866 * (-199.5) - 0.5 * (-149.5) 199.5 -172.77 74.75 199.5 101.48 y sin30° * (0 - 199.5) cos30° * (0 - 149.5) 149.5 0.5 * (-199.5) 0.866 * (-149.5) 149.5 -99.75 - 129.46 149.5 -79.71這個(gè)坐標(biāo)是負(fù)的說明左上角點(diǎn)旋轉(zhuǎn)后跑到了原畫布左上角之外。畫布尺寸計(jì)算得到的new_w和new_h就是為了把這些負(fù)坐標(biāo)包含進(jìn)來。最終在新畫布中這個(gè)角點(diǎn)的位置需要加上平移量 (new_w - w)/2 和 (new_h - h)/2 才是它在輸出圖像中的真實(shí)位置。這一步的實(shí)操經(jīng)驗(yàn)是做目標(biāo)檢測(cè)框或標(biāo)注點(diǎn)旋轉(zhuǎn)時(shí)要格外小心坐標(biāo)系基準(zhǔn)。很多人把原圖中的檢測(cè)框坐標(biāo)直接乘旋轉(zhuǎn)矩陣就以為完事了結(jié)果框完全錯(cuò)位。正確做法是把坐標(biāo)先減去中心點(diǎn)、旋轉(zhuǎn)、再加上中心點(diǎn)最后再加上畫布的平移補(bǔ)償。5.3 實(shí)現(xiàn)中的黑邊填充選擇無論哪種邊界策略旋轉(zhuǎn)后的圖像不可避免會(huì)出現(xiàn)無像素對(duì)應(yīng)的區(qū)域填充策略決定了最終的視覺效果。填充方式OpenCV 參數(shù)適用場(chǎng)景黑色填充(默認(rèn))cv2.BORDER_CONSTANT, value(0,0,0)技術(shù)驗(yàn)證、后續(xù)算法處理白色填充cv2.BORDER_CONSTANT, value(255,255,255)文檔圖像旋轉(zhuǎn)、生成預(yù)覽圖邊緣復(fù)制cv2.BORDER_REPLICATE圖像拼接前處理避免黑邊干擾反射填充cv2.BORDER_REFLECT紋理處理、數(shù)據(jù)增強(qiáng)中減少邊界偽影透明填充轉(zhuǎn) RGBA 后填充 alpha0貼圖素材、游戲資源、前景合成實(shí)際做圖像旋轉(zhuǎn)時(shí)我常用的做法是如果后續(xù)還要做邊緣檢測(cè)或特征提取千萬別用黑色填充因?yàn)楹谏吙驎?huì)產(chǎn)生虛假的邊緣響應(yīng)如果只是給人看的預(yù)覽圖白色或灰色更自然。6. 插值算法對(duì)旋轉(zhuǎn)質(zhì)量的影響為什么雙線性是默認(rèn)選擇6.1 插值是怎么來的反向映射得到的源坐標(biāo) (x_src, y_src) 往往不是整數(shù)比如 (100.3, 200.6)這時(shí)候就必須通過周圍像素的某種加權(quán)組合來估算該位置的像素值。這就是插值。三種最常用的插值算法對(duì)比插值方法原理計(jì)算量圖像質(zhì)量適用場(chǎng)景最近鄰取最近的整數(shù)坐標(biāo)像素最小粗糙鋸齒明顯快速預(yù)覽、像素風(fēng)格保持雙線性周圍 2×2 像素線性加權(quán)中等較好邊緣輕微模糊通用場(chǎng)景OpenCV 默認(rèn)雙三次周圍 4×4 像素三次加權(quán)較大最佳細(xì)節(jié)保留最好高質(zhì)量圖像處理、打印輸出雙線性的計(jì)算方式是先對(duì) x 方向做一次線性插值再對(duì) y 方向做一次線性插值總共用周圍四個(gè)點(diǎn)的像素值加權(quán)平均。例如目標(biāo)點(diǎn)對(duì)應(yīng)到源圖坐標(biāo) (100.3, 200.6)四個(gè)鄰域像素為f(100, 200), f(101, 200), f(100, 201), f(101, 201)先按 x 方向插值得到兩行中間值f_x0 f(100,200) * (1 - 0.3) f(101,200) * 0.3 f_x1 f(100,201) * (1 - 0.3) f(101,201) * 0.3再按 y 方向插值f_result f_x0 * (1 - 0.6) f_x1 * 0.6理解了這個(gè)過程你就知道為什么旋轉(zhuǎn)大角度時(shí)雙線性會(huì)比最近鄰平滑得多。6.2 一個(gè)直觀的對(duì)比實(shí)驗(yàn)我用一張帶斜線紋理的測(cè)試圖分別用最近鄰、雙線性和雙三次插值旋轉(zhuǎn) 15 度。從輸出結(jié)果看最近鄰的斜線邊緣呈明顯臺(tái)階狀視覺上像是低分辨率放大雙線性邊緣干凈平滑但仔細(xì)看有些微模糊雙三次邊緣更銳利高頻紋理保留得更好。在 OpenCV 里OpenCV 提供的插值參數(shù)包括cv2.INTER_NEAREST、cv2.INTER_LINEAR、cv2.INTER_CUBIC和cv2.INTER_LANCZOS4。實(shí)測(cè)下來INTER_LANCZOS4質(zhì)量最高但速度最慢全高清圖像下耗時(shí)是雙線性的 3 到 5 倍。絕大多數(shù)場(chǎng)景下雙線性是性能和質(zhì)量的甜蜜點(diǎn)這也是 OpenCV 默認(rèn)參數(shù)的原因。7. 逆旋轉(zhuǎn)驗(yàn)證一個(gè)被忽略但極其重要的調(diào)試方法7.1 用旋轉(zhuǎn)驗(yàn)證旋轉(zhuǎn)寫旋轉(zhuǎn)代碼最怕的是矩陣?yán)锏姆?hào)弄反了旋轉(zhuǎn)方向整個(gè)反掉。有一個(gè)特別簡(jiǎn)單的驗(yàn)證方法把圖像旋轉(zhuǎn) 45 度然后再旋轉(zhuǎn) -45 度即反向旋轉(zhuǎn) 45 度如果代碼寫得對(duì)兩張圖應(yīng)該完全重合存在插值誤差但肉眼難以分辨。這個(gè)方法的原理是正旋轉(zhuǎn)矩陣乘以它的逆旋轉(zhuǎn)矩陣應(yīng)該得到單位矩陣。在代碼上實(shí)現(xiàn)就是第一次用 angle45第二次用 angle-45兩次旋轉(zhuǎn)的矩陣乘積理論上等于 3×3 單位矩陣。實(shí)際測(cè)試中我的驗(yàn)證結(jié)果顯示旋轉(zhuǎn)回來之后平均像素誤差絕對(duì)差在 0 到 2 之間說明我的矩陣推導(dǎo)和坐標(biāo)處理都沒有問題。7.2 用角點(diǎn)坐標(biāo)驗(yàn)證旋轉(zhuǎn)矩陣第二個(gè)驗(yàn)證方法是拿四個(gè)角點(diǎn)做坐標(biāo)變換手動(dòng)計(jì)算旋轉(zhuǎn)后的坐標(biāo)再和代碼輸出對(duì)比。拿 200×150 的圖像中心點(diǎn) (99.5, 74.5)旋轉(zhuǎn) 90 度。它的四個(gè)角點(diǎn)(0,0) → (99.5 (0-99.5)*0 - (0-74.5)*1, 74.5 (0-99.5)*1 (0-74.5)*0) (174, -25) (199,0) → (99.5 (199-99.5)*0 - (0-74.5)*1, 74.5 (199-99.5)*1 0) (174, 174) (0,149) → (99.5 0 - (149-74.5)*1, 74.5 0 (149-74.5)*0) (25, -25) (199,149) → (99.5 0 - 74.5, 74.5 99.5) (25, 174)這四個(gè)坐標(biāo)構(gòu)成一個(gè)旋轉(zhuǎn)后的矩形它的寬是 174 - 25 149原高高是 174 - (-25) 199原寬。旋轉(zhuǎn) 90 度后寬高互換完全符合幾何直覺。這個(gè)驗(yàn)證方法不僅驗(yàn)證了矩陣本身還驗(yàn)證了畫布尺寸計(jì)算是否正確。7.3 在代碼里實(shí)現(xiàn)自動(dòng)化的驗(yàn)證函數(shù)如果你經(jīng)常寫幾何變換相關(guān)的代碼強(qiáng)烈建議把驗(yàn)證函數(shù)固化下來def verify_rotation_angles(angle_deg): img np.zeros((100, 150, 3), dtypenp.uint8) cv2.rectangle(img, (30, 30), (90, 70), (255, 255, 255), -1) rotated rotate_image_center(img, angle_deg) rotated_back rotate_image_center(rotated, -angle_deg) # 裁剪到原圖尺寸比較 h, w img.shape[:2] diff cv2.absdiff(rotated_back[:h, :w], img) return np.mean(diff)這個(gè)函數(shù)會(huì)輸出一個(gè)數(shù)字代表“轉(zhuǎn)過去再轉(zhuǎn)回來”的平均誤差。如果誤差大于 5基本可以斷言旋轉(zhuǎn)矩陣或者平移補(bǔ)償寫錯(cuò)了。這個(gè)方法我在做圖像配準(zhǔn)項(xiàng)目時(shí)幫了大忙有一次就是靠它發(fā)現(xiàn)單獨(dú)處理了中心坐標(biāo)但沒有補(bǔ)償新畫布平移量導(dǎo)致偏差一直固定偏在某個(gè)方向。8. 從旋轉(zhuǎn)到仿射變換統(tǒng)一視角看旋轉(zhuǎn)矩陣8.1 旋轉(zhuǎn)是仿射變換的特例圖像旋轉(zhuǎn)本質(zhì)上屬于仿射變換。仿射變換的一般形式是|x| |a b tx| |x| |y| |c d ty| |y| |1 | |0 0 1 | |1|其中左上角的 2×2 矩陣控制線性變換旋轉(zhuǎn)、縮放、剪切tx 和 ty 控制平移。繞中心旋轉(zhuǎn)的矩陣就是仿射矩陣的一個(gè)特例。用仿射變換的視角看旋轉(zhuǎn)有一個(gè)額外的好處你能順手把“旋轉(zhuǎn)平移”“旋轉(zhuǎn)縮放”組合成一次矩陣乘法而不是多次調(diào)用旋轉(zhuǎn)函數(shù)疊加。比如旋轉(zhuǎn) 30 度并且同時(shí)放大 1.5 倍矩陣直接相乘即可M_rotate cv2.getRotationMatrix2D(center, 30, 1.0) M_scale np.array([[1.5, 0, 0], [0, 1.5, 0], [0, 0, 1]]) M_combined M_scale np.vstack([M_rotate, [0, 0, 1]])這種組合在一次 warpAffine 中完成比先旋轉(zhuǎn)再縮放這種兩次變換更快、更少插值損失。8.2 為什么繞中心旋轉(zhuǎn)不用繞原點(diǎn)旋轉(zhuǎn)加平移替代有人可能會(huì)問繞中心旋轉(zhuǎn)的公式里已經(jīng)有中心平移到原點(diǎn)的步驟了為什么不能直接利用現(xiàn)成的cv2.warpAffine分兩次做從數(shù)學(xué)上完全可以先平移、旋轉(zhuǎn)、再平移。但在像素坐標(biāo)操作時(shí)每次變換都會(huì)引入一次插值兩次變換就是兩次插值圖像質(zhì)量會(huì)多損失一截。而且中間生成的圖像畫布尺寸如果處理不當(dāng)最終結(jié)果會(huì)出現(xiàn)內(nèi)容殘缺或坐標(biāo)偏移。所以實(shí)際工程中優(yōu)先用getRotationMatrix2D一次性生成復(fù)合矩陣一步到位視覺和精度都好得多。9. 常規(guī)旋轉(zhuǎn)之外的三個(gè)延伸方向?qū)懙竭@里常規(guī)旋轉(zhuǎn)的內(nèi)容基本講透了。但根據(jù)我在實(shí)際項(xiàng)目中的經(jīng)驗(yàn)還是忍不住想補(bǔ)充三個(gè)延伸方向它們?cè)诠ぷ髦谐霈F(xiàn)頻率非常高第一個(gè)是任意角度矩形的旋轉(zhuǎn)計(jì)算。在目標(biāo)檢測(cè)和 OCR 項(xiàng)目里旋轉(zhuǎn)的不是整張圖而是檢測(cè)框或文本框。這時(shí)要特別注意旋轉(zhuǎn)后的框不能再保持矩形要輸出四個(gè)頂點(diǎn)的新坐標(biāo)。做法是四個(gè)角點(diǎn)分別應(yīng)用旋轉(zhuǎn)矩陣不做包圍盒計(jì)算直接輸出多邊形坐標(biāo)。第二個(gè)是旋轉(zhuǎn)中心不是圖像中心的情況。比如你要做一個(gè)“表盤指針旋轉(zhuǎn)”的動(dòng)畫效果旋轉(zhuǎn)中心是表盤軸心而不是整個(gè)圖像的幾何中心。這時(shí)只需要把 center 參數(shù)換成軸心坐標(biāo)其他邏輯完全一致。注意旋轉(zhuǎn)后如果畫布擴(kuò)大了中心補(bǔ)償?shù)钠揭朴?jì)算依然要照著新畫布尺寸來。第三個(gè)是坐標(biāo)的反向映射在圖像配準(zhǔn)中的意義。做過圖像配準(zhǔn)或全景拼接的人都知道配準(zhǔn)的實(shí)質(zhì)就是求兩幅圖之間的變換矩陣。旋轉(zhuǎn)矩陣作為最基礎(chǔ)的變換矩陣能幫你理解其他復(fù)雜變換——比如求單應(yīng)性矩陣時(shí)其實(shí)就是在找一組參數(shù)滿足多個(gè)點(diǎn)對(duì)的變換關(guān)系。這個(gè)理解上的跨越往往就是從把圖像旋轉(zhuǎn)吃透開始的?？偟恼f來常規(guī)旋轉(zhuǎn)最大的價(jià)值在于幫你建立一套圖像幾何變換的心智模型坐標(biāo)系、矩陣、映射方向、插值、邊界這些概念在任何幾何變換里都會(huì)遇到。把這套模型打牢了后續(xù)學(xué)透視變換、極坐標(biāo)變換、畸變校正都會(huì)順很多。這也是我為什么建議你有時(shí)間一定要自己寫一遍旋轉(zhuǎn)代碼而不是永遠(yuǎn)停留在cv2.warpAffine一行調(diào)用上。