簡介基于YOLOv8的無人機(jī)交通監(jiān)控系統(tǒng)是一套面向智能交通與深度學(xué)習(xí)應(yīng)用開發(fā)的完整示例項(xiàng)目。它以YOLOv8實(shí)時(shí)目標(biāo)檢測算法為核心結(jié)合無人機(jī)高清攝像頭采集的道路畫面實(shí)現(xiàn)對行人、自行車、汽車、卡車等交通參與者的自動(dòng)識別與分類可服務(wù)于交通管理、畢業(yè)設(shè)計(jì)、算法學(xué)習(xí)等場景。壓縮包內(nèi)含27個(gè)文件主體為12個(gè)Python腳本和9個(gè)編譯緩存文件另附Y(jié)AML配置文件、依賴清單、模型示例圖片與說明文檔覆蓋模型調(diào)用、車牌檢測、速度估算、目標(biāo)追蹤等環(huán)節(jié)。包體僅94KB代碼架構(gòu)清晰適合有一定Python和深度學(xué)習(xí)基礎(chǔ)、希望快速上手目標(biāo)檢測項(xiàng)目的開發(fā)者。目前已有35人學(xué)習(xí)項(xiàng)目中提供了主程序、工具函數(shù)、配置目錄等模塊能夠幫助讀者理清目標(biāo)檢測系統(tǒng)的完整流程掌握數(shù)據(jù)處理、模型推理與結(jié)果輸出的實(shí)現(xiàn)思路具有較強(qiáng)的參考與復(fù)用價(jià)值。1. 先把系統(tǒng)拆開無人機(jī)交通監(jiān)控不只是“飛起來跑個(gè)YOLOv8”一架四旋翼無人機(jī)懸停在十字路口上空80米往下看到的不是“路面”而是一堆幾像素到幾十像素的小方塊。把畫面里的小方塊識別成小轎車、貨車、行人再把每秒25幀的結(jié)果算成車道流量、擁堵事件和告警記錄這套鏈路就是常見的基于YOLOv8的無人機(jī)交通監(jiān)控系統(tǒng)。很多人被“無人機(jī)YOLOv8”這個(gè)組合迷惑以為把模型權(quán)重丟進(jìn)飛控里就完事實(shí)際做下來你會(huì)發(fā)現(xiàn)目標(biāo)尺度、機(jī)載算力、標(biāo)注數(shù)據(jù)、跟蹤平滑、坐標(biāo)換算每一環(huán)都能讓系統(tǒng)翻車。這篇文章不是講YOLOv8本身而是順著“航拍交通監(jiān)控”這個(gè)具體場景把模型選型、數(shù)據(jù)準(zhǔn)備、訓(xùn)練、部署和避坑一次說透。這套路線適合三類人做深度學(xué)習(xí)或無人機(jī)相關(guān)畢業(yè)設(shè)計(jì)的學(xué)生需要快速拿到一套能演示、能復(fù)現(xiàn)的系統(tǒng)雛形做交通流量統(tǒng)計(jì)或智慧城市試點(diǎn)的工程師需要評估無人機(jī)視覺方案的邊界以及剛接觸機(jī)載視覺、想搞清楚“模型之外還有什么坑”的開發(fā)者。讀完你會(huì)得到一個(gè)明確結(jié)論這套系統(tǒng)的瓶頸通常不在模型精度而在數(shù)據(jù)分布和工程閉環(huán)。2. 模型選型與運(yùn)行環(huán)境為什么機(jī)載默認(rèn)YOLOv8n地面才跑m2.1 無人機(jī)視角下的目標(biāo)特點(diǎn)小、密、角度刁地面監(jiān)控?cái)z像頭高度通常只有3到8米平視角度為主一輛車在畫面里能占到幾百像素側(cè)面特征清清楚楚。無人機(jī)交通監(jiān)控完全是另一個(gè)尺度飛行高度普遍在50米到120米正俯視或大角度斜視一輛小轎車在1080p畫面里往往只有16×16到30×30像素行人可能只有10像素左右。這個(gè)尺度差異會(huì)直接影響模型選擇和數(shù)據(jù)增強(qiáng)策略也是很多人在第一個(gè)Demo里“模型什么都檢不出來”的根本原因。除了目標(biāo)小航拍畫面還有三個(gè)特點(diǎn)。第一是密集遮擋早晚高峰路口的車輛彼此緊貼檢測框大量重疊普通NMS閾值很容易把相鄰車吞掉。第二是尺度變化快無人機(jī)爬升或下降過程中同一個(gè)目標(biāo)在幾秒內(nèi)從50像素變成120像素模型需要適應(yīng)多尺度輸入。第三是視角單一但背景復(fù)雜樹木陰影、路面標(biāo)線、車頂反光都會(huì)成為誤檢來源。直接用COCO預(yù)訓(xùn)練權(quán)重跑航拍視頻往往效果很差因?yàn)镃OCO里的車是地面平視視角特征分布完全不同必須用航拍數(shù)據(jù)微調(diào)這一點(diǎn)幾乎沒有例外。這里可以做一個(gè)簡單對比能幫你快速理解為什么不能照搬地面監(jiān)控方案維度地面監(jiān)控?zé)o人機(jī)航拍監(jiān)控視角平視或小角度俯視正俯視或大角度斜視目標(biāo)尺寸通常100像素以上10到40像素為主背景復(fù)雜度固定機(jī)位、背景靜止地面紋理、陰影、樹冠變化算力位置機(jī)柜或邊緣盒子供電穩(wěn)定機(jī)載電池供電散熱受限運(yùn)動(dòng)狀態(tài)靜止懸?；蚵僖苿?dòng)存在振動(dòng)2.2 機(jī)載算力與模型檔位的匹配YOLOv8官方提供了n、s、m、l、x五檔模型參數(shù)量和計(jì)算量依次上升。就無人機(jī)交通監(jiān)控來說我的選擇原則很固定機(jī)載端只用n或s地面站離線復(fù)核才考慮m。原因很簡單n檔參數(shù)量在3M量級、計(jì)算量大約8.7GFLOPs能夠在Jetson Orin Nano、RK3588這類邊緣設(shè)備上跑到接近實(shí)時(shí)s檔精度更高但推理時(shí)間翻倍適合圖傳鏈路穩(wěn)定、允許一定延遲的場景。很多初學(xué)者一上來就選YOLOv8m甚至x理由是“精度高”但在無人機(jī)上跑會(huì)發(fā)現(xiàn)兩個(gè)現(xiàn)實(shí)問題一是機(jī)載功耗和散熱撐不住電池續(xù)航被明顯壓縮二是檢測延遲變大飛機(jī)姿態(tài)一動(dòng)畫面里的目標(biāo)位置早就漂移了。做實(shí)時(shí)監(jiān)控不是做離線評測幀率就是精度的一部分掉幀等于漏檢。如果確實(shí)需要更高精度我的建議是機(jī)載跑n做“預(yù)篩”把ROI區(qū)域的幀抽出來傳回地面站用s或m再精檢一遍而不是讓飛機(jī)背一個(gè)跑不動(dòng)的模型。如果是RK3588這類帶有NPU的板子還要考慮模型轉(zhuǎn)換和量化。常見做法是先導(dǎo)出ONNX再用rknn-toolkit2轉(zhuǎn)成RKNN格式最后做INT8量化。量化后模型體積縮小、推理速度提升但小目標(biāo)精度會(huì)有不同程度的下降所以轉(zhuǎn)換完必須用航拍驗(yàn)證集重新評估m(xù)AP不能只跑兩張測試圖看效果。2.3 運(yùn)行環(huán)境Ubuntu 20.04 CPU版本也能跑通但只適合調(diào)試很多人在沒有GPU的筆記本上也想先跑通流程這完全可行。Ubuntu 20.04下搭建YOLOv8 CPU環(huán)境非常簡單不需要編譯源碼直接用ultralytics這個(gè)Python包即可。下面是一套最小可復(fù)現(xiàn)的步驟python3 -m venv yolov8-env source yolov8-env/bin/activate pip install --upgrade pip pip install ultralytics # 下載權(quán)重并跑一次推理驗(yàn)證環(huán)境 yolo predict modelyolov8n.pt sourcetest.jpg devicecpu這段命令的邏輯是先創(chuàng)建一個(gè)獨(dú)立的Python虛擬環(huán)境避免和系統(tǒng)Python環(huán)境互相污染然后安裝ultralytics包它會(huì)自動(dòng)拉起PyTorch CPU版本和所需依賴最后用官方權(quán)重跑一次預(yù)測如果能正常輸出結(jié)果圖說明鏈路通了。這里有兩個(gè)副作用需要提前知道CPU推理一張1080p圖片可能要幾百毫秒到幾秒完全達(dá)不到實(shí)時(shí)如果要訓(xùn)練自己的數(shù)據(jù)集CPU訓(xùn)練一個(gè)epoch都會(huì)慢到讓人懷疑人生。所以環(huán)境驗(yàn)證用CPU沒問題正式訓(xùn)練還是建議用云GPU或者本地NVIDIA顯卡。如果你要在這臺機(jī)器上準(zhǔn)備訓(xùn)練數(shù)據(jù)還可以順手把標(biāo)注工具裝上。LabelMe是最常用的開源標(biāo)注工具之一支持矩形框和多邊形標(biāo)注導(dǎo)出的JSON格式后面需要自己做轉(zhuǎn)換。這一步?jīng)]有太多玄學(xué)耐心標(biāo)幾百張航拍圖就夠了關(guān)鍵是每個(gè)目標(biāo)的邊界要壓準(zhǔn)遮擋嚴(yán)重的車輛寧可稍微框大一點(diǎn)也不要框到一半就截?cái)唷?. 數(shù)據(jù)與訓(xùn)練從LabelMe標(biāo)注到Y(jié)OLOv8跑通自己的數(shù)據(jù)集3.1 數(shù)據(jù)來源與標(biāo)注工具選型訓(xùn)練無人機(jī)交通監(jiān)控模型數(shù)據(jù)來源通常有三條路。第一條是直接用公開航拍數(shù)據(jù)集比如VisDrone、DOTA這類里面有大量無人機(jī)視角的車輛、行人、自行車標(biāo)注適合做預(yù)訓(xùn)練或者補(bǔ)充樣本第二條是自采數(shù)據(jù)用無人機(jī)在目標(biāo)路口懸停拍攝幾十段視頻然后抽幀標(biāo)注這是和最終部署場景最匹配的數(shù)據(jù)精度上限最高第三條是公開數(shù)據(jù)自采數(shù)據(jù)混合訓(xùn)練一般也是效果最穩(wěn)的做法。自采數(shù)據(jù)時(shí)要注意一個(gè)容易被忽略的問題按視頻片段劃分訓(xùn)練集和驗(yàn)證集而不是按幀隨機(jī)劃分。如果你把同一段視頻的連續(xù)幀一半放進(jìn)訓(xùn)練集、一半放進(jìn)驗(yàn)證集驗(yàn)證指標(biāo)會(huì)非常好看因?yàn)橄噜弾瑤缀跻粯幽Ｐ偷扔陂_卷考試。等飛到新路段時(shí)才會(huì)發(fā)現(xiàn)真實(shí)效果差得遠(yuǎn)。正確做法是按架次或按路段切分保證驗(yàn)證集里的場景和訓(xùn)練集沒有重疊。標(biāo)注類別建議控制在5到8類交通監(jiān)控場景我一般只標(biāo)person、car、truck、bus、motorcycle五類。類別太少不夠統(tǒng)計(jì)類別太多會(huì)加劇樣本不均衡比如“ambulance”這類稀有類別樣本量很難湊夠訓(xùn)練出來基本等于擺設(shè)。標(biāo)注工具就用LabelMe記得把所有標(biāo)注導(dǎo)出成JSON文件和對應(yīng)圖片放在同一個(gè)目錄下。3.2 LabelMe JSON轉(zhuǎn)YOLO格式轉(zhuǎn)換腳本與參數(shù)說明LabelMe保存的是多邊形頂點(diǎn)坐標(biāo)而YOLO訓(xùn)練需要的是歸一化后的中心點(diǎn)坐標(biāo)和寬高。這個(gè)轉(zhuǎn)換沒有捷徑只能寫腳本批量處理。如果你的標(biāo)注全是矩形框下面的腳本可以直接用如果是多邊形先用cv2.boundingRect算出外接矩形再轉(zhuǎn)換。import json import os from PIL import Image def labelme2yolo(json_path, save_dir, class_names): with open(json_path, r, encodingutf-8) as f: data json.load(f) # 通過JSON里的imagePath定位原圖讀取寬高用于歸一化 img_path os.path.join(os.path.dirname(json_path), data[imagePath]) img Image.open(img_path) w, h img.size lines [] for shape in data[shapes]: label shape[label] if label not in class_names: continue cls_id class_names.index(label) pts shape[points] # 只處理兩點(diǎn)矩形框polygon需要額外算外接矩形 x1, y1 pts[0] x2, y2 pts[1] bw abs(x2 - x1) bh abs(y2 - y1) cx (x1 x2) / 2.0 cy (y1 y2) / 2.0 # YOLO格式class cx cy w h全部除以圖片尺寸歸一化 lines.append(f{cls_id} {cx / w:.6f} {cy / h:.6f} {bw / w:.6f} {bh / h:.6f}) out_txt os.path.join(save_dir, os.path.basename(json_path).replace(.json, .txt)) with open(out_txt, w, encodingutf-8) as f: f.write(\n.join(lines)) # 使用示例 class_names [person, car, truck, bus, motorcycle] labelme2yolo(data/annotations/001.json, data/labels/train, class_names)這段腳本的核心邏輯是讀JSON、取原圖尺寸、遍歷每個(gè)標(biāo)注對象、把兩點(diǎn)坐標(biāo)換算成歸一化的中心點(diǎn)和寬高。需要注意PIL讀取的圖片寬高必須和標(biāo)注時(shí)的圖片一致否則所有坐標(biāo)會(huì)整體偏移。另外如果你的標(biāo)注文件里有“points”超過兩個(gè)點(diǎn)的多邊形當(dāng)前代碼會(huì)出錯(cuò)需要先算最小外接矩形這也是把LabelMe數(shù)據(jù)轉(zhuǎn)給YOLO訓(xùn)練時(shí)最常見的坑。轉(zhuǎn)換完成后把圖片和txt文件按如下結(jié)構(gòu)組織訓(xùn)練時(shí)直接指向目錄即可drone-traffic/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml3.3 訓(xùn)練自己的數(shù)據(jù)集命令與關(guān)鍵參數(shù)訓(xùn)練前需要寫一個(gè)data.yaml文件告訴ultralytics數(shù)據(jù)集在哪里、有哪些類別。我的示例配置如下path: /home/user/drone-traffic train: images/train val: images/val names: 0: person 1: car 2: truck 3: bus 4: motorcycle這里的path建議寫絕對路徑寫相對路徑容易出現(xiàn)“dataset not found”的報(bào)錯(cuò)尤其是在不同機(jī)器之間搬運(yùn)項(xiàng)目的時(shí)候。names的編號順序必須和轉(zhuǎn)換腳本里的class_names一致否則訓(xùn)練時(shí)標(biāo)簽會(huì)錯(cuò)位模型再怎么調(diào)參也不會(huì)收斂。確認(rèn)數(shù)據(jù)集結(jié)構(gòu)無誤后執(zhí)行訓(xùn)練命令yolo detect train \ datadrone-traffic/data.yaml \ modelyolov8n.pt \ epochs100 \ batch16 \ imgsz640 \ device0先解釋一下這條命令里每個(gè)參數(shù)的含義。modelyolov8n.pt表示從官方n檔預(yù)訓(xùn)練權(quán)重開始微調(diào)而不是隨機(jī)初始化這能明顯加快收斂并提高最終精度epochs100是起步值航拍數(shù)據(jù)量通常不大100個(gè)epoch后根據(jù)results曲線再增減batch16取決于顯卡顯存8G顯存跑n檔建議8或16顯存溢出就減半imgsz640是訓(xùn)練分辨率但針對航拍小目標(biāo)我一般建議訓(xùn)練時(shí)直接提到1280代價(jià)是訓(xùn)練速度變慢、顯存需求變大好處是小目標(biāo)召回率明顯提升。另外幾個(gè)參數(shù)值得單列說明。optimizer我用AdamW偏多SGD也能收斂但需要更多epochlr0如果數(shù)據(jù)量小建議從0.01降到0.005避免前期震蕩patience30表示30個(gè)epoch驗(yàn)證集沒有提升就早停能省時(shí)間cacheTrue可以把圖片緩存到內(nèi)存大幅減少數(shù)據(jù)讀取時(shí)間前提是內(nèi)存夠大。還有一個(gè)容易被忽視的參數(shù)是close_mosaic它控制訓(xùn)練最后10個(gè)epoch是否關(guān)閉馬賽克增強(qiáng)我一般保留默認(rèn)值因?yàn)楹脚男∧繕?biāo)需要靠馬賽克增強(qiáng)來豐富背景組合。訓(xùn)練結(jié)束后模型權(quán)重保存在runs/detect/train/weights/目錄下best.pt代表驗(yàn)證集上表現(xiàn)最好的權(quán)重last.pt是最后一個(gè)epoch的權(quán)重。兩個(gè)都要留best.pt用于部署last.pt可以用于分析訓(xùn)練最后階段是否過擬合。3.4 從損失曲線到驗(yàn)證判斷模型是不是真的能上線訓(xùn)練完成后不要急著把best.pt拷到無人機(jī)上先跑一次驗(yàn)證集評估yolo detect val \ modelruns/detect/train/weights/best.pt \ datadrone-traffic/data.yaml \ imgsz640驗(yàn)證輸出會(huì)給出mAP50、mAP50-95、各類別的精度和召回率。對交通監(jiān)控場景不要只盯著mAP50這個(gè)數(shù)字還要看小目標(biāo)類別的AP。如果car的AP很高但person的AP很低說明數(shù)據(jù)不均衡或者標(biāo)注樣本不足比總指標(biāo)更能反映問題。這一步還必須看ultralytics自動(dòng)生成的混淆矩陣圖路徑在runs/detect/train/confusion_matrix.png?；煜仃嚹芮逦嬖V你哪些類別互相混淆最常見的航拍問題是“truck”和“bus”互相認(rèn)錯(cuò)因?yàn)檎┮曇暯窍聝烧咄庑畏浅＝咏?。如果這種混淆嚴(yán)重要么增加兩類樣本要么干脆合并成一個(gè)“heavy_vehicle”類犧牲細(xì)粒度類別換取整體準(zhǔn)確率。順手提一句網(wǎng)上很多人討論“YOLOv8改進(jìn)加協(xié)調(diào)注意力機(jī)制”對小目標(biāo)有效如果你訓(xùn)練后確認(rèn)小目標(biāo)AP上不去可以在網(wǎng)絡(luò)結(jié)構(gòu)上嘗試但我會(huì)建議先把切圖訓(xùn)練和分辨率調(diào)優(yōu)做完。數(shù)據(jù)層面的收益通常比改結(jié)構(gòu)來得快也更容易排查。4. 系統(tǒng)部署閉環(huán)檢測只是中間件跟蹤和統(tǒng)計(jì)才是監(jiān)控4.1 機(jī)載推理還是圖傳地面推理模型訓(xùn)練完下一個(gè)問題是在哪里跑推理。無人機(jī)交通監(jiān)控有三種常見部署形態(tài)各自適用不同場景。機(jī)載推理是把模型跑在飛機(jī)上的計(jì)算板卡里比如Jetson Orin Nano、RK3588。優(yōu)點(diǎn)是沒有圖傳延遲檢測結(jié)果直接在機(jī)載端產(chǎn)生適合邊緣事件觸發(fā)缺點(diǎn)是算力受限只能跑n或s檔量化模型而且調(diào)試一次要反復(fù)拆裝設(shè)備很費(fèi)時(shí)間。圖傳地面推理則相反飛機(jī)只負(fù)責(zé)把視頻推流回地面站檢測在地面服務(wù)器上跑可以用m甚至l檔模型精度更高、迭代更容易但對圖傳鏈路質(zhì)量和延遲敏感。第三種是混合模式機(jī)載跑輕量模型做關(guān)鍵事件判斷地面跑大模型做復(fù)核工程復(fù)雜度最高一般試點(diǎn)項(xiàng)目用不上。部署方式延遲模型上限開發(fā)效率適用場景機(jī)載推理低n/s低實(shí)時(shí)告警、斷連場景圖傳地面推理中高m/l高試點(diǎn)驗(yàn)證、離線統(tǒng)計(jì)機(jī)載地面混合低ns中正式系統(tǒng)如果你是做畢業(yè)設(shè)計(jì)或第一個(gè)Demo我強(qiáng)烈建議先選圖傳地面推理。開發(fā)效率高調(diào)模型、調(diào)參數(shù)都不需要碰飛機(jī)踩坑成本低。等系統(tǒng)邏輯跑通了再把模型壓到機(jī)載端。4.2 視頻流入口與檢測服務(wù)化無人機(jī)的視頻輸出通常走RTSP或RTMP協(xié)議。地面站拉流使用的就是OpenCV的VideoCapture指定URL地址即可。下面是一段最基礎(chǔ)的推理循環(huán)import cv2 from ultralytics import YOLO model YOLO(best.pt) cap cv2.VideoCapture(rtsp://192.168.1.10:8554/live) while cap.isOpened(): ret, frame cap.read() if not ret: break results model( frame, conf0.35, iou0.45, classes[1, 2, 3, 4], imgsz640, device0 ) for r in results: for box in r.boxes: x1, y1, x2, y2 box.xyxy[0].tolist() cls_id int(box.cls[0]) conf box.conf[0].item() print(f{cls_id} {conf:.2f} {x1:.0f} {y1:.0f} {x2:.0f} {y2:.0f})這段代碼里幾個(gè)參數(shù)值得注意。conf0.35是置信度閾值航拍小目標(biāo)置信度普遍比地面監(jiān)控低建議設(shè)在0.3到0.4之間iou0.45是NMS閾值車輛密集場景建議降到0.35否則相鄰車輛容易合并classes[1,2,3,4]表示只檢測car、truck、bus、motorcycle過濾掉person可以明顯減少行人引起的高頻噪音。device0是顯卡編號如果是CPU改成cpu。實(shí)際工程里不要把畫框和推理寫在同一個(gè)循環(huán)里OpenCV的imshow窗口會(huì)阻塞主線程導(dǎo)致推理幀率被拖到個(gè)位數(shù)。常見做法是推理線程只把結(jié)果寫入一個(gè)共享隊(duì)列顯示線程獨(dú)立從隊(duì)列里取幀渲染兩者解耦。4.3 目標(biāo)跟蹤與交通參數(shù)統(tǒng)計(jì)單幀檢測只能告訴你“這一幀有什么”交通監(jiān)控要的是“車往哪走、有多少輛、哪里擁堵”這需要幀間關(guān)聯(lián)。最簡單的方案是IOU匹配如果當(dāng)前幀檢測框和上一幀某個(gè)目標(biāo)框的IOU大于閾值認(rèn)為是同一個(gè)目標(biāo)連續(xù)多幀匹配成功才對目標(biāo)分配一個(gè)穩(wěn)定ID。def iou(a, b): ax1, ay1, ax2, ay2 a bx1, by1, bx2, by2 b inter_w max(0.0, min(ax2, bx2) - max(ax1, bx1)) inter_h max(0.0, min(ay2, by2) - max(ay1, by1)) inter_area inter_w * inter_h area_a (ax2 - ax1) * (ay2 - ay1) area_b (bx2 - bx1) * (by2 - by1) union_area area_a area_b - inter_area return inter_area / union_area if union_area 0 else 0.0IOU閾值一般取0.3到0.5。無人機(jī)懸停時(shí)畫面相對穩(wěn)定0.4夠用如果飛機(jī)云臺在轉(zhuǎn)動(dòng)或畫面有抖動(dòng)可以降到0.3或者改用中心點(diǎn)歐氏距離匹配。需要注意的是只做IOU匹配在目標(biāo)密集時(shí)很容易發(fā)生ID Switch也就是兩輛車交錯(cuò)后ID互換。要上強(qiáng)度就得換帶軌跡預(yù)測的跟蹤器比如ByteTrack或DeepSort但它們的依賴會(huì)復(fù)雜一些核心邏輯仍然是從關(guān)聯(lián)匹配出發(fā)。有了穩(wěn)定目標(biāo)ID就能計(jì)算交通參數(shù)。虛擬線計(jì)數(shù)是最常見的做法在畫面中按行車方向畫一條線車輛中心點(diǎn)跨過這條線時(shí)計(jì)數(shù)加一就可以統(tǒng)計(jì)車流量區(qū)域停車檢測是判斷目標(biāo)中心點(diǎn)進(jìn)入某個(gè)ROI后停留幀數(shù)超過閾值常用于違停識別擁堵檢測可以直接統(tǒng)計(jì)某條道路區(qū)域內(nèi)的車輛密度當(dāng)幀車輛數(shù)超過設(shè)定值且持續(xù)十幾秒就觸發(fā)擁堵事件。4.4 告警輸出與坐標(biāo)回傳檢測、跟蹤、統(tǒng)計(jì)的結(jié)果最后要變成可以被地面站或Web平臺消費(fèi)的消息。最簡單的方式是HTTP回調(diào)或MQTT把事件以JSON格式推送出去import requests event { type: traffic_jam, vehicles: 23, loc: [116.391, 39.905], timestamp: 2025-06-01T08:30:0008:00 } requests.post(http://127.0.0.1:8000/event, jsonevent)這里寫loc時(shí)值得多說一句。如果這個(gè)經(jīng)緯度是直接把無人機(jī)飛控的經(jīng)緯度填進(jìn)去那它表示的是“飛機(jī)在哪”不是“事件發(fā)生地”。要估算目標(biāo)的位置需要把檢測框的像素坐標(biāo)結(jié)合無人機(jī)的經(jīng)緯度、高度、云臺俯仰角做投影近似這屬于坐標(biāo)系標(biāo)定問題。低精度需求下用針孔相機(jī)模型的中心投影直接估算偏移高精度需求必須依賴RTK和相機(jī)內(nèi)參標(biāo)定。5. 避坑無人機(jī)交通監(jiān)控里最常見的5個(gè)翻車點(diǎn)5.1 小目標(biāo)漏檢下采樣太快行人變成幾個(gè)像素現(xiàn)象模型在驗(yàn)證集上mAP不低可飛到現(xiàn)場后行人和摩托車頻繁漏檢回看檢測結(jié)果時(shí)畫面里只有大車。原因YOLOv8的下采樣倍數(shù)較高小目標(biāo)經(jīng)過多層卷積后特征圖上的有效信息只剩幾個(gè)像素難以分類。很多人在訓(xùn)練時(shí)沿用默認(rèn)的imgsz640航拍場景下這是不夠的。解決首選把imgsz提到1280模型輸入分辨率變大小目標(biāo)對應(yīng)像素增多檢測率會(huì)有肉眼可見的提升如果顯存不夠做切圖訓(xùn)練把1080p畫面切成四塊分別推理再把檢測框映射回原圖坐標(biāo)。這兩種方法比換模型結(jié)構(gòu)更直接。5.2 驗(yàn)證集虛高模型開卷考試換條路就失靈現(xiàn)象訓(xùn)練時(shí)的val/測試集mAP高達(dá)0.85但把模型部署到之前沒飛過的路段表現(xiàn)斷崖式下降。原因數(shù)據(jù)集劃分不當(dāng)。很多人按幀隨機(jī)劃分train和val導(dǎo)致同一段視頻的連續(xù)幀同時(shí)在訓(xùn)練集和驗(yàn)證集里模型等于記住了畫面而不是學(xué)到了“車”這個(gè)概念。解決數(shù)據(jù)集按視頻片段或按飛行架次切分。每段視頻只進(jìn)一個(gè)集合保證驗(yàn)證集里的場景、道路、光照和訓(xùn)練集盡量不同。這是航拍數(shù)據(jù)劃分的血淚經(jīng)驗(yàn)表面看起來數(shù)據(jù)集更大實(shí)際泛化能力很差。5.3 類別不平衡滿路都是車行人沒人權(quán)現(xiàn)象訓(xùn)練后car的AP值很高但person和motorcycle的精確率、召回率都偏低模型基本只輸出車輛。原因標(biāo)注樣本中車輛占了大頭行人樣本少模型對少數(shù)類學(xué)習(xí)不足。這在早晚高峰的航拍素材里非常典型。解決先在數(shù)據(jù)集上統(tǒng)計(jì)每個(gè)類別的目標(biāo)數(shù)量如果差別超過5倍就得處理。一是增加少數(shù)類樣本單獨(dú)補(bǔ)一批行人密集的航拍幀二是用ultralytics的cls參數(shù)調(diào)整分類損失權(quán)重三是給少數(shù)類做過采樣把行人樣本復(fù)制并加上輕微旋轉(zhuǎn)和亮度擾動(dòng)。別指望模型自動(dòng)平衡類別目標(biāo)檢測沒有免費(fèi)的類別均衡。5.4 抖動(dòng)與模糊懸停不等于靜止單幀檢測全是碎框現(xiàn)象無人機(jī)懸停時(shí)畫面依舊周期性抖動(dòng)檢測框忽大忽小車輛ID頻繁跳變統(tǒng)計(jì)車流量時(shí)數(shù)字亂跳。原因旋翼振動(dòng)會(huì)傳導(dǎo)到云臺加上快門速度不足某些幀出現(xiàn)運(yùn)動(dòng)模糊。單幀檢測對模糊非常敏感一個(gè)模糊幀可能把一輛車切成兩個(gè)碎片框。解決采集端開啟電子防抖并固定云臺增穩(wěn)部署端不逐幀檢測而是按關(guān)鍵幀抽幀比如每3幀檢測一次中間幀用最后一次檢測結(jié)果保持。如果模糊無法避免就在跟蹤器里加多幀確認(rèn)邏輯一個(gè)檢測結(jié)果連續(xù)出現(xiàn)3幀以上才計(jì)入統(tǒng)計(jì)靠時(shí)間去換穩(wěn)定性。5.5 坐標(biāo)換算翻車畫面像素不等于經(jīng)緯度現(xiàn)象目標(biāo)在畫面中央系統(tǒng)上報(bào)的經(jīng)緯度卻偏到隔壁建筑物上中心點(diǎn)越靠近畫面邊緣偏移越嚴(yán)重。原因直接用畫面中心坐標(biāo)當(dāng)經(jīng)緯度或者忽略無人機(jī)姿態(tài)角做粗略換算。無人機(jī)實(shí)時(shí)位置來自飛控遙測但相機(jī)光軸和飛機(jī)機(jī)身之間存在夾角沒有姿態(tài)補(bǔ)償誤差會(huì)非常大。解決低精度場景使用“針孔相機(jī)近似投影”把檢測框中心點(diǎn)像素坐標(biāo)結(jié)合飛控的經(jīng)緯度、海拔、云臺俯仰角和航向角換算成地面水平偏移高精度場景上RTK和相機(jī)標(biāo)定標(biāo)定內(nèi)容包括內(nèi)參、畸變、云臺安裝角。坐標(biāo)換算這一塊是整個(gè)系統(tǒng)里最玄學(xué)的環(huán)節(jié)建議先接受“低精度可用、高精度很難”的現(xiàn)實(shí)不要一上來就承諾米級定位。6. 進(jìn)階技巧用軌跡管理把單幀誤報(bào)壓下去單幀檢測難免存在誤檢比如樹影被當(dāng)成車、路面反光被當(dāng)成目標(biāo)。這些誤檢有一個(gè)共同特點(diǎn)它們在時(shí)間上不連續(xù)這一幀出現(xiàn)、下一幀就消失。相反真實(shí)車輛會(huì)穩(wěn)定出現(xiàn)在連續(xù)幾幀里。利用這個(gè)差異可以給跟蹤器加一個(gè)“軌跡有效性”判斷讓誤報(bào)根本沒有機(jī)會(huì)進(jìn)入計(jì)數(shù)系統(tǒng)。from collections import deque, defaultdict class TrackFilter: def __init__(self, max_age5, min_track_len3): self.max_age max_age self.min_track_len min_track_len self.tracks defaultdict(deque) # track_id - 中心點(diǎn)隊(duì)列 def update(self, detections): # detections: {track_id: (cx, cy)} current_ids set(detections.keys()) for tid in list(self.tracks.keys()): if tid not in current_ids: self.tracks[tid].append(None) # 標(biāo)記丟失幀 if len(self.tracks[tid]) self.max_age: del self.tracks[tid] for tid, center in detections.items(): self.tracks[tid].append(center) def valid_ids(self): valid [] for tid, buffer in self.tracks.items(): real_frames sum(1 for p in buffer if p is not None) if real_frames self.min_track_len: valid.append(tid) return valid這段代碼的邏輯是每個(gè)目標(biāo)ID維護(hù)一個(gè)最近的軌跡隊(duì)列隊(duì)列里記錄每一幀的中心點(diǎn)坐標(biāo)如果某個(gè)ID連續(xù)5幀沒有出現(xiàn)就直接刪除避免無限膨脹只有真實(shí)出現(xiàn)超過3幀的目標(biāo)才被標(biāo)記為有效。配置上要注意兩點(diǎn)min_track_len太低起不到過濾作用太高會(huì)漏掉慢速或遮擋多的目標(biāo)我一般取3到4幀max_age則取決于你的推理幀率25幀率下取5到10比較合適。這個(gè)做法看似簡單卻是把檢測精度轉(zhuǎn)化為系統(tǒng)精度的關(guān)鍵一環(huán)。很多人花大量時(shí)間調(diào)模型參數(shù)想讓單幀置信度提升兩三個(gè)百分點(diǎn)卻忽略了跟蹤層面的穩(wěn)定化——后者帶來的收益往往大得多。我自己的習(xí)慣是先把軌跡管道、虛擬線計(jì)數(shù)、告警推送跑通讓整個(gè)業(yè)務(wù)閉環(huán)先轉(zhuǎn)起來再回頭優(yōu)化模型本身否則很容易出現(xiàn)一種情況模型調(diào)了三個(gè)月最后發(fā)現(xiàn)系統(tǒng)卡在視頻流斷連和坐標(biāo)偏移上。這套“輕量跟蹤軌跡過濾”的思路同樣適用于無人機(jī)巡檢、安防監(jiān)控等場景核心思想是一致的檢測結(jié)果是帶噪音的觀測系統(tǒng)輸出才是真正有價(jià)值的結(jié)論。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取