簡介這份文檔面向智慧安防領(lǐng)域的算法工程師與計(jì)算機(jī)視覺學(xué)習(xí)者聚焦夜間異常行為檢測中精度低、算力消耗大的痛點(diǎn)給出基于YOLOv11的模型輕量化實(shí)戰(zhàn)方案。全文共30頁圍繞剪枝、量化、知識蒸餾、輕量級網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)與模型融合壓縮等關(guān)鍵技術(shù)展開并覆蓋夜間數(shù)據(jù)集增強(qiáng)、訓(xùn)練策略調(diào)優(yōu)、模型評估與部署實(shí)時(shí)優(yōu)化等完整鏈路最后結(jié)合住宅小區(qū)、商業(yè)廣場、工廠園區(qū)三類場景做效果評估。資源包為1個(gè)PDF文件約1.9MB支持目錄章節(jié)跳轉(zhuǎn)與閱讀器左側(cè)大綱快速定位圖表、目錄等元素顯示正常便于按章節(jié)查閱。目前已有63人學(xué)習(xí)。讀者可從中獲得從模型壓縮原理到落地部署的系統(tǒng)思路以及夜間場景下的數(shù)據(jù)增強(qiáng)、評估指標(biāo)與實(shí)時(shí)優(yōu)化經(jīng)驗(yàn)適合希望將YOLOv11應(yīng)用于安防監(jiān)控并降低推理成本的中高級開發(fā)者參考。1. 夜間安防為什么總在關(guān)鍵幀上掉鏈子YOLOv11 輕量化異常行為檢測要解決什么凌晨兩點(diǎn)園區(qū)周界攝像頭拍到一個(gè)人翻越圍欄畫面里只有輪廓和噪點(diǎn)值班室的屏幕上卻什么都沒彈出來。第二天回查錄像模型在那一幀的置信度只有 0.21被閾值直接過濾掉了。這不是個(gè)例而是夜間安防場景里最典型的翻車現(xiàn)場白天跑得好好的 YOLOv11 異常行為檢測模型一到低照度、高噪點(diǎn)、目標(biāo)半遮擋的環(huán)境就集體失靈而安防業(yè)務(wù)恰恰最依賴夜間時(shí)段。這個(gè)標(biāo)題要解決的就是這件事——在智慧安防場景下用 YOLOv11 做夜間異常行為檢測同時(shí)把模型做輕量化讓它能跑在邊緣設(shè)備上。它適合三類人正在做園區(qū)/校園/工地安防算法落地的工程師手里有 Jetson 或低顯存顯卡、想把檢測模型壓到能實(shí)時(shí)跑的開發(fā)者以及已經(jīng)跑通 YOLOv11 但發(fā)現(xiàn)夜間精度崩了、想找改進(jìn)方向的從業(yè)者。核心矛盾很明確夜間畫質(zhì)差導(dǎo)致特征弱異常行為本身又比常規(guī)目標(biāo)檢測更依賴時(shí)序和姿態(tài)而輕量化又會進(jìn)一步削弱模型對小目標(biāo)和弱特征的表達(dá)能力。這三者互相拉扯方案設(shè)計(jì)必須同時(shí)回答“怎么補(bǔ)夜間特征”“怎么壓模型體積”“怎么保證異常行為不漏報(bào)”。2. 夜間異常行為檢測的技術(shù)選型YOLOv11 加什么、減什么2.1 為什么基線選 YOLOv11 而不是繼續(xù)用 YOLOv5s很多人手里還留著 YOLOv5s 的輕量化方案第一反應(yīng)是繼續(xù)在 v5 上改。但從夜間異常行為檢測的角度看YOLOv11 有幾個(gè)直接相關(guān)的結(jié)構(gòu)優(yōu)勢。它的 C3k2 模塊替換了 v5 的 C3在相同參數(shù)量下感受野更靈活對夜間模糊輪廓的上下文聚合更友好SPPF 之后的 C2PSA 注意力模塊在低照度場景下能抑制背景噪點(diǎn)響應(yīng)這一點(diǎn)在實(shí)測里比 v5 的純卷積結(jié)構(gòu)穩(wěn)定不少。不過要注意YOLOv11 的 n/s 版本本身已經(jīng)很小如果直接拿 n 版本硬壓夜間小目標(biāo)召回會掉得很快。我的做法是以 YOLOv11s 為基線先做夜間增強(qiáng)再做結(jié)構(gòu)化剪枝而不是一上來就換 n 版本。下面這張表是我在 1080p 夜間園區(qū)數(shù)據(jù)上做的對比測試集包含 3200 張夜間幀異常行為類別為翻越、徘徊、倒地三類。模型參數(shù)量mAP0.5白天mAP0.5夜間Jetson Orin Nano FP16 延遲YOLOv5s7.2M0.810.5428msYOLOv11n2.6M0.790.4914msYOLOv11s9.4M0.840.6133msYOLOv11s 夜間增強(qiáng)9.6M0.840.7235msYOLOv11s 夜間增強(qiáng) 剪枝4.1M0.820.6819ms可以看到夜間增強(qiáng)帶來的提升遠(yuǎn)大于換更小模型而剪枝是在保住夜間精度的前提下壓體積。這個(gè)順序很關(guān)鍵先增強(qiáng)再壓縮比先壓縮再補(bǔ)救要省事得多。2.2 夜間增強(qiáng)的三個(gè)具體手段不是簡單調(diào)亮度夜間圖像增強(qiáng)最容易踩的坑就是直接上直方圖均衡或者 Gamma 校正結(jié)果噪點(diǎn)被一起放大模型反而更懵。我一般用組合策略按順序做第一步用引導(dǎo)濾波做保邊去噪而不是高斯濾波。高斯會把翻越圍欄這種細(xì)長結(jié)構(gòu)糊掉引導(dǎo)濾波能在平滑噪點(diǎn)的同時(shí)保留邊緣。第二步做自適應(yīng) Gamma 校正Gamma 值不固定根據(jù)圖像平均亮度動態(tài)算暗幀用大 Gamma稍亮的幀用小 Gamma。第三步在 HSV 空間對 V 通道做 CLAHE限制對比度避免過增強(qiáng)。import cv2 import numpy as np def night_enhance(img_bgr, gamma_base1.8): # 第一步引導(dǎo)濾波去噪半徑 8eps 控制保邊強(qiáng)度 guide cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY) denoised cv2.ximgproc.guidedFilter(guide, img_bgr, radius8, eps1e-3) # 第二步根據(jù)平均亮度自適應(yīng) Gamma gray cv2.cvtColor(denoised, cv2.COLOR_BGR2GRAY) mean_lum np.mean(gray) / 255.0 # 越暗 Gamma 越大但上限 2.5 防止過曝 gamma np.clip(gamma_base * (1.0 - mean_lum) 1.0, 1.0, 2.5) inv_gamma 1.0 / gamma table np.array([((i / 255.0) ** inv_gamma) * 255 for i in range(256)]).astype(uint8) corrected cv2.LUT(denoised, table) # 第三步HSV 空間 CLAHE只動 V 通道 hsv cv2.cvtColor(corrected, cv2.COLOR_BGR2HSV) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) hsv[:, :, 2] clahe.apply(hsv[:, :, 2]) return cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)這段代碼里三個(gè)參數(shù)最需要調(diào)radius控制去噪范圍夜間 1080p 一般 6 到 10eps越小保邊越強(qiáng)但太小會留下噪點(diǎn)1e-3 是實(shí)測比較穩(wěn)的值clipLimit超過 3.0 容易在路燈周圍產(chǎn)生光暈反而干擾檢測。增強(qiáng)后的圖像再送進(jìn) YOLOv11 訓(xùn)練夜間 mAP 能從 0.61 拉到 0.72 左右。2.3 異常行為檢測頭怎么改從純檢測到加時(shí)序異常行為不是單幀能完全判斷的翻越和徘徊的區(qū)別往往在連續(xù)幾幀的運(yùn)動模式里。但安防邊緣設(shè)備又扛不住完整的 3D 卷積或 Transformer 時(shí)序模型。我的折中方案是在 YOLOv11 檢測頭旁邊掛一個(gè)輕量時(shí)序分支用滑動窗口緩存最近 8 幀的特征圖做通道維度的差分和池化輸出一個(gè)行為置信度和檢測框置信度做加權(quán)融合。具體做法是在 Detect 頭之前引出一個(gè)分支對 neck 輸出的 P3 特征做幀間差分import torch import torch.nn as nn class TemporalBranch(nn.Module): def __init__(self, in_channels128, window8): super().__init__() self.window window # 用深度可分離卷積壓參數(shù)量適合邊緣部署 self.dw_conv nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels) self.pw_conv nn.Conv2d(in_channels, 64, 1) self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Linear(64, 1) def forward(self, feat_seq): # feat_seq: [B, T, C, H, W]T 為窗口幀數(shù) diffs [] for t in range(1, self.window): diffs.append(feat_seq[:, t] - feat_seq[:, t - 1]) diff torch.stack(diffs, dim1).mean(dim1) # 幀間平均差分 x self.pw_conv(self.dw_conv(diff)) x self.pool(x).flatten(1) return torch.sigmoid(self.fc(x))這個(gè)分支參數(shù)量只有 0.3M 左右推理時(shí)幾乎不增加延遲。window設(shè) 8 是權(quán)衡結(jié)果太小抓不到徘徊的周期性太大在邊緣設(shè)備上緩存吃不消。融合權(quán)重我一般設(shè)檢測置信度 0.7、時(shí)序置信度 0.3夜間場景可以調(diào)到 0.6/0.4因?yàn)閱螏瑱z測在夜間本身就不太可信。3. 輕量化落地剪枝、蒸餾和量化怎么組合才不掉精度3.1 結(jié)構(gòu)化剪枝按通道重要性剪別按權(quán)重絕對值輕量化最直接的手段是剪枝但很多人用錯了方法。非結(jié)構(gòu)化剪枝把單個(gè)權(quán)重置零看起來稀疏度很高實(shí)際在 GPU 和 Jetson 上根本加速不了因?yàn)橛布€是按稠密矩陣算。安防邊緣部署必須用結(jié)構(gòu)化剪枝直接剪掉整個(gè)通道。我的流程是先對 BN 層的縮放因子做稀疏訓(xùn)練讓不重要的通道 gamma 趨近零然后按 gamma 排序剪掉最低的 30% 到 40%最后微調(diào) 20 個(gè) epoch 恢復(fù)精度。稀疏訓(xùn)練的關(guān)鍵是加 L1 正則系數(shù)設(shè) 1e-4 到 1e-3 之間太大精度崩太小剪不動。# 稀疏訓(xùn)練在 YOLOv11 訓(xùn)練命令基礎(chǔ)上加稀疏正則 python train.py \ --model yolov11s_night.yaml \ --data night_anomaly.yaml \ --epochs 100 \ --batch 16 \ --sparse_reg 5e-4 \ --project runs/sparse # 剪枝按 BN gamma 排序剪掉 35% 通道 python prune.py \ --weights runs/sparse/weights/best.pt \ --prune_ratio 0.35 \ --save runs/pruned/pruned.pt # 微調(diào)恢復(fù) python train.py \ --model runs/pruned/pruned.yaml \ --weights runs/pruned/pruned.pt \ --epochs 20 \ --lr0 0.001 \ --data night_anomaly.yamlprune_ratio是核心參數(shù)夜間異常行為檢測我建議不要超過 0.4超過之后小目標(biāo)召回掉得很快尤其是遠(yuǎn)處翻越的人。微調(diào)階段學(xué)習(xí)率要降到初始的十分之一否則剪枝后的結(jié)構(gòu)容易被大梯度破壞。3.2 知識蒸餾用夜間增強(qiáng)模型當(dāng)教師剪枝之后精度多少會掉一點(diǎn)這時(shí)候用蒸餾補(bǔ)回來比重新訓(xùn)練劃算。教師模型用沒剪枝的夜間增強(qiáng)版本學(xué)生模型用剪枝后的輕量版本。蒸餾損失里除了常規(guī)的 KL 散度我額外加了特征層的 MSE 損失讓學(xué)生模型的 neck 輸出逼近教師這對夜間弱特征特別有用。import torch.nn.functional as F def distill_loss(student_out, teacher_out, student_feat, teacher_feat, targets, alpha0.5, beta0.3): # 檢測損失學(xué)生正常算 det_loss compute_detection_loss(student_out, targets) # 蒸餾損失KL 散度對齊分類和框回歸分布 kd_loss F.kl_div( F.log_softmax(student_out[cls] / 2.0, dim-1), F.softmax(teacher_out[cls] / 2.0, dim-1), reductionbatchmean ) # 特征蒸餾neck 層 MSE feat_loss F.mse_loss(student_feat, teacher_feat.detach()) return det_loss alpha * kd_loss beta * feat_loss溫度系數(shù)設(shè) 2.0 是常用值alpha和beta控制蒸餾強(qiáng)度夜間場景我一般把beta調(diào)到 0.3 到 0.4因?yàn)樘卣鲗R比 logits 對齊更能保住弱目標(biāo)響應(yīng)。蒸餾后剪枝模型夜間 mAP 能回到 0.70 左右參數(shù)量還是 4M 出頭。3.3 INT8 量化校準(zhǔn)集必須包含夜間幀最后一步是量化Jetson 上跑 INT8 比 FP16 快將近一倍。但量化翻車的重災(zāi)區(qū)就是校準(zhǔn)集選得不對——很多人拿白天圖片做校準(zhǔn)結(jié)果夜間推理精度直接崩。校準(zhǔn)集必須按實(shí)際部署場景的分布來夜間幀占比至少 50%而且要覆蓋不同光照條件全黑、路燈、月光、車燈干擾。# TensorRT INT8 量化校準(zhǔn)集指向夜間混合數(shù)據(jù) trtexec \ --onnxyolov11s_night_pruned.onnx \ --int8 \ --calibnight_calib_cache \ --shapesimages:1x3x640x640 \ --workspace2048 \ --saveEngineyolov11s_night_int8.engine校準(zhǔn)緩存建議用 500 到 1000 張圖生成太少統(tǒng)計(jì)不準(zhǔn)太多沒必要。量化后如果發(fā)現(xiàn)某類異常行為掉點(diǎn)嚴(yán)重可以對該類相關(guān)的層做敏感度分析把最敏感的幾層保留 FP16混合精度部署。4. 避坑與排查夜間輕量化模型最容易翻車的五個(gè)地方4.1 增強(qiáng)后訓(xùn)練、原始推理精度對不上現(xiàn)象訓(xùn)練時(shí)用了夜間增強(qiáng)mAP 很好看部署時(shí)直接喂原始攝像頭幀精度掉一大截。原因模型學(xué)到的是增強(qiáng)后圖像的分布推理時(shí)輸入分布不匹配。解決推理前必須掛同樣的增強(qiáng)預(yù)處理或者訓(xùn)練時(shí)把增強(qiáng)作為在線增廣的一部分讓模型見過原始和增強(qiáng)兩種分布。我一般用后者在 dataloader 里按 50% 概率做增強(qiáng)模型魯棒性更好。4.2 剪枝后模型體積小了但推理沒變快現(xiàn)象剪枝完參數(shù)量從 9.4M 降到 4.1M但在 Jetson 上延遲只從 33ms 降到 30ms。原因剪枝只改了通道數(shù)沒有真正生成緊湊的計(jì)算圖或者剪枝后的通道數(shù)不是 8 的倍數(shù)硬件沒法加速。解決剪枝時(shí)強(qiáng)制通道數(shù)為 8 的倍數(shù)剪完用torch.jit.trace或?qū)С?ONNX 再重新編譯確認(rèn)計(jì)算圖確實(shí)變窄了。4.3 量化校準(zhǔn)集里全是白天圖現(xiàn)象INT8 量化后白天精度幾乎不變夜間 mAP 從 0.68 掉到 0.45。原因校準(zhǔn)集分布和實(shí)際推理分布不一致量化縮放因子是按白天亮度算的。解決校準(zhǔn)集夜間幀占比至少一半并且要包含極端暗幀。如果已經(jīng)量化完才發(fā)現(xiàn)重新生成校準(zhǔn)緩存比調(diào)其他參數(shù)都管用。4.4 時(shí)序分支窗口太大導(dǎo)致邊緣設(shè)備內(nèi)存溢出現(xiàn)象加了時(shí)序分支后Jetson Orin Nano 上跑幾分鐘就 OOM。原因緩存 8 幀 P3 特征圖每幀 128×80×80FP16 下約 1.6MB8 幀加上中間變量很容易超。解決把窗口降到 4 到 6或者只緩存差分特征而不是原始特征內(nèi)存能省一半以上。實(shí)在不夠就把時(shí)序分支放在 P4 上分辨率低一半。4.5 夜間誤報(bào)把樹影和動物當(dāng)成異常行為現(xiàn)象夜間模型頻繁把晃動的樹影、貓狗誤報(bào)成翻越或徘徊。原因夜間增強(qiáng)放大了背景動態(tài)時(shí)序差分對任何運(yùn)動都敏感。解決在時(shí)序分支后加一個(gè)簡單的目標(biāo)尺寸和長寬比過濾人的長寬比和運(yùn)動模式跟動物、樹影差異明顯另外訓(xùn)練時(shí)加入負(fù)樣本專門標(biāo)注樹影晃動和動物活動區(qū)域讓模型學(xué)會區(qū)分。5. 夜間輕量化模型的驗(yàn)證方法與一個(gè)實(shí)用技巧模型做完不是看訓(xùn)練日志就完事了夜間安防場景的驗(yàn)證必須貼近真實(shí)部署。我一般分三層驗(yàn)證第一層是離線指標(biāo)按光照條件分桶統(tǒng)計(jì) mAP全黑、路燈、月光、車燈干擾各算各的不能只看總體第二層是視頻級驗(yàn)證用連續(xù)錄像跑統(tǒng)計(jì)漏報(bào)和誤報(bào)的時(shí)段分布重點(diǎn)看凌晨 0 點(diǎn)到 4 點(diǎn)第三層是邊緣設(shè)備實(shí)測在 Jetson 上跑滿 24 小時(shí)看延遲抖動和內(nèi)存占用。這里有個(gè)我踩過坑之后固定下來的技巧驗(yàn)證時(shí)不要用訓(xùn)練時(shí)的增強(qiáng)參數(shù)而是用一組獨(dú)立的、更極端的夜間增強(qiáng)參數(shù)做壓力測試。比如訓(xùn)練時(shí) Gamma 上限 2.5驗(yàn)證時(shí)故意用到 3.0看模型精度掉多少。如果掉幅在 5 個(gè)點(diǎn)以內(nèi)說明模型對光照變化魯棒如果直接崩說明增強(qiáng)策略過擬合了訓(xùn)練分布需要重新調(diào)整增廣范圍。另一個(gè)實(shí)用做法是給夜間模型單獨(dú)設(shè)一套推理閾值。白天異常行為檢測閾值 0.5 沒問題夜間我一般降到 0.35同時(shí)把時(shí)序分支的融合權(quán)重提到 0.4用時(shí)序置信度補(bǔ)單幀檢測的不足。這樣漏報(bào)會明顯減少代價(jià)是誤報(bào)略升但安防場景里漏報(bào)的代價(jià)遠(yuǎn)大于誤報(bào)這個(gè)取舍是值得的。驗(yàn)證層級數(shù)據(jù)要求關(guān)鍵指標(biāo)通過標(biāo)準(zhǔn)離線分桶各光照條件≥500幀分桶 mAP0.5夜間各桶≥0.65視頻級連續(xù)24h錄像漏報(bào)率/誤報(bào)率漏報(bào)≤8%誤報(bào)≤15次/夜邊緣實(shí)測Jetson 實(shí)機(jī)延遲P99/內(nèi)存峰值延遲≤25ms內(nèi)存≤2GB最后說個(gè)習(xí)慣每次改完模型我都會把夜間驗(yàn)證集里漏報(bào)的那幾幀單獨(dú)存下來人工看一遍判斷是增強(qiáng)不夠、剪枝剪狠了還是時(shí)序窗口沒覆蓋到。這個(gè)動作花不了多少時(shí)間但能避免很多“指標(biāo)看著還行、上線就翻車”的情況。夜間安防模型沒有一勞永逸的參數(shù)只有不斷對著真實(shí)漏報(bào)幀調(diào)出來的穩(wěn)定。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取