標(biāo)注實(shí)戰(zhàn)：X-AnyLabeling+Grounded-SAM+autodistill全流程詳解)
做數(shù)據(jù)標(biāo)注這幾年我越來(lái)越覺(jué)得“標(biāo)注”本身才是很多項(xiàng)目真正的成本大頭。尤其是做分割任務(wù)一張圖拖著鼠標(biāo)把邊界一點(diǎn)點(diǎn)摳出來(lái)一晚上能做完兩百?gòu)堃呀?jīng)算手快。后來(lái)接觸到X-AnyLabeling、autodistill和Grounded-SAM這條鏈路才總算把“標(biāo)注”從純手工活變成了“先自動(dòng)生成、再人工修正”的流程。今天這篇就把我實(shí)際跑通的完整方案寫(xiě)出來(lái)從工具選型、環(huán)境部署、半自動(dòng)標(biāo)注操作到全自動(dòng)批量標(biāo)注與后續(xù)訓(xùn)練一次性講清楚希望能幫到正在為數(shù)據(jù)集發(fā)愁的讀者。這篇文章適合三類(lèi)人看一類(lèi)是算法工程師想用自動(dòng)標(biāo)注快速攢出訓(xùn)練集一類(lèi)是標(biāo)注團(tuán)隊(duì)或數(shù)據(jù)中臺(tái)的負(fù)責(zé)人想減少人工標(biāo)注工時(shí)還有一類(lèi)是剛?cè)腴T(mén)視覺(jué)方向的學(xué)生想理解“文本提示檢測(cè)分割”這套主流范式是怎么落地成工程工具的。整條鏈路核心圍繞三個(gè)工具展開(kāi)——X-AnyLabeling負(fù)責(zé)人工干預(yù)下的高效標(biāo)注Grounded-SAM負(fù)責(zé)把文本描述變成具體的檢測(cè)框和分割掩碼autodistill負(fù)責(zé)把前兩者能力封裝成一條可重復(fù)執(zhí)行的自動(dòng)標(biāo)注流水線(xiàn)。我先說(shuō)結(jié)論如果你只是需要快速標(biāo)注幾百?gòu)垐D用X-AnyLabeling配合其內(nèi)置的Segment Anything模型就夠了如果你的圖片量到了幾千甚至上萬(wàn)那必須把a(bǔ)utodistill和Grounded-SAM這套全自動(dòng)流程拉起來(lái)。下面我會(huì)把這套方案拆開(kāi)來(lái)講包括每個(gè)環(huán)節(jié)的參數(shù)怎么調(diào)、有哪些坑以及排錯(cuò)經(jīng)驗(yàn)。1. 三個(gè)工具先搞清楚各自是干嘛的1.1 X-AnyLabeling能上手改的智能標(biāo)注器X-AnyLabeling這個(gè)名字現(xiàn)在其實(shí)已經(jīng)演進(jìn)成了AnyLabeling早期版本在GitHub上還保留著X-AnyLabeling的叫法和Release包。它本質(zhì)上是一個(gè)帶GUI的標(biāo)注軟件跟LabelImg、Labelme屬于同一類(lèi)工具但區(qū)別在于它把一堆深度學(xué)習(xí)模型直接內(nèi)置進(jìn)了標(biāo)注流程里。你可以把它理解成“帶AI輔助的Photoshop”打開(kāi)一張圖點(diǎn)一下物體中心軟件就會(huì)自動(dòng)生成一個(gè)候選分割區(qū)域不滿(mǎn)意就再點(diǎn)一下背景區(qū)域它會(huì)重新計(jì)算直到區(qū)域貼合目標(biāo)邊緣。這種“正點(diǎn)負(fù)點(diǎn)”的交互方式底層是Meta的SAMSegment Anything Model在做支撐文本檢測(cè)類(lèi)的任務(wù)則可以加載GroundingDINO模型輸入一段描述文字它直接幫你把圖中所有匹配目標(biāo)框出來(lái)。我對(duì)這個(gè)工具的評(píng)價(jià)是門(mén)檻低、見(jiàn)效快。它不需要寫(xiě)代碼下載解壓就能用。對(duì)于小批量、多類(lèi)別、需要精細(xì)修正的數(shù)據(jù)集來(lái)說(shuō)是最實(shí)用的方案。它能導(dǎo)出的標(biāo)注格式覆蓋了COCO JSON、YOLO TXT、VOC XML、Mask PNG基本把主流訓(xùn)練框架要的格式都包含了后續(xù)接模型訓(xùn)練非常順。1.2 autodistill自動(dòng)標(biāo)注流水線(xiàn)autodistill是Roboflow開(kāi)源的一個(gè)自動(dòng)標(biāo)注框架。它的設(shè)計(jì)思路很有意思用一個(gè)能力很強(qiáng)的大模型比如Grounded-SAM、GroundingDINO、GPT-4V這類(lèi)當(dāng)“老師”先自動(dòng)給一批無(wú)標(biāo)注圖片生成標(biāo)簽然后再拿這批“自動(dòng)標(biāo)簽”去訓(xùn)練一個(gè)輕量級(jí)的“學(xué)生模型”比如YOLOv8讓最終部署時(shí)跑的是輕量模型而不是笨重的大模型。這個(gè)框架解決的核心問(wèn)題是大模型推理太貴、太慢沒(méi)法直接部署在產(chǎn)線(xiàn)上。但我們可以讓它先幫我們標(biāo)注數(shù)據(jù)把知識(shí)“蒸餾”到小模型里。這樣做的好處是標(biāo)注成本大幅降低而且模型可以針對(duì)自己的業(yè)務(wù)場(chǎng)景反復(fù)迭代——老師模型換一次學(xué)生模型數(shù)據(jù)就多一批。autodistill本身把很多底層細(xì)節(jié)封裝好了比如它定義了一套統(tǒng)一的Ontology概念用來(lái)描述“類(lèi)別標(biāo)簽和文本提示之間的映射關(guān)系”然后通過(guò)幾行Python代碼就能啟動(dòng)自動(dòng)標(biāo)注。它的輸出端對(duì)接了通用數(shù)據(jù)格式之后接YOLOv8、Ultralytics訓(xùn)練或者接自家Roboflow平臺(tái)都做得很順。在整套鏈路里autodill的角色是“組織者”它不自己承擔(dān)視覺(jué)理解能力而是負(fù)責(zé)調(diào)度GroundingDINO、SAM這樣的基礎(chǔ)模型把標(biāo)注任務(wù)批量執(zhí)行并把結(jié)果落盤(pán)成標(biāo)準(zhǔn)數(shù)據(jù)集。1.3 Grounded-SAM讓標(biāo)注從“畫(huà)”變成“說(shuō)”Grounded-SAM是把GroundingDINO和SAM兩個(gè)模型串聯(lián)起來(lái)的方案。GroundingDINO負(fù)責(zé)“根據(jù)文本找到目標(biāo)框”SAM負(fù)責(zé)“根據(jù)框生成精準(zhǔn)的分割圖”。這兩步組合用戶(hù)輸入的是一句話(huà)比如“a red safety helmet”輸出的是一張帶高質(zhì)量分割掩碼的標(biāo)注結(jié)果。在傳統(tǒng)標(biāo)注流程里你要畫(huà)框、摳輪廓那是“像素級(jí)勞動(dòng)”到了Grounded-SAM這里你只需要描述目標(biāo)長(zhǎng)什么樣。模型自動(dòng)掃描整張圖把跟你描述匹配的物體全部找出來(lái)并進(jìn)行實(shí)例級(jí)分割。這個(gè)能力在開(kāi)放場(chǎng)景、新品類(lèi)數(shù)據(jù)冷啟動(dòng)階段非常關(guān)鍵——你不需要為每個(gè)新類(lèi)目準(zhǔn)備大量的預(yù)標(biāo)注數(shù)據(jù)只要有一批原始圖片和一句文本描述就能生成一批可用訓(xùn)練的樣本。需要注意的是Grounded-SAM并不是一個(gè)“開(kāi)箱即用”的軟件它是一段代碼流程需要你拉倉(cāng)庫(kù)、裝依賴(lài)、下載權(quán)重然后自己寫(xiě)腳本批量執(zhí)行。這也是為什么在實(shí)際項(xiàng)目里我會(huì)把它和autodistill放在一起用讓框架替我做調(diào)度而不是每次都手寫(xiě)全套推理邏輯。工具/方案交互方式適合場(chǎng)景自動(dòng)化程度產(chǎn)出X-AnyLabelingGUI鼠標(biāo)點(diǎn)擊小批量、精細(xì)標(biāo)注、人工修正半自動(dòng)COCO/YOLO/VOC等標(biāo)注文件Grounded-SAMPython腳本批量推理、文本驅(qū)動(dòng)的檢測(cè)分割全自動(dòng)需人工抽查標(biāo)注JSON 分割掩碼autodistillPython流水線(xiàn)大規(guī)模數(shù)據(jù)生產(chǎn)、模型蒸餾全自動(dòng)標(biāo)準(zhǔn)數(shù)據(jù)集 訓(xùn)練好的輕量模型從表格可以看出這三個(gè)工具不是替代關(guān)系而是遞進(jìn)關(guān)系。我一般的工作流是先用Grounded-SAM或autodistill批量產(chǎn)出粗標(biāo)簽再用X-AnyLabeling打開(kāi)結(jié)果做人工修正最后用修正過(guò)的數(shù)據(jù)訓(xùn)練或蒸餾模型。這套組合最大的價(jià)值是把“從零到有”的數(shù)據(jù)生產(chǎn)時(shí)間壓縮到一個(gè)晚上。2. 環(huán)境部署與模型準(zhǔn)備2.1 X-AnyLabeling 的下載、啟動(dòng)與 Linux 坑X(jué)-AnyLabeling 在GitHub Release頁(yè)面直接提供編譯好的安裝包Windows下是exeLinux下是AppImage或rpm/deb包。Windows用戶(hù)下載后雙擊就能用但如果你碰到“無(wú)法打開(kāi)提示缺少DLL”之類(lèi)的情況大概率是缺VC運(yùn)行庫(kù)裝一個(gè)微軟常用運(yùn)行庫(kù)合集就能解決。Linux用戶(hù)如果下載的是AppImage記得先給文件加執(zhí)行權(quán)限chmod x AnyLabeling.AppImage ./AnyLabeling.AppImage要是AppImage啟動(dòng)時(shí)報(bào)錯(cuò)提示libfuse.so.2缺失需要先裝fuse依賴(lài)sudo apt install libfuse2這是我在Linux機(jī)器上踩過(guò)的一個(gè)很典型的坑很多剛接觸的人在這步就卡住了以為是安裝包壞了其實(shí)只是系統(tǒng)缺了一個(gè)運(yùn)行庫(kù)。安裝完成之后打開(kāi)軟件的第一件事不是急著導(dǎo)入圖片而是先把模型加載好。在設(shè)置界面里找到模型管理默認(rèn)情況下Segment Anything相關(guān)的模型和新版本內(nèi)置的其他檢測(cè)模型都需要先下載權(quán)重。權(quán)重文件會(huì)自動(dòng)下載到用戶(hù)目錄下的.anylabeling文件夾里如果下載一直失敗可以考慮手動(dòng)下載權(quán)重文件放到對(duì)應(yīng)目錄下。我建議第一次配置時(shí)選擇SAM ViT-BBase版本因?yàn)樗诰群惋@存占用之間最平衡。用ViT-H精度確實(shí)更高但對(duì)顯存要求很夸張普通消費(fèi)級(jí)顯卡容易直接崩掉。模型加載完后在工具欄里選對(duì)模型再打開(kāi)圖片目錄軟件才真正具備自動(dòng)標(biāo)注能力。2.2 Grounded-SAM 的安裝與推理驗(yàn)證Grounded-SAM的環(huán)境搭建比X-AnyLabeling復(fù)雜一些畢竟要跑的是GroundingDINO和SAM兩個(gè)模型。首先需要準(zhǔn)備一個(gè)Python環(huán)境建議直接用conda新建一個(gè)干凈的環(huán)境避免把系統(tǒng)Python搞亂conda create -n gsam python3.10 conda activate gsam pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118接著拉取Grounded-SAM的代碼倉(cāng)庫(kù)并安裝依賴(lài)git clone https://github.com/IDEA-Research/Grounded-SAM.git cd Grounded-SAM pip install -e .這里有個(gè)關(guān)鍵點(diǎn)GroundingDINO的權(quán)重文件比較大SwinT版本約700MBSwinB版本更大下載時(shí)要區(qū)分好模型名稱(chēng)和對(duì)應(yīng)配置。官方倉(cāng)庫(kù)里提供了下載鏈接把權(quán)重放在weights目錄下即可。同時(shí)還需要SAM的權(quán)重比如sam_vit_b_01ec64.pth這兩個(gè)權(quán)重文件缺一不可。裝完之后建議先跑一張官方示例圖驗(yàn)證環(huán)境。推理的核心腳本寫(xiě)法我簡(jiǎn)化一下讀者可以直接理解關(guān)鍵邏輯from groundingdino.util.inference import load_model, load_image, predict from segment_anything import sam_model_registry, SamPredictor # 加載GroundingDINO模型 det_model load_model(groundingdino/config/GroundingDINO_SwinT_OGC.py, weights/groundingdino_swint_ogc.pth) # 加載SAM模型 sam_model sam_model_registry[vit_b](checkpointweights/sam_vit_b_01ec64.pth) sam_predictor SamPredictor(sam_model)這段代碼看起來(lái)簡(jiǎn)單但實(shí)際運(yùn)行起來(lái)你會(huì)發(fā)現(xiàn)很多細(xì)節(jié)都是坑比如圖片縮放參數(shù)box_threshold和text_threshold的默認(rèn)值是0.3和0.25在復(fù)雜背景上效果往往要單獨(dú)調(diào)又比如load_image函數(shù)內(nèi)部會(huì)對(duì)圖像做resize導(dǎo)致框坐標(biāo)需要做一次映射才能回到原圖尺寸。所以我的建議是先跑通官方Demo再改自己的數(shù)據(jù)不要一上來(lái)就上生產(chǎn)目錄。2.3 環(huán)境驗(yàn)證的快速測(cè)試方法無(wú)論是X-AnyLabeling還是Grounded-SAM裝好之后的第一件事都是驗(yàn)證“最小可用閉環(huán)”。我自己的做法是先準(zhǔn)備一個(gè)約10張圖片的測(cè)試目錄里面包含你要檢測(cè)的目標(biāo)。然后在X-AnyLabeling里手動(dòng)標(biāo)注其中一張確認(rèn)能正常導(dǎo)出COCO JSON再用Grounded-SAM腳本跑同一張圖確認(rèn)輸出的JSON和掩碼坐標(biāo)正常。這個(gè)測(cè)試步驟之所以重要是因?yàn)樗芸焖俦┞董h(huán)境問(wèn)題而不用等到批量跑的時(shí)候才發(fā)現(xiàn)所有圖片都白跑了。特別是當(dāng)你想把Grounded-SAM的輸出導(dǎo)入X-AnyLabeling進(jìn)行人工修正時(shí)先在同一張圖上驗(yàn)證格式轉(zhuǎn)換通不通能省很多痛苦。3. 用 X-AnyLabeling 做人機(jī)協(xié)作的自動(dòng)標(biāo)注3.1 配置模型Segment Anything 是核心X-AnyLabeling能實(shí)現(xiàn)“點(diǎn)一下自動(dòng)出分割”核心是它集成了SAM。但SAM本身是通用模型它對(duì)所有物體都能分割卻不知道你關(guān)心哪個(gè)所以需要你用鼠標(biāo)點(diǎn)擊來(lái)引導(dǎo)點(diǎn)物體內(nèi)部它就把這個(gè)物體從背景里分出來(lái)點(diǎn)錯(cuò)了它再調(diào)整。在具體操作時(shí)我的經(jīng)驗(yàn)是先用矩形框或點(diǎn)選方式快速給目標(biāo)點(diǎn)一下讓它生成粗mask然后通過(guò)“添加正樣本點(diǎn)”和“添加負(fù)樣本點(diǎn)”來(lái)修正邊界而不是反復(fù)重新生成。如果目標(biāo)邊界和背景紋理接近就密集地在邊界內(nèi)外兩側(cè)各加幾個(gè)負(fù)樣本點(diǎn)通常兩三輪就能得到可接受的mask。這個(gè)過(guò)程很像PS里用快速選擇工具核心是多試幾次找到軟件在當(dāng)前圖片上的“手感”。模型配置時(shí)需要注意X-AnyLabeling的模型管理里除了SAM還會(huì)看到一些其他模型條目比如YOLOv8-Seg。它們的定位不同SAM是全場(chǎng)景分割泛化強(qiáng)適合精細(xì)輪廓YOLOv8-Seg是訓(xùn)練好的特定任務(wù)模型速度快但只能識(shí)別訓(xùn)練過(guò)的類(lèi)別。做新數(shù)據(jù)集的冷啟動(dòng)時(shí)我基本上只用SAM只有在某個(gè)類(lèi)別的數(shù)據(jù)已經(jīng)積累到幾百?gòu)?、想快速刷一遍是否有漏?biāo)時(shí)才會(huì)加載YOLOv8或GroundingDINO做輔助預(yù)標(biāo)注。3.2 從圖片目錄到標(biāo)注導(dǎo)出啟動(dòng)自動(dòng)標(biāo)注前先把所有待標(biāo)注圖片放到同一個(gè)文件夾然后在X-AnyLabeling左側(cè)的“打開(kāi)目錄”中選中它軟件會(huì)自動(dòng)把目錄下所有圖片按順序載入。接著把當(dāng)前圖片上的目標(biāo)逐個(gè)點(diǎn)擊生成標(biāo)注每生成一個(gè)mask給它分配類(lèi)別名稱(chēng)。做完一張按快捷鍵保存并切換下一張。導(dǎo)出時(shí)建議統(tǒng)一選擇COCO格式。雖然YOLO格式也很常用但COCO JSON包含完整的類(lèi)別映射信息方便后續(xù)在不同工具之間流轉(zhuǎn)。比如你導(dǎo)出的COCO文件可以被寫(xiě)腳本轉(zhuǎn)成autodistill能讀的格式也能通過(guò)工具轉(zhuǎn)回Labelme格式做再修正。這里有一個(gè)操作習(xí)慣值得多說(shuō)一句在標(biāo)注過(guò)程中一定要隨時(shí)保存X-AnyLabeling對(duì)未保存的標(biāo)注切換圖片后不會(huì)自動(dòng)存一旦切換再切回來(lái)未保存的標(biāo)注就丟了。這個(gè)我丟過(guò)一整批圖印象極深。批量標(biāo)注到一半發(fā)現(xiàn)某個(gè)類(lèi)名寫(xiě)錯(cuò)了不要慌張。COCO JSON導(dǎo)出來(lái)后可以全局替換類(lèi)別名也可以在軟件里批量修改標(biāo)簽。如果你還沒(méi)導(dǎo)出最快的辦法是直接在標(biāo)注列表里修改當(dāng)前圖片的類(lèi)別文本框如果已經(jīng)導(dǎo)出了建議寫(xiě)一個(gè)三行的Python腳本批量替換JSON里的category名字而不是回到軟件里逐張改。3.3 人工審查與修正的注意點(diǎn)用X-AnyLabeling做半自動(dòng)標(biāo)注最大的優(yōu)勢(shì)在于可以即時(shí)修正最怕的是機(jī)械勞動(dòng)導(dǎo)致視覺(jué)疲勞、漏標(biāo)錯(cuò)標(biāo)。我的經(jīng)驗(yàn)是每連續(xù)標(biāo)注30分鐘左右就休息幾分鐘回看之前標(biāo)注的結(jié)果重點(diǎn)關(guān)注兩類(lèi)問(wèn)題一是漏標(biāo)——圖片中某些目標(biāo)沒(méi)有被任何mask覆蓋二是邊界粗糙——邊緣明顯包含了大面積背景。針對(duì)漏標(biāo)問(wèn)題可以用一個(gè)笨辦法解決在模型生成mask后軟件會(huì)在圖上高亮所有已標(biāo)注區(qū)域切換圖片時(shí)花兩秒掃一眼整張圖有沒(méi)有高亮以外的同類(lèi)別目標(biāo)。針對(duì)邊界問(wèn)題則主動(dòng)利用負(fù)樣本點(diǎn)去“推”邊界。如果你發(fā)現(xiàn)SAM在當(dāng)前數(shù)據(jù)集上生成的分割老是偏大或偏小這可能不是操作問(wèn)題而是輸入圖片的尺寸和物體尺度分布問(wèn)題必要時(shí)把圖片縮放一下再標(biāo)注。另外要養(yǎng)成一個(gè)好習(xí)慣每標(biāo)注完一個(gè)子目錄就導(dǎo)出一次COCO并備份到獨(dú)立文件夾。自動(dòng)標(biāo)注工具版本的升級(jí)、權(quán)重緩存清理、甚至軟件崩潰都可能導(dǎo)致標(biāo)注緩存丟失。批次備份能保證你最多損失最近一批的工作量而不是整個(gè)項(xiàng)目的成果。4. 用 autodistill Grounded-SAM 跑全自動(dòng)標(biāo)注4.1 autodistill 的流程邏輯大模型打樣小模型蒸餾如果說(shuō)X-AnyLabeling是“人機(jī)協(xié)作”那autodistill就是“機(jī)器全包”。在數(shù)據(jù)量大到人工標(biāo)注不現(xiàn)實(shí)時(shí)autodistill給出了一套標(biāo)準(zhǔn)解法用超大視覺(jué)模型先生產(chǎn)標(biāo)注產(chǎn)物即數(shù)據(jù)集再用這個(gè)數(shù)據(jù)集訓(xùn)練小模型最終交付一個(gè)小而快的推理模型。理解這套邏輯的關(guān)鍵是先理解Ontology。在autodistill里Ontology定義了從“自然語(yǔ)言提示”到“訓(xùn)練標(biāo)簽”的映射關(guān)系。比如你的任務(wù)是要檢測(cè)“安全帽”和“反光衣”那么Ontology大概是這樣的from autodistill.detection import CaptionOntology ontology CaptionOntology({ a person wearing a safety helmet: helmet, a person wearing a reflective vest: vest })這個(gè)映射表達(dá)的意思是在圖片里找到“戴安全帽的人”對(duì)應(yīng)的區(qū)域把它標(biāo)記為類(lèi)別helmet找到“穿反光衣的人”對(duì)應(yīng)的區(qū)域標(biāo)記為類(lèi)別vest。模型的檢測(cè)能力來(lái)自GroundingDINO的開(kāi)放詞匯理解對(duì)于未見(jiàn)過(guò)的類(lèi)別只要語(yǔ)義描述足夠準(zhǔn)確它也能找到目標(biāo)。之后把圖片目錄和Ontology傳給標(biāo)注器這里用的是GroundedSAM它會(huì)批量執(zhí)行檢測(cè)、分割、寫(xiě)入標(biāo)注文件整個(gè)過(guò)程不需要人工干預(yù)。標(biāo)注完成后你可以立即把它喂給YOLOv8這類(lèi)學(xué)生模型訓(xùn)練完成知識(shí)蒸餾。4.2 關(guān)鍵代碼實(shí)操與參數(shù)解讀下面這段代碼是我在實(shí)際項(xiàng)目中跑通的最小可用版本。先用GroundedSAM標(biāo)注數(shù)據(jù)再直接訓(xùn)練一個(gè)YOLOv8檢測(cè)模型from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology from autodistill_yolov8 import YOLOv8 # 明確文本提示到類(lèi)別標(biāo)簽的映射 ontology CaptionOntology({ a person wearing a safety helmet: helmet, a person wearing a reflective vest: vest }) # 初始化base model老師模型 base_model GroundedSAM(ontologyontology) # 自動(dòng)標(biāo)注整個(gè)圖片目錄結(jié)果保存到dataset_folder dataset_folder ./auto_labeled_dataset base_model.label( input_folder./raw_images, output_folderdataset_folder ) # 用生成的標(biāo)注訓(xùn)練一個(gè)輕量級(jí)YOLOv8模型學(xué)生模型 target_model YOLOv8(ontologyontology) target_model.train(dataset_folder, epochs50)這里有幾個(gè)參數(shù)需要特別留意。第一個(gè)是CaptionOntology中的文本提示詞它直接決定老師模型的召回率。我的經(jīng)驗(yàn)是提示詞不能太抽象最好包含目標(biāo)的外觀特征和語(yǔ)境信息比如“a red safety helmet on a persons head”往往比“helmet”更穩(wěn)。第二個(gè)是label方法內(nèi)部有box_threshold和text_threshold參數(shù)默認(rèn)值在復(fù)雜場(chǎng)景下可能需要調(diào)整降低box_threshold會(huì)召回更多候選框但也會(huì)帶來(lái)更多誤檢。訓(xùn)練階段初學(xué)者容易忽略的一點(diǎn)是YOLOv8作為學(xué)生模型輸出的類(lèi)別順序必須和Ontology的鍵順序保持一致。如果你在中途修改了Ontology、增刪了類(lèi)別必須重新執(zhí)行標(biāo)注否則訓(xùn)練時(shí)的類(lèi)別索引會(huì)錯(cuò)位。這個(gè)錯(cuò)位在訓(xùn)練日志里不會(huì)報(bào)錯(cuò)只會(huì)表現(xiàn)為模型推理結(jié)果張冠李戴特別坑。4.3 批量目錄的標(biāo)注節(jié)奏與數(shù)據(jù)質(zhì)控用autodistill跑幾千張圖并不難難的是“跑完之后怎么確定數(shù)據(jù)能用”。我的建議是不要一次性把幾萬(wàn)張圖都扔進(jìn)去而是分批操作第一批先放200張圖跑完后人工抽樣檢查50張統(tǒng)計(jì)漏檢率和誤檢率調(diào)整提示詞和閾值參數(shù)再放量到全量數(shù)據(jù)。另外autodistill生成的標(biāo)注質(zhì)量嚴(yán)重依賴(lài)圖片本身的復(fù)雜程度。如果你的圖片里有大量遮擋、小目標(biāo)、密集排列老師模型的表現(xiàn)會(huì)明顯下降。此時(shí)靠修改閾值已經(jīng)不夠我通常會(huì)把這類(lèi)難樣本挑出來(lái)單獨(dú)走X-AnyLabeling半自動(dòng)路線(xiàn)和全自動(dòng)流程互補(bǔ)。數(shù)據(jù)質(zhì)控還有一個(gè)容易被忽略的點(diǎn)標(biāo)注結(jié)果里的“空標(biāo)注”圖片。autodistill跑完后部分圖片可能一個(gè)目標(biāo)都沒(méi)檢測(cè)到。這些圖片在標(biāo)注層是“空的”但它們依然會(huì)被計(jì)入訓(xùn)練集。如果這類(lèi)圖片占比過(guò)高會(huì)拉低模型精度。我一般會(huì)統(tǒng)計(jì)空白標(biāo)注的比例超過(guò)5%就說(shuō)明提示詞或閾值設(shè)置有問(wèn)題需要回到上一環(huán)節(jié)重新調(diào)整而不是直接開(kāi)始訓(xùn)練。5. 常見(jiàn)問(wèn)題與排查技巧5.1 顯存與速度模型退化與參數(shù)平衡跑Grounded-SAM時(shí)顯存是最大的瓶頸。GroundingDINO本身占一部分顯存SAM推理又需要額外的顯存存儲(chǔ)圖像embedding在ViT-H模型下一張1080p圖片就能吃掉接近10GB顯存。如果顯卡只有8GB顯存基本只能跑ViT-B而且圖片分辨率還要適當(dāng)壓縮。解決思路有幾種一是降低輸入圖片尺寸比如把長(zhǎng)邊縮放到640或800Grounded-SAM檢測(cè)分割這類(lèi)任務(wù)并不需要2K原圖二是直接換用更小的SAM變體比如MA-SAM或MobileSAM后者在CPU上都能跑精度略有下降但速度提升明顯三是調(diào)整autodistill的batch_size甚至設(shè)置為1逐張推理。性能優(yōu)先還是精度優(yōu)先取決于你的實(shí)際場(chǎng)景不要無(wú)腦上大模型。5.2 GroundingDINO 漏檢怎么辦漏檢是Grounded-SAM流程里最常遇到的問(wèn)題。排查方向要區(qū)分具體原因我用一個(gè)表格把常見(jiàn)情況列出來(lái)方便對(duì)照解決癥狀可能原因排查/解決辦法目標(biāo)很大但檢測(cè)不出框文本提示詞和實(shí)際目標(biāo)語(yǔ)義差異過(guò)大把提示詞寫(xiě)細(xì)一點(diǎn)加上目標(biāo)顏色、材質(zhì)、佩戴方式等限定詞小目標(biāo)全部漏檢box_threshold過(guò)高把檢測(cè)閾值從0.3降到0.2觀察召回變化部分圖片漏檢、部分正常圖片亮度過(guò)低或遮擋嚴(yán)重單獨(dú)抽檢難樣本必要時(shí)對(duì)圖片做增強(qiáng)或重拍檢出一堆背景誤檢text_threshold過(guò)低或提示詞太泛提高text_threshold或把提示詞改成更具體的描述調(diào)試漏檢時(shí)最有效的手段不是反復(fù)改參數(shù)而是先把檢測(cè)可視化出來(lái)。把Grounded-SAM的框畫(huà)在圖上人工看是一目了然的。漏檢和誤檢的平衡點(diǎn)在不同數(shù)據(jù)集上都不一樣如果你希望模型更保守、只標(biāo)注非常確信的目標(biāo)那就把閾值調(diào)高如果更看重召回率、寧可后續(xù)人工刪掉誤檢框那就調(diào)低。5.3 標(biāo)注格式轉(zhuǎn)換與數(shù)據(jù)一致性在X-AnyLabeling、autodistill和Grounded-SAM三者之間流轉(zhuǎn)數(shù)據(jù)最隱蔽的問(wèn)題就是格式不一致。同樣一個(gè)COCO JSON有的工具讀category_id從1開(kāi)始有的從0開(kāi)始有的掩碼是RLE編碼有的是多邊形坐標(biāo)。一旦混用訓(xùn)練時(shí)類(lèi)別錯(cuò)亂、mask錯(cuò)位很難排查。我的建議是確立一個(gè)“數(shù)據(jù)中轉(zhuǎn)格式”所有工具都統(tǒng)一走這個(gè)格式。目前比較穩(wěn)妥的選擇是用COCO JSON作為中轉(zhuǎn)格式搭配一個(gè)自己維護(hù)的轉(zhuǎn)換腳本。比如把X-AnyLabeling導(dǎo)出的COCO轉(zhuǎn)成autodistill認(rèn)識(shí)的目錄結(jié)構(gòu)時(shí)腳本負(fù)責(zé)重新編號(hào)類(lèi)別、把多邊形轉(zhuǎn)成掩碼保證兩邊類(lèi)別順序一致。這里沒(méi)什么高深技術(shù)就是笨功夫但數(shù)據(jù)一致性一旦做好后面的訓(xùn)練會(huì)順利非常多。最后分享兩個(gè)習(xí)慣我實(shí)際操作下來(lái)最大的體會(huì)是“自動(dòng)標(biāo)注不是替你省掉人工而是把人工從畫(huà)邊界變成了審查結(jié)果”。很多人上了自動(dòng)標(biāo)注工具后覺(jué)得可以完全放手結(jié)果訓(xùn)練出來(lái)的模型漏檢一堆最后還得回頭重標(biāo)。更靠譜的做法是始終保留一個(gè)“人工抽查修正”的閉環(huán)機(jī)器批量產(chǎn)出人工抽檢把關(guān)這樣質(zhì)量和效率才都能兼顧。另有一個(gè)很實(shí)用的小技巧用Grounded-SAM批量跑完數(shù)據(jù)后不要把原始輸出直接刪掉。保留檢測(cè)框坐標(biāo)、檢測(cè)分?jǐn)?shù)、文本提示詞這三個(gè)字段后期如果發(fā)現(xiàn)模型對(duì)某個(gè)類(lèi)別召回不夠還能回溯到原始檢測(cè)結(jié)果通過(guò)調(diào)低閾值重新導(dǎo)出而不用二次調(diào)用大模型。這在數(shù)據(jù)迭代中能省下不少重復(fù)計(jì)算量。以上就是我從工具選型到落地排錯(cuò)的全過(guò)程讀者照著走一遍應(yīng)該能少踩不少坑。 自動(dòng)標(biāo)注實(shí)戰(zhàn)：X-AnyLabeling+Grounded-SAM+autodistill全流程詳解
做數(shù)據(jù)標(biāo)注這幾年我越來(lái)越覺(jué)得“標(biāo)注”本身才是很多項(xiàng)目真正的成本大頭。尤其是做分割任務(wù)一張圖拖著鼠標(biāo)把邊界一點(diǎn)點(diǎn)摳出來(lái)一晚上能做完兩百?gòu)堃呀?jīng)算手快。后來(lái)接觸到X-AnyLabeling、autodistill和Grounded-SAM這條鏈路才總算把“標(biāo)注”從純手工活變成了“先自動(dòng)生成、再人工修正”的流程。今天這篇就把我實(shí)際跑通的完整方案寫(xiě)出來(lái)從工具選型、環(huán)境部署、半自動(dòng)標(biāo)注操作到全自動(dòng)批量標(biāo)注與后續(xù)訓(xùn)練一次性講清楚希望能幫到正在為數(shù)據(jù)集發(fā)愁的讀者。這篇文章適合三類(lèi)人看一類(lèi)是算法工程師想用自動(dòng)標(biāo)注快速攢出訓(xùn)練集一類(lèi)是標(biāo)注團(tuán)隊(duì)或數(shù)據(jù)中臺(tái)的負(fù)責(zé)人想減少人工標(biāo)注工時(shí)還有一類(lèi)是剛?cè)腴T(mén)視覺(jué)方向的學(xué)生想理解“文本提示檢測(cè)分割”這套主流范式是怎么落地成工程工具的。整條鏈路核心圍繞三個(gè)工具展開(kāi)——X-AnyLabeling負(fù)責(zé)人工干預(yù)下的高效標(biāo)注Grounded-SAM負(fù)責(zé)把文本描述變成具體的檢測(cè)框和分割掩碼autodistill負(fù)責(zé)把前兩者能力封裝成一條可重復(fù)執(zhí)行的自動(dòng)標(biāo)注流水線(xiàn)。我先說(shuō)結(jié)論如果你只是需要快速標(biāo)注幾百?gòu)垐D用X-AnyLabeling配合其內(nèi)置的Segment Anything模型就夠了如果你的圖片量到了幾千甚至上萬(wàn)那必須把a(bǔ)utodistill和Grounded-SAM這套全自動(dòng)流程拉起來(lái)。下面我會(huì)把這套方案拆開(kāi)來(lái)講包括每個(gè)環(huán)節(jié)的參數(shù)怎么調(diào)、有哪些坑以及排錯(cuò)經(jīng)驗(yàn)。1. 三個(gè)工具先搞清楚各自是干嘛的1.1 X-AnyLabeling能上手改的智能標(biāo)注器X-AnyLabeling這個(gè)名字現(xiàn)在其實(shí)已經(jīng)演進(jìn)成了AnyLabeling早期版本在GitHub上還保留著X-AnyLabeling的叫法和Release包。它本質(zhì)上是一個(gè)帶GUI的標(biāo)注軟件跟LabelImg、Labelme屬于同一類(lèi)工具但區(qū)別在于它把一堆深度學(xué)習(xí)模型直接內(nèi)置進(jìn)了標(biāo)注流程里。你可以把它理解成“帶AI輔助的Photoshop”打開(kāi)一張圖點(diǎn)一下物體中心軟件就會(huì)自動(dòng)生成一個(gè)候選分割區(qū)域不滿(mǎn)意就再點(diǎn)一下背景區(qū)域它會(huì)重新計(jì)算直到區(qū)域貼合目標(biāo)邊緣。這種“正點(diǎn)負(fù)點(diǎn)”的交互方式底層是Meta的SAMSegment Anything Model在做支撐文本檢測(cè)類(lèi)的任務(wù)則可以加載GroundingDINO模型輸入一段描述文字它直接幫你把圖中所有匹配目標(biāo)框出來(lái)。我對(duì)這個(gè)工具的評(píng)價(jià)是門(mén)檻低、見(jiàn)效快。它不需要寫(xiě)代碼下載解壓就能用。對(duì)于小批量、多類(lèi)別、需要精細(xì)修正的數(shù)據(jù)集來(lái)說(shuō)是最實(shí)用的方案。它能導(dǎo)出的標(biāo)注格式覆蓋了COCO JSON、YOLO TXT、VOC XML、Mask PNG基本把主流訓(xùn)練框架要的格式都包含了后續(xù)接模型訓(xùn)練非常順。1.2 autodistill自動(dòng)標(biāo)注流水線(xiàn)autodistill是Roboflow開(kāi)源的一個(gè)自動(dòng)標(biāo)注框架。它的設(shè)計(jì)思路很有意思用一個(gè)能力很強(qiáng)的大模型比如Grounded-SAM、GroundingDINO、GPT-4V這類(lèi)當(dāng)“老師”先自動(dòng)給一批無(wú)標(biāo)注圖片生成標(biāo)簽然后再拿這批“自動(dòng)標(biāo)簽”去訓(xùn)練一個(gè)輕量級(jí)的“學(xué)生模型”比如YOLOv8讓最終部署時(shí)跑的是輕量模型而不是笨重的大模型。這個(gè)框架解決的核心問(wèn)題是大模型推理太貴、太慢沒(méi)法直接部署在產(chǎn)線(xiàn)上。但我們可以讓它先幫我們標(biāo)注數(shù)據(jù)把知識(shí)“蒸餾”到小模型里。這樣做的好處是標(biāo)注成本大幅降低而且模型可以針對(duì)自己的業(yè)務(wù)場(chǎng)景反復(fù)迭代——老師模型換一次學(xué)生模型數(shù)據(jù)就多一批。autodistill本身把很多底層細(xì)節(jié)封裝好了比如它定義了一套統(tǒng)一的Ontology概念用來(lái)描述“類(lèi)別標(biāo)簽和文本提示之間的映射關(guān)系”然后通過(guò)幾行Python代碼就能啟動(dòng)自動(dòng)標(biāo)注。它的輸出端對(duì)接了通用數(shù)據(jù)格式之后接YOLOv8、Ultralytics訓(xùn)練或者接自家Roboflow平臺(tái)都做得很順。在整套鏈路里autodill的角色是“組織者”它不自己承擔(dān)視覺(jué)理解能力而是負(fù)責(zé)調(diào)度GroundingDINO、SAM這樣的基礎(chǔ)模型把標(biāo)注任務(wù)批量執(zhí)行并把結(jié)果落盤(pán)成標(biāo)準(zhǔn)數(shù)據(jù)集。1.3 Grounded-SAM讓標(biāo)注從“畫(huà)”變成“說(shuō)”Grounded-SAM是把GroundingDINO和SAM兩個(gè)模型串聯(lián)起來(lái)的方案。GroundingDINO負(fù)責(zé)“根據(jù)文本找到目標(biāo)框”SAM負(fù)責(zé)“根據(jù)框生成精準(zhǔn)的分割圖”。這兩步組合用戶(hù)輸入的是一句話(huà)比如“a red safety helmet”輸出的是一張帶高質(zhì)量分割掩碼的標(biāo)注結(jié)果。在傳統(tǒng)標(biāo)注流程里你要畫(huà)框、摳輪廓那是“像素級(jí)勞動(dòng)”到了Grounded-SAM這里你只需要描述目標(biāo)長(zhǎng)什么樣。模型自動(dòng)掃描整張圖把跟你描述匹配的物體全部找出來(lái)并進(jìn)行實(shí)例級(jí)分割。這個(gè)能力在開(kāi)放場(chǎng)景、新品類(lèi)數(shù)據(jù)冷啟動(dòng)階段非常關(guān)鍵——你不需要為每個(gè)新類(lèi)目準(zhǔn)備大量的預(yù)標(biāo)注數(shù)據(jù)只要有一批原始圖片和一句文本描述就能生成一批可用訓(xùn)練的樣本。需要注意的是Grounded-SAM并不是一個(gè)“開(kāi)箱即用”的軟件它是一段代碼流程需要你拉倉(cāng)庫(kù)、裝依賴(lài)、下載權(quán)重然后自己寫(xiě)腳本批量執(zhí)行。這也是為什么在實(shí)際項(xiàng)目里我會(huì)把它和autodistill放在一起用讓框架替我做調(diào)度而不是每次都手寫(xiě)全套推理邏輯。工具/方案交互方式適合場(chǎng)景自動(dòng)化程度產(chǎn)出X-AnyLabelingGUI鼠標(biāo)點(diǎn)擊小批量、精細(xì)標(biāo)注、人工修正半自動(dòng)COCO/YOLO/VOC等標(biāo)注文件Grounded-SAMPython腳本批量推理、文本驅(qū)動(dòng)的檢測(cè)分割全自動(dòng)需人工抽查標(biāo)注JSON 分割掩碼autodistillPython流水線(xiàn)大規(guī)模數(shù)據(jù)生產(chǎn)、模型蒸餾全自動(dòng)標(biāo)準(zhǔn)數(shù)據(jù)集 訓(xùn)練好的輕量模型從表格可以看出這三個(gè)工具不是替代關(guān)系而是遞進(jìn)關(guān)系。我一般的工作流是先用Grounded-SAM或autodistill批量產(chǎn)出粗標(biāo)簽再用X-AnyLabeling打開(kāi)結(jié)果做人工修正最后用修正過(guò)的數(shù)據(jù)訓(xùn)練或蒸餾模型。這套組合最大的價(jià)值是把“從零到有”的數(shù)據(jù)生產(chǎn)時(shí)間壓縮到一個(gè)晚上。2. 環(huán)境部署與模型準(zhǔn)備2.1 X-AnyLabeling 的下載、啟動(dòng)與 Linux 坑X(jué)-AnyLabeling 在GitHub Release頁(yè)面直接提供編譯好的安裝包Windows下是exeLinux下是AppImage或rpm/deb包。Windows用戶(hù)下載后雙擊就能用但如果你碰到“無(wú)法打開(kāi)提示缺少DLL”之類(lèi)的情況大概率是缺VC運(yùn)行庫(kù)裝一個(gè)微軟常用運(yùn)行庫(kù)合集就能解決。Linux用戶(hù)如果下載的是AppImage記得先給文件加執(zhí)行權(quán)限chmod x AnyLabeling.AppImage ./AnyLabeling.AppImage要是AppImage啟動(dòng)時(shí)報(bào)錯(cuò)提示libfuse.so.2缺失需要先裝fuse依賴(lài)sudo apt install libfuse2這是我在Linux機(jī)器上踩過(guò)的一個(gè)很典型的坑很多剛接觸的人在這步就卡住了以為是安裝包壞了其實(shí)只是系統(tǒng)缺了一個(gè)運(yùn)行庫(kù)。安裝完成之后打開(kāi)軟件的第一件事不是急著導(dǎo)入圖片而是先把模型加載好。在設(shè)置界面里找到模型管理默認(rèn)情況下Segment Anything相關(guān)的模型和新版本內(nèi)置的其他檢測(cè)模型都需要先下載權(quán)重。權(quán)重文件會(huì)自動(dòng)下載到用戶(hù)目錄下的.anylabeling文件夾里如果下載一直失敗可以考慮手動(dòng)下載權(quán)重文件放到對(duì)應(yīng)目錄下。我建議第一次配置時(shí)選擇SAM ViT-BBase版本因?yàn)樗诰群惋@存占用之間最平衡。用ViT-H精度確實(shí)更高但對(duì)顯存要求很夸張普通消費(fèi)級(jí)顯卡容易直接崩掉。模型加載完后在工具欄里選對(duì)模型再打開(kāi)圖片目錄軟件才真正具備自動(dòng)標(biāo)注能力。2.2 Grounded-SAM 的安裝與推理驗(yàn)證Grounded-SAM的環(huán)境搭建比X-AnyLabeling復(fù)雜一些畢竟要跑的是GroundingDINO和SAM兩個(gè)模型。首先需要準(zhǔn)備一個(gè)Python環(huán)境建議直接用conda新建一個(gè)干凈的環(huán)境避免把系統(tǒng)Python搞亂conda create -n gsam python3.10 conda activate gsam pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118接著拉取Grounded-SAM的代碼倉(cāng)庫(kù)并安裝依賴(lài)git clone https://github.com/IDEA-Research/Grounded-SAM.git cd Grounded-SAM pip install -e .這里有個(gè)關(guān)鍵點(diǎn)GroundingDINO的權(quán)重文件比較大SwinT版本約700MBSwinB版本更大下載時(shí)要區(qū)分好模型名稱(chēng)和對(duì)應(yīng)配置。官方倉(cāng)庫(kù)里提供了下載鏈接把權(quán)重放在weights目錄下即可。同時(shí)還需要SAM的權(quán)重比如sam_vit_b_01ec64.pth這兩個(gè)權(quán)重文件缺一不可。裝完之后建議先跑一張官方示例圖驗(yàn)證環(huán)境。推理的核心腳本寫(xiě)法我簡(jiǎn)化一下讀者可以直接理解關(guān)鍵邏輯from groundingdino.util.inference import load_model, load_image, predict from segment_anything import sam_model_registry, SamPredictor # 加載GroundingDINO模型 det_model load_model(groundingdino/config/GroundingDINO_SwinT_OGC.py, weights/groundingdino_swint_ogc.pth) # 加載SAM模型 sam_model sam_model_registry[vit_b](checkpointweights/sam_vit_b_01ec64.pth) sam_predictor SamPredictor(sam_model)這段代碼看起來(lái)簡(jiǎn)單但實(shí)際運(yùn)行起來(lái)你會(huì)發(fā)現(xiàn)很多細(xì)節(jié)都是坑比如圖片縮放參數(shù)box_threshold和text_threshold的默認(rèn)值是0.3和0.25在復(fù)雜背景上效果往往要單獨(dú)調(diào)又比如load_image函數(shù)內(nèi)部會(huì)對(duì)圖像做resize導(dǎo)致框坐標(biāo)需要做一次映射才能回到原圖尺寸。所以我的建議是先跑通官方Demo再改自己的數(shù)據(jù)不要一上來(lái)就上生產(chǎn)目錄。2.3 環(huán)境驗(yàn)證的快速測(cè)試方法無(wú)論是X-AnyLabeling還是Grounded-SAM裝好之后的第一件事都是驗(yàn)證“最小可用閉環(huán)”。我自己的做法是先準(zhǔn)備一個(gè)約10張圖片的測(cè)試目錄里面包含你要檢測(cè)的目標(biāo)。然后在X-AnyLabeling里手動(dòng)標(biāo)注其中一張確認(rèn)能正常導(dǎo)出COCO JSON再用Grounded-SAM腳本跑同一張圖確認(rèn)輸出的JSON和掩碼坐標(biāo)正常。這個(gè)測(cè)試步驟之所以重要是因?yàn)樗芸焖俦┞董h(huán)境問(wèn)題而不用等到批量跑的時(shí)候才發(fā)現(xiàn)所有圖片都白跑了。特別是當(dāng)你想把Grounded-SAM的輸出導(dǎo)入X-AnyLabeling進(jìn)行人工修正時(shí)先在同一張圖上驗(yàn)證格式轉(zhuǎn)換通不通能省很多痛苦。3. 用 X-AnyLabeling 做人機(jī)協(xié)作的自動(dòng)標(biāo)注3.1 配置模型Segment Anything 是核心X-AnyLabeling能實(shí)現(xiàn)“點(diǎn)一下自動(dòng)出分割”核心是它集成了SAM。但SAM本身是通用模型它對(duì)所有物體都能分割卻不知道你關(guān)心哪個(gè)所以需要你用鼠標(biāo)點(diǎn)擊來(lái)引導(dǎo)點(diǎn)物體內(nèi)部它就把這個(gè)物體從背景里分出來(lái)點(diǎn)錯(cuò)了它再調(diào)整。在具體操作時(shí)我的經(jīng)驗(yàn)是先用矩形框或點(diǎn)選方式快速給目標(biāo)點(diǎn)一下讓它生成粗mask然后通過(guò)“添加正樣本點(diǎn)”和“添加負(fù)樣本點(diǎn)”來(lái)修正邊界而不是反復(fù)重新生成。如果目標(biāo)邊界和背景紋理接近就密集地在邊界內(nèi)外兩側(cè)各加幾個(gè)負(fù)樣本點(diǎn)通常兩三輪就能得到可接受的mask。這個(gè)過(guò)程很像PS里用快速選擇工具核心是多試幾次找到軟件在當(dāng)前圖片上的“手感”。模型配置時(shí)需要注意X-AnyLabeling的模型管理里除了SAM還會(huì)看到一些其他模型條目比如YOLOv8-Seg。它們的定位不同SAM是全場(chǎng)景分割泛化強(qiáng)適合精細(xì)輪廓YOLOv8-Seg是訓(xùn)練好的特定任務(wù)模型速度快但只能識(shí)別訓(xùn)練過(guò)的類(lèi)別。做新數(shù)據(jù)集的冷啟動(dòng)時(shí)我基本上只用SAM只有在某個(gè)類(lèi)別的數(shù)據(jù)已經(jīng)積累到幾百?gòu)?、想快速刷一遍是否有漏?biāo)時(shí)才會(huì)加載YOLOv8或GroundingDINO做輔助預(yù)標(biāo)注。3.2 從圖片目錄到標(biāo)注導(dǎo)出啟動(dòng)自動(dòng)標(biāo)注前先把所有待標(biāo)注圖片放到同一個(gè)文件夾然后在X-AnyLabeling左側(cè)的“打開(kāi)目錄”中選中它軟件會(huì)自動(dòng)把目錄下所有圖片按順序載入。接著把當(dāng)前圖片上的目標(biāo)逐個(gè)點(diǎn)擊生成標(biāo)注每生成一個(gè)mask給它分配類(lèi)別名稱(chēng)。做完一張按快捷鍵保存并切換下一張。導(dǎo)出時(shí)建議統(tǒng)一選擇COCO格式。雖然YOLO格式也很常用但COCO JSON包含完整的類(lèi)別映射信息方便后續(xù)在不同工具之間流轉(zhuǎn)。比如你導(dǎo)出的COCO文件可以被寫(xiě)腳本轉(zhuǎn)成autodistill能讀的格式也能通過(guò)工具轉(zhuǎn)回Labelme格式做再修正。這里有一個(gè)操作習(xí)慣值得多說(shuō)一句在標(biāo)注過(guò)程中一定要隨時(shí)保存X-AnyLabeling對(duì)未保存的標(biāo)注切換圖片后不會(huì)自動(dòng)存一旦切換再切回來(lái)未保存的標(biāo)注就丟了。這個(gè)我丟過(guò)一整批圖印象極深。批量標(biāo)注到一半發(fā)現(xiàn)某個(gè)類(lèi)名寫(xiě)錯(cuò)了不要慌張。COCO JSON導(dǎo)出來(lái)后可以全局替換類(lèi)別名也可以在軟件里批量修改標(biāo)簽。如果你還沒(méi)導(dǎo)出最快的辦法是直接在標(biāo)注列表里修改當(dāng)前圖片的類(lèi)別文本框如果已經(jīng)導(dǎo)出了建議寫(xiě)一個(gè)三行的Python腳本批量替換JSON里的category名字而不是回到軟件里逐張改。3.3 人工審查與修正的注意點(diǎn)用X-AnyLabeling做半自動(dòng)標(biāo)注最大的優(yōu)勢(shì)在于可以即時(shí)修正最怕的是機(jī)械勞動(dòng)導(dǎo)致視覺(jué)疲勞、漏標(biāo)錯(cuò)標(biāo)。我的經(jīng)驗(yàn)是每連續(xù)標(biāo)注30分鐘左右就休息幾分鐘回看之前標(biāo)注的結(jié)果重點(diǎn)關(guān)注兩類(lèi)問(wèn)題一是漏標(biāo)——圖片中某些目標(biāo)沒(méi)有被任何mask覆蓋二是邊界粗糙——邊緣明顯包含了大面積背景。針對(duì)漏標(biāo)問(wèn)題可以用一個(gè)笨辦法解決在模型生成mask后軟件會(huì)在圖上高亮所有已標(biāo)注區(qū)域切換圖片時(shí)花兩秒掃一眼整張圖有沒(méi)有高亮以外的同類(lèi)別目標(biāo)。針對(duì)邊界問(wèn)題則主動(dòng)利用負(fù)樣本點(diǎn)去“推”邊界。如果你發(fā)現(xiàn)SAM在當(dāng)前數(shù)據(jù)集上生成的分割老是偏大或偏小這可能不是操作問(wèn)題而是輸入圖片的尺寸和物體尺度分布問(wèn)題必要時(shí)把圖片縮放一下再標(biāo)注。另外要養(yǎng)成一個(gè)好習(xí)慣每標(biāo)注完一個(gè)子目錄就導(dǎo)出一次COCO并備份到獨(dú)立文件夾。自動(dòng)標(biāo)注工具版本的升級(jí)、權(quán)重緩存清理、甚至軟件崩潰都可能導(dǎo)致標(biāo)注緩存丟失。批次備份能保證你最多損失最近一批的工作量而不是整個(gè)項(xiàng)目的成果。4. 用 autodistill Grounded-SAM 跑全自動(dòng)標(biāo)注4.1 autodistill 的流程邏輯大模型打樣小模型蒸餾如果說(shuō)X-AnyLabeling是“人機(jī)協(xié)作”那autodistill就是“機(jī)器全包”。在數(shù)據(jù)量大到人工標(biāo)注不現(xiàn)實(shí)時(shí)autodistill給出了一套標(biāo)準(zhǔn)解法用超大視覺(jué)模型先生產(chǎn)標(biāo)注產(chǎn)物即數(shù)據(jù)集再用這個(gè)數(shù)據(jù)集訓(xùn)練小模型最終交付一個(gè)小而快的推理模型。理解這套邏輯的關(guān)鍵是先理解Ontology。在autodistill里Ontology定義了從“自然語(yǔ)言提示”到“訓(xùn)練標(biāo)簽”的映射關(guān)系。比如你的任務(wù)是要檢測(cè)“安全帽”和“反光衣”那么Ontology大概是這樣的from autodistill.detection import CaptionOntology ontology CaptionOntology({ a person wearing a safety helmet: helmet, a person wearing a reflective vest: vest })這個(gè)映射表達(dá)的意思是在圖片里找到“戴安全帽的人”對(duì)應(yīng)的區(qū)域把它標(biāo)記為類(lèi)別helmet找到“穿反光衣的人”對(duì)應(yīng)的區(qū)域標(biāo)記為類(lèi)別vest。模型的檢測(cè)能力來(lái)自GroundingDINO的開(kāi)放詞匯理解對(duì)于未見(jiàn)過(guò)的類(lèi)別只要語(yǔ)義描述足夠準(zhǔn)確它也能找到目標(biāo)。之后把圖片目錄和Ontology傳給標(biāo)注器這里用的是GroundedSAM它會(huì)批量執(zhí)行檢測(cè)、分割、寫(xiě)入標(biāo)注文件整個(gè)過(guò)程不需要人工干預(yù)。標(biāo)注完成后你可以立即把它喂給YOLOv8這類(lèi)學(xué)生模型訓(xùn)練完成知識(shí)蒸餾。4.2 關(guān)鍵代碼實(shí)操與參數(shù)解讀下面這段代碼是我在實(shí)際項(xiàng)目中跑通的最小可用版本。先用GroundedSAM標(biāo)注數(shù)據(jù)再直接訓(xùn)練一個(gè)YOLOv8檢測(cè)模型from autodistill_grounded_sam import GroundedSAM from autodistill.detection import CaptionOntology from autodistill_yolov8 import YOLOv8 # 明確文本提示到類(lèi)別標(biāo)簽的映射 ontology CaptionOntology({ a person wearing a safety helmet: helmet, a person wearing a reflective vest: vest }) # 初始化base model老師模型 base_model GroundedSAM(ontologyontology) # 自動(dòng)標(biāo)注整個(gè)圖片目錄結(jié)果保存到dataset_folder dataset_folder ./auto_labeled_dataset base_model.label( input_folder./raw_images, output_folderdataset_folder ) # 用生成的標(biāo)注訓(xùn)練一個(gè)輕量級(jí)YOLOv8模型學(xué)生模型 target_model YOLOv8(ontologyontology) target_model.train(dataset_folder, epochs50)這里有幾個(gè)參數(shù)需要特別留意。第一個(gè)是CaptionOntology中的文本提示詞它直接決定老師模型的召回率。我的經(jīng)驗(yàn)是提示詞不能太抽象最好包含目標(biāo)的外觀特征和語(yǔ)境信息比如“a red safety helmet on a persons head”往往比“helmet”更穩(wěn)。第二個(gè)是label方法內(nèi)部有box_threshold和text_threshold參數(shù)默認(rèn)值在復(fù)雜場(chǎng)景下可能需要調(diào)整降低box_threshold會(huì)召回更多候選框但也會(huì)帶來(lái)更多誤檢。訓(xùn)練階段初學(xué)者容易忽略的一點(diǎn)是YOLOv8作為學(xué)生模型輸出的類(lèi)別順序必須和Ontology的鍵順序保持一致。如果你在中途修改了Ontology、增刪了類(lèi)別必須重新執(zhí)行標(biāo)注否則訓(xùn)練時(shí)的類(lèi)別索引會(huì)錯(cuò)位。這個(gè)錯(cuò)位在訓(xùn)練日志里不會(huì)報(bào)錯(cuò)只會(huì)表現(xiàn)為模型推理結(jié)果張冠李戴特別坑。4.3 批量目錄的標(biāo)注節(jié)奏與數(shù)據(jù)質(zhì)控用autodistill跑幾千張圖并不難難的是“跑完之后怎么確定數(shù)據(jù)能用”。我的建議是不要一次性把幾萬(wàn)張圖都扔進(jìn)去而是分批操作第一批先放200張圖跑完后人工抽樣檢查50張統(tǒng)計(jì)漏檢率和誤檢率調(diào)整提示詞和閾值參數(shù)再放量到全量數(shù)據(jù)。另外autodistill生成的標(biāo)注質(zhì)量嚴(yán)重依賴(lài)圖片本身的復(fù)雜程度。如果你的圖片里有大量遮擋、小目標(biāo)、密集排列老師模型的表現(xiàn)會(huì)明顯下降。此時(shí)靠修改閾值已經(jīng)不夠我通常會(huì)把這類(lèi)難樣本挑出來(lái)單獨(dú)走X-AnyLabeling半自動(dòng)路線(xiàn)和全自動(dòng)流程互補(bǔ)。數(shù)據(jù)質(zhì)控還有一個(gè)容易被忽略的點(diǎn)標(biāo)注結(jié)果里的“空標(biāo)注”圖片。autodistill跑完后部分圖片可能一個(gè)目標(biāo)都沒(méi)檢測(cè)到。這些圖片在標(biāo)注層是“空的”但它們依然會(huì)被計(jì)入訓(xùn)練集。如果這類(lèi)圖片占比過(guò)高會(huì)拉低模型精度。我一般會(huì)統(tǒng)計(jì)空白標(biāo)注的比例超過(guò)5%就說(shuō)明提示詞或閾值設(shè)置有問(wèn)題需要回到上一環(huán)節(jié)重新調(diào)整而不是直接開(kāi)始訓(xùn)練。5. 常見(jiàn)問(wèn)題與排查技巧5.1 顯存與速度模型退化與參數(shù)平衡跑Grounded-SAM時(shí)顯存是最大的瓶頸。GroundingDINO本身占一部分顯存SAM推理又需要額外的顯存存儲(chǔ)圖像embedding在ViT-H模型下一張1080p圖片就能吃掉接近10GB顯存。如果顯卡只有8GB顯存基本只能跑ViT-B而且圖片分辨率還要適當(dāng)壓縮。解決思路有幾種一是降低輸入圖片尺寸比如把長(zhǎng)邊縮放到640或800Grounded-SAM檢測(cè)分割這類(lèi)任務(wù)并不需要2K原圖二是直接換用更小的SAM變體比如MA-SAM或MobileSAM后者在CPU上都能跑精度略有下降但速度提升明顯三是調(diào)整autodistill的batch_size甚至設(shè)置為1逐張推理。性能優(yōu)先還是精度優(yōu)先取決于你的實(shí)際場(chǎng)景不要無(wú)腦上大模型。5.2 GroundingDINO 漏檢怎么辦漏檢是Grounded-SAM流程里最常遇到的問(wèn)題。排查方向要區(qū)分具體原因我用一個(gè)表格把常見(jiàn)情況列出來(lái)方便對(duì)照解決癥狀可能原因排查/解決辦法目標(biāo)很大但檢測(cè)不出框文本提示詞和實(shí)際目標(biāo)語(yǔ)義差異過(guò)大把提示詞寫(xiě)細(xì)一點(diǎn)加上目標(biāo)顏色、材質(zhì)、佩戴方式等限定詞小目標(biāo)全部漏檢box_threshold過(guò)高把檢測(cè)閾值從0.3降到0.2觀察召回變化部分圖片漏檢、部分正常圖片亮度過(guò)低或遮擋嚴(yán)重單獨(dú)抽檢難樣本必要時(shí)對(duì)圖片做增強(qiáng)或重拍檢出一堆背景誤檢text_threshold過(guò)低或提示詞太泛提高text_threshold或把提示詞改成更具體的描述調(diào)試漏檢時(shí)最有效的手段不是反復(fù)改參數(shù)而是先把檢測(cè)可視化出來(lái)。把Grounded-SAM的框畫(huà)在圖上人工看是一目了然的。漏檢和誤檢的平衡點(diǎn)在不同數(shù)據(jù)集上都不一樣如果你希望模型更保守、只標(biāo)注非常確信的目標(biāo)那就把閾值調(diào)高如果更看重召回率、寧可后續(xù)人工刪掉誤檢框那就調(diào)低。5.3 標(biāo)注格式轉(zhuǎn)換與數(shù)據(jù)一致性在X-AnyLabeling、autodistill和Grounded-SAM三者之間流轉(zhuǎn)數(shù)據(jù)最隱蔽的問(wèn)題就是格式不一致。同樣一個(gè)COCO JSON有的工具讀category_id從1開(kāi)始有的從0開(kāi)始有的掩碼是RLE編碼有的是多邊形坐標(biāo)。一旦混用訓(xùn)練時(shí)類(lèi)別錯(cuò)亂、mask錯(cuò)位很難排查。我的建議是確立一個(gè)“數(shù)據(jù)中轉(zhuǎn)格式”所有工具都統(tǒng)一走這個(gè)格式。目前比較穩(wěn)妥的選擇是用COCO JSON作為中轉(zhuǎn)格式搭配一個(gè)自己維護(hù)的轉(zhuǎn)換腳本。比如把X-AnyLabeling導(dǎo)出的COCO轉(zhuǎn)成autodistill認(rèn)識(shí)的目錄結(jié)構(gòu)時(shí)腳本負(fù)責(zé)重新編號(hào)類(lèi)別、把多邊形轉(zhuǎn)成掩碼保證兩邊類(lèi)別順序一致。這里沒(méi)什么高深技術(shù)就是笨功夫但數(shù)據(jù)一致性一旦做好后面的訓(xùn)練會(huì)順利非常多。最后分享兩個(gè)習(xí)慣我實(shí)際操作下來(lái)最大的體會(huì)是“自動(dòng)標(biāo)注不是替你省掉人工而是把人工從畫(huà)邊界變成了審查結(jié)果”。很多人上了自動(dòng)標(biāo)注工具后覺(jué)得可以完全放手結(jié)果訓(xùn)練出來(lái)的模型漏檢一堆最后還得回頭重標(biāo)。更靠譜的做法是始終保留一個(gè)“人工抽查修正”的閉環(huán)機(jī)器批量產(chǎn)出人工抽檢把關(guān)這樣質(zhì)量和效率才都能兼顧。另有一個(gè)很實(shí)用的小技巧用Grounded-SAM批量跑完數(shù)據(jù)后不要把原始輸出直接刪掉。保留檢測(cè)框坐標(biāo)、檢測(cè)分?jǐn)?shù)、文本提示詞這三個(gè)字段后期如果發(fā)現(xiàn)模型對(duì)某個(gè)類(lèi)別召回不夠還能回溯到原始檢測(cè)結(jié)果通過(guò)調(diào)低閾值重新導(dǎo)出而不用二次調(diào)用大模型。這在數(shù)據(jù)迭代中能省下不少重復(fù)計(jì)算量。以上就是我從工具選型到落地排錯(cuò)的全過(guò)程讀者照著走一遍應(yīng)該能少踩不少坑。