據(jù)增強(qiáng)實(shí)現(xiàn)納米衛(wèi)星自主航空監(jiān)視)
大家讀完覺得有幫助記得關(guān)注和點(diǎn)贊摘要低地球軌道的空中監(jiān)視受到兩個(gè)相互關(guān)聯(lián)的瓶頸的阻礙納米衛(wèi)星的下行鏈路預(yù)算有限但傳統(tǒng)方法仍將數(shù)TB的原始圖像傳輸?shù)降孛孢M(jìn)行處理且用于飛機(jī)的開放衛(wèi)星數(shù)據(jù)集稀缺且嚴(yán)重類別不平衡。這些限制要么延遲了及時(shí)決策要么阻止標(biāo)準(zhǔn)檢測器學(xué)習(xí)罕見飛機(jī)類別的魯棒表示。本文提出了一種將星載推理與生成式數(shù)據(jù)增強(qiáng)相結(jié)合的工作流以共同解決這兩個(gè)限制。推理在配備低功耗邊緣張量加速器的6U CubeSat上執(zhí)行而通過低秩適應(yīng)微調(diào)的擴(kuò)散模型生成合成少數(shù)類別圖像。這些合成輸出由中間檢測器自動(dòng)標(biāo)注偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并。結(jié)果表明平衡后的數(shù)據(jù)集將全局平均精度從77.9%提高到82.2%少數(shù)類別的F1從0.683提升至0.811且量化后的檢測器適合片上內(nèi)存在軌預(yù)計(jì)幀率為25-30幀/秒。這種方法與傳統(tǒng)彎管架構(gòu)形成對比后者中衛(wèi)星充當(dāng)被動(dòng)數(shù)據(jù)收集器。因此計(jì)算測試支持所提出的工作流作為納米衛(wèi)星實(shí)時(shí)自主航空監(jiān)視的決策支持工具。關(guān)鍵詞衛(wèi)星航空監(jiān)視邊緣計(jì)算小目標(biāo)檢測數(shù)據(jù)增強(qiáng)LoRA1 引言對空域和地球表面的持續(xù)監(jiān)測對于安全、應(yīng)急管理和空中交通管制至關(guān)重要。傳統(tǒng)上這些監(jiān)視任務(wù)依賴于地面基礎(chǔ)設(shè)施如主/二次雷達(dá)網(wǎng)絡(luò)或?qū)娇請D像的人工審查。然而這些方法存在眾所周知的局限性地理覆蓋不完全、對昂貴設(shè)施的高度依賴以及可能延遲關(guān)鍵決策的響應(yīng)時(shí)間[43, 44]。在過去十年中納米衛(wèi)星的出現(xiàn)使軌道觀測變得大眾化。其尺寸減小和制造成本降低使得部署具有高空間分辨率和前所未有重訪頻率的星座成為可能[45, 34]。盡管有這些操作優(yōu)勢在軌傳感器的大規(guī)模采集能力引發(fā)了新的技術(shù)瓶頸產(chǎn)生的圖像量遠(yuǎn)遠(yuǎn)超過傳統(tǒng)射頻鏈路將其下載到地面的能力[13]。挑戰(zhàn)在于高效處理這一海量視覺遙測數(shù)據(jù)以便在無需持續(xù)人工干預(yù)的情況下檢測相關(guān)目標(biāo)。本工作的動(dòng)機(jī)是兩個(gè)互補(bǔ)的空白據(jù)作者所知這兩個(gè)空白尚未在文獻(xiàn)中被共同解決。第一個(gè)空白涉及當(dāng)前對地觀測任務(wù)的架構(gòu)范式其仍遵循繼承自早期太空時(shí)代的集中式概念通常稱為“彎管”。在此方案下衛(wèi)星僅充當(dāng)太空中的中繼全部原始圖像有效載荷被下行傳輸分析委托給高性能地面服務(wù)器。雖然這些服務(wù)器能夠執(zhí)行密集預(yù)測模型但它們將先進(jìn)的軌道系統(tǒng)降級為數(shù)據(jù)收集器的被動(dòng)角色。因此星載子系統(tǒng)缺乏自主推斷所收集遙測數(shù)據(jù)中哪些片段具有真正操作價(jià)值所需的情境一致性。第二個(gè)空白涉及訓(xùn)練數(shù)據(jù)用于飛機(jī)的開放衛(wèi)星數(shù)據(jù)集稀缺且嚴(yán)重不平衡。在標(biāo)準(zhǔn)HRPlanesV2 [46]數(shù)據(jù)集中軍用飛機(jī)數(shù)量超過少數(shù)直升機(jī)類別的四倍這阻止了標(biāo)準(zhǔn)單階段檢測器學(xué)習(xí)罕見類別的魯棒表示?，F(xiàn)有技術(shù)通常孤立地解決這兩個(gè)空白要么算法在地面運(yùn)行并承受下行鏈路的延遲懲罰要么理論模型在軌道就緒數(shù)據(jù)上訓(xùn)練卻壓制了少數(shù)類別要么生成合成圖像而不考慮空間硬件的熱功耗約束。本文將所有這些維度統(tǒng)一到一個(gè)連貫的工作流中。為克服第一個(gè)空白該工作流在配備Google Coral Edge張量處理單元TPU作為星載數(shù)據(jù)處理OBDP加速器的6U CubeSat上執(zhí)行推理。檢測器被約束在INT8量化后適合加速器上8 MB片上靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM這是一個(gè)明確的尺寸、重量和功耗SWaP感知設(shè)計(jì)條件驅(qū)動(dòng)架構(gòu)選擇和壓縮階段。為克服第二個(gè)空白提出了基于FLUX [23]和低秩適應(yīng)LoRA[17]的生成式數(shù)據(jù)增強(qiáng)流水線在少數(shù)類別上訓(xùn)練自定義LoRA token模型以GGUF格式量化以使微調(diào)在消費(fèi)級硬件上可行合成圖像由中間檢測器偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并。單獨(dú)經(jīng)典增強(qiáng)對直升機(jī)類別不足F10.683而添加合成數(shù)據(jù)將其提升至F10.811接近多數(shù)類別的性能。本文的主要貢獻(xiàn)如下一種面向太空級AI部署的硬件優(yōu)先方法論。首先建立目標(biāo)平臺(tái)的物理約束——6U CubeSat總線、Google Coral Edge TPU和8 MB SRAM預(yù)算——然后才選擇并調(diào)整檢測器架構(gòu)以適應(yīng)這些約束。針對少數(shù)類別的生成式數(shù)據(jù)增強(qiáng)流水線。自定義FLUXLoRA工作流在四種操作環(huán)境中生成合成直升機(jī)圖像隨后由中間YOLO檢測器偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并以產(chǎn)生平衡數(shù)據(jù)集。面向太空級硬件的單階段檢測器SWaP感知基準(zhǔn)。三種架構(gòu)SSD MobileNet V3、YOLO11n和RT-DETR-L在相同不平衡航空數(shù)據(jù)集和Coral Edge TPU的8 MB SRAM預(yù)算下進(jìn)行比較。YOLO11n成為最佳精度-延遲折衷方案并被保留為參考。6U CubeSat上的星載操作概念。所選檢測器導(dǎo)出為INT8映射到Edge TPU SRAM并與1024×1024切片的切片輔助超推理SAHI評估集成實(shí)現(xiàn)82.2%平均精度mAP50在軌預(yù)計(jì)吞吐量為25-30幀/秒FPS。源代碼、FLUX LoRA適配器、ComfyUI工作流和訓(xùn)練權(quán)重在開放倉庫中發(fā)布GitHub - Antonio23013/TFG-DETECCION-DE-OBJETOS: Código fuente del TFG: Detección de aeronaves paa plataformas satelitales, y aumento de datos sintéticos con LoRA. · GitHub以確保所有實(shí)驗(yàn)可被社區(qū)完全復(fù)現(xiàn)和擴(kuò)展。本文其余部分結(jié)構(gòu)如下第2節(jié)回顧了航空圖像目標(biāo)檢測、生成式數(shù)據(jù)增強(qiáng)和太空邊緣計(jì)算領(lǐng)域的最新進(jìn)展。由于太空級組件的稀缺性和嚴(yán)格物理限制本文采用硬件優(yōu)先方法論在可行選擇人工智能模型之前必須確定物理能力。因此第3節(jié)描述6U CubeSat的任務(wù)和平臺(tái)約束包括光學(xué)有效載荷、Edge TPU加速器和通信子系統(tǒng)。在硬件定義之后第4節(jié)介紹材料和方法即HRPlanesV2數(shù)據(jù)集、數(shù)據(jù)增強(qiáng)流水線以及針對這些物理約束評估的候選架構(gòu)。第5節(jié)描述實(shí)驗(yàn)和獲得的結(jié)果展示所選架構(gòu)在不平衡、經(jīng)典增強(qiáng)和合成平衡場景下的性能并分析在軌可部署INT8模型。第6節(jié)討論該提議在情報(bào)、監(jiān)視與偵察ISR和地理空間情報(bào)GEOINT場景中的實(shí)際適用性同時(shí)承認(rèn)其局限性。最后第7節(jié)總結(jié)本文的結(jié)論和進(jìn)一步工作。2 相關(guān)工作本節(jié)回顧與本文目標(biāo)最相關(guān)的文獻(xiàn)。綜述圍繞所提議工作流整合的三個(gè)技術(shù)主線組織太空任務(wù)的邊緣計(jì)算、生成式數(shù)據(jù)增強(qiáng)和航空圖像中的目標(biāo)檢測。2.1 太空邊緣計(jì)算衛(wèi)星觀測領(lǐng)域的現(xiàn)有技術(shù)揭示了通信架構(gòu)中的顯著技術(shù)差距。當(dāng)前主流操作范式遵循繼承自早期太空時(shí)代的集中式概念稱為“彎管”其中衛(wèi)星僅充當(dāng)中繼全部原始有效載荷被下行傳輸?shù)降孛嫣幚?。在此方案下星載子系統(tǒng)缺乏自主丟棄冗余遙測所需的情境感知這延續(xù)了第1節(jié)討論的下行鏈路瓶頸。將星載數(shù)據(jù)處理OBDP移至星上使平臺(tái)從被動(dòng)傳感器轉(zhuǎn)變?yōu)樽灾鞴?jié)點(diǎn)但這需要與CubeSat的尺寸、重量和功耗SWAP預(yù)算兼容且同時(shí)對低地球軌道LEO輻射環(huán)境具有韌性的加速器。兩個(gè)參考任務(wù)率先推動(dòng)了這一轉(zhuǎn)變歐洲空間局ESAφ-sat-1其在Myriad 2視覺處理器上演示了星載云層篩選以及ESA CISERES任務(wù)[12]由Deimos領(lǐng)導(dǎo)將星載人工智能AI應(yīng)用于民用安全應(yīng)用。越來越多的工作已表征了商用現(xiàn)貨加速器對此類任務(wù)的適用性包括Intel Movidius Myriad、Google Coral Edge TPU和NVIDIA Jetson系列[5, 35, 6]以及它們在輻射和單粒子效應(yīng)下的行為[13, 32, 24]。同樣Magalh?es等[30]在本期刊中對用于單階段目標(biāo)檢測的若干邊緣設(shè)備進(jìn)行了基準(zhǔn)測試報(bào)告精度、延遲和功耗之間的權(quán)衡高度依賴于設(shè)備。本工作采用相同的基準(zhǔn)測試?yán)砟畹槍Σ煌I(lǐng)域和額外約束所選檢測器必須在8位整數(shù)量化INT8后適合加速器的片上靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM以便整個(gè)推理路徑可在無外部存儲(chǔ)器的情況下運(yùn)行并在6U CubeSat的功耗包絡(luò)內(nèi)。2.2 生成式數(shù)據(jù)增強(qiáng)深度學(xué)習(xí)檢測器仍強(qiáng)烈依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量。在航空航天領(lǐng)域手動(dòng)收集和標(biāo)注數(shù)萬張?zhí)囟w機(jī)如各種操作環(huán)境中的軍用直升機(jī)的影像在后勤上不可行這激發(fā)了合成數(shù)據(jù)的使用。生成對抗網(wǎng)絡(luò)GANs[15]是應(yīng)用于此的第一代生成家族CycleGAN等變體用于模擬基礎(chǔ)設(shè)施或改變航空照片中的氣象條件。然而GANs存在訓(xùn)練不穩(wěn)定和難以保持飛機(jī)嚴(yán)格幾何一致性的問題這一局限性在深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)綜述[41]和關(guān)于合成樣本多樣性不足時(shí)產(chǎn)生的背景偏差研究[2]中已被廣泛記錄。該領(lǐng)域最近的突破是潛擴(kuò)散模型LDMs[40]的使用其通過迭代去噪潛表示生成圖像并實(shí)現(xiàn)明顯高于前代的光度保真度。將數(shù)十億參數(shù)的擴(kuò)散模型適應(yīng)于特定飛機(jī)類別通常需要超級計(jì)算資源但低秩適應(yīng)LoRA技術(shù)[17]通過凍結(jié)預(yù)訓(xùn)練權(quán)重并注入低秩可訓(xùn)練矩陣使這成為可能將可訓(xùn)練參數(shù)數(shù)量減少超過99%。相同的生成原理最近已應(yīng)用于少數(shù)類別增強(qiáng)Mueller等[31]提出了一種注意力增強(qiáng)的條件擴(kuò)散模型用于機(jī)器故障診斷中的數(shù)據(jù)合成報(bào)告了對代表性不足類別的一致增益。本文提出的工作流將此思想遷移到航空航天領(lǐng)域使用自定義LoRA token在少數(shù)直升機(jī)類別上微調(diào)最先進(jìn)的擴(kuò)散模型并用中間檢測器對合成輸出進(jìn)行偽標(biāo)注這一集成據(jù)作者所知此前未見報(bào)道。2.3 航空圖像中的目標(biāo)檢測在神經(jīng)網(wǎng)絡(luò)普及之前航空圖像中的飛機(jī)檢測依賴于手工特征以方向梯度直方圖HOG描述符[9]與支持向量機(jī)SVM分類器[7]的組合為代表。這些早期模型尋找?guī)缀屋喞⑼队瓣幱盎蚺艿郎巷w機(jī)的銳利邊緣但非常僵化它們在光照變化、云層部分遮擋和采集角度變化下失效并對相似形狀的基礎(chǔ)設(shè)施產(chǎn)生高假陽性率。卷積神經(jīng)網(wǎng)絡(luò)CNN的引入使網(wǎng)絡(luò)本身能夠在訓(xùn)練期間學(xué)習(xí)幾何和紋理特征標(biāo)志著向兩階段檢測器的過渡如基于區(qū)域的CNNR-CNN和后來的Faster R-CNN [39]其中區(qū)域提議網(wǎng)絡(luò)RPN首先提議候選區(qū)域然后分類器確認(rèn)目標(biāo)存在。航空圖像目標(biāo)檢測數(shù)據(jù)集DOTA[51]的發(fā)布通過提供數(shù)十萬帶注釋的航空實(shí)例以Faster R-CNN為基線鞏固了這一方向。盡管兩階段檢測器實(shí)現(xiàn)了前所未有的精度但其分叉架構(gòu)計(jì)算昂貴單階段檢測器如YOLO [38]達(dá)到超過30幀/秒FPS而Faster R-CNN通常保持在10 FPS以下阻礙了其在嵌入式實(shí)時(shí)應(yīng)用中的使用。為緩解航空場景中背景與小目標(biāo)之間的極端不平衡Lin等[25]在RetinaNet中引入了Focal Loss這一貢獻(xiàn)直接激勵(lì)了本工作因?yàn)樾∧繕?biāo)檢測問題是LEO飛機(jī)識(shí)別的核心?，F(xiàn)代YOLO版本自此成為航空圖像的工業(yè)標(biāo)準(zhǔn)本期刊中的多項(xiàng)近期研究已探索了它們在飛機(jī)檢測中的行為Liu等[26]提出了一種角聚類方法與深度學(xué)習(xí)結(jié)合用于遙感圖像中的飛機(jī)檢測?lmak等[18]評估了YOLO v8和v9在甚高分辨率圖像中的高效飛機(jī)檢測Liu等[27]提供了遙感中基于YOLO檢測的全面綜述。關(guān)于小目標(biāo)機(jī)制Zhang等[53]引入了一種邊緣感知神經(jīng)網(wǎng)絡(luò)明確解決航空目標(biāo)的低信背比問題。本工作建立在此軌跡上但從一開始就受納米衛(wèi)星SWAP預(yù)算約束設(shè)計(jì)這是上述研究中缺失的條件。2.4 綜合與研究空白總之所綜述文獻(xiàn)表明單階段檢測器尤其是現(xiàn)代YOLO變體已成為航空圖像中飛機(jī)檢測的事實(shí)標(biāo)準(zhǔn)基于擴(kuò)散模型和低秩適應(yīng)的生成式數(shù)據(jù)增強(qiáng)已成為少數(shù)類別經(jīng)典增強(qiáng)的可行替代方案且星載邊緣加速器已達(dá)到足夠成熟的水平以用于衛(wèi)星部署。然而這三個(gè)主線孤立發(fā)展尚無先前工作將SWAP感知架構(gòu)選擇、少數(shù)類別的生成式數(shù)據(jù)增強(qiáng)和星載INT8部署集成到納米衛(wèi)星航空監(jiān)視的單一工作流中。本文正是針對這一空白并在公共航空數(shù)據(jù)集上以完整源代碼可復(fù)現(xiàn)性驗(yàn)證了所得流水線。3 任務(wù)與平臺(tái)約束本節(jié)闡述約束其余工作流的物理和操作背景。首先介紹納米衛(wèi)星平臺(tái)及驅(qū)動(dòng)星載處理的數(shù)據(jù)量瓶頸然后刻畫星載AI加速器及其內(nèi)存約束最后描述通信子系統(tǒng)和與地面段閉環(huán)的操作概念。第4節(jié)的架構(gòu)選擇和第5節(jié)的部署分析均由此處收集的約束驅(qū)動(dòng)。3.1 CubeSat外形尺寸與軌道窗口歷史上太空觀測由開發(fā)周期常超過十年、預(yù)算數(shù)百萬美元、操作質(zhì)量數(shù)噸的大型衛(wèi)星主導(dǎo)[50]。然而過去二十年中電子產(chǎn)品的持續(xù)小型化、商用現(xiàn)貨COTS組件的采用以及發(fā)射系統(tǒng)成本的逐步降低引發(fā)了太空架構(gòu)的真正革命[45]。在此轉(zhuǎn)變中新太空范式按質(zhì)量對小型衛(wèi)星進(jìn)行了分類1至10 kg的納米衛(wèi)星平臺(tái)如今在新興軌道服務(wù)中占據(jù)重要位置[52]。CubeSat標(biāo)準(zhǔn)對這一演變至關(guān)重要其可預(yù)測的幾何單元簡化了內(nèi)部子系統(tǒng)設(shè)計(jì)并可通過P-POD等標(biāo)準(zhǔn)化部署器部署[36]允許納米衛(wèi)星作為次級有效載荷進(jìn)入軌道將發(fā)射成本降低數(shù)個(gè)數(shù)量級[20]。本文采用6U CubeSat約10×20×30 cm～8 kg表1作為參考平臺(tái)。雖然AI加速器本身占用空間極小但6U格式由光學(xué)有效載荷證明以1024×1024像素原生分辨率訓(xùn)練參考檢測器需要高分辨率圖像6U機(jī)箱提供容納光學(xué)器件和足夠大太陽能電池板面積以滿足功率預(yù)算所需體積。假設(shè)平臺(tái)在約500 km高度的LEO運(yùn)行衛(wèi)星速度約7.5 km/s對給定地面站的可見窗口每次過境限制為10-15分鐘[29]。表1CubeSat標(biāo)準(zhǔn)的尺寸和質(zhì)量規(guī)格。格式尺寸cm最大質(zhì)量kg1U10×10×10～1.332U10×10×20～2.663U10×10×30～4.006U10×20×30～8.003.2 數(shù)據(jù)量瓶頸與星載處理的必要性LEO星座的操作成功引發(fā)了新的傳輸挑戰(zhàn)。小型化高分辨率光學(xué)和紅外傳感器產(chǎn)生了前所未有的信息量在軌獲取攝影遙測的能力現(xiàn)已遠(yuǎn)超下行鏈路將其傳送到地面的能力[29]。這不是任意的設(shè)計(jì)問題而是由電磁學(xué)和平臺(tái)SWAP預(yù)算強(qiáng)加的障礙3U-6U CubeSat通常僅通過其太陽能電池板產(chǎn)生10-30 W功率[34]這限制了射頻放大器的發(fā)射功率且縮減的體積阻止了高增益拋物面天線的安裝。因此任務(wù)必須依賴低剖面貼片天線[14, 8]其吞吐量雖足以實(shí)時(shí)傳輸元數(shù)據(jù)——但不足以維持原始高分辨率幀的連續(xù)轉(zhuǎn)儲(chǔ)。這一物理限制鞏固了本工作的核心提議通過將單階段檢測器集成到星載處理器上下行鏈路不再是飽含吉字節(jié)像素的漏斗而是高效地僅用于傳輸輕量級元數(shù)據(jù)向量——目標(biāo)坐標(biāo)、置信度和時(shí)間戳——僅數(shù)KB。與衛(wèi)星充當(dāng)被動(dòng)收集器的傳統(tǒng)彎管架構(gòu)的對比總結(jié)在表2中星載推理將數(shù)小時(shí)或數(shù)天的決策延遲轉(zhuǎn)化為幾分之一秒并釋放下行鏈路僅用于戰(zhàn)術(shù)相關(guān)信息。表2傳統(tǒng)彎管架構(gòu)與本文提出的星載邊緣處理的操作比較。操作參數(shù)傳統(tǒng)彎管提議邊緣星載處理無被動(dòng)捕獲和本地存儲(chǔ)先進(jìn)帶深度學(xué)習(xí)的主動(dòng)推理傳輸數(shù)據(jù)原始全圖吉字節(jié)元數(shù)據(jù)向量和檢測警報(bào)千字節(jié)帶寬使用下行鏈路完全飽和最小化避免收發(fā)器瓶頸決策延遲數(shù)小時(shí)或數(shù)天地面后處理幾分之一秒近實(shí)時(shí)在軌能源影響RF放大器持續(xù)高消耗優(yōu)化TPU成本被巨大RF節(jié)省抵消3.3 星載AI加速器與內(nèi)存約束將推理移至星上需要與CubeSat的SWaP預(yù)算兼容、同時(shí)對低地球軌道LEO輻射環(huán)境具有韌性的加速器。數(shù)據(jù)中心圖形處理單元GPU如本文訓(xùn)練實(shí)驗(yàn)所用的NVIDIA T4峰值功耗為70 W [33]。這種熱和電足跡與標(biāo)準(zhǔn)納米衛(wèi)星平臺(tái)通?？捎玫?0-30 W總功率預(yù)算根本不相容[34]。為太空神經(jīng)推理評估的商用現(xiàn)貨COTS微加速器格局包括三個(gè)主要候選總結(jié)在表3中Intel Movidius視覺處理單元VPUMyriad 2/X、Google Coral Edge張量處理單元TPU和NVIDIA Jetson系列Nano/TX2i/Orin。前兩個(gè)已由歐洲空間局ESA認(rèn)證或正在認(rèn)證中Myriad 2由φ-sat-1任務(wù)在軌演示用于云層篩選[37]Coral Edge TPU目前正在由ESA CAIRS21項(xiàng)目評估輻射耐受性總電離劑量和單粒子效應(yīng)[24, 6]。表3為星載推理評估的COTS微加速器的技術(shù)比較。平臺(tái)/芯片架構(gòu)功率最佳精度太空驗(yàn)證Intel Movidius (Myriad 2/X)VPU視覺～1.5-2 WFP16 / INT8φ-sat-1 (ESA, 2020)Google Coral (Edge TPU)ASIC張量～2 WINT8量化CAIRS21 (ESA, 2024)NVIDIA Jetson (Nano/TX2i)SoCGPUCUDA5-15 WFP32 / FP16Aitech Venus太空計(jì)算機(jī)Coral Edge TPU被選為本文其余部分的參考加速器。其在2 W下提供高達(dá)4萬億次操作每秒TOPS2 TOPS/W[35]其編譯生態(tài)系統(tǒng)提供穩(wěn)健的交叉編譯流程將通用GPU上訓(xùn)練的模型映射到星載專用集成電路ASIC[16]網(wǎng)絡(luò)首先導(dǎo)出并量化為INT8的.tflite文件[49, 48]然后Edge TPU編譯器將矩陣操作直接分配給芯片指令。該設(shè)備施加的兩個(gè)嚴(yán)格物理約束驅(qū)動(dòng)第5節(jié)的架構(gòu)選擇INT8量化。加速器缺乏處理32位浮點(diǎn)FP32運(yùn)算的硅整個(gè)模型必須量化為8位整數(shù)。此步驟將參數(shù)權(quán)重減少約75%僅對整體檢測精度產(chǎn)生邊際影響[48]。8 MB片上SRAM限制。Edge TPU集成了一個(gè)快速但物理受限的8 MB靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM直接與處理器在同一芯片上[5]。為獲得最佳性能量化模型的參數(shù)和執(zhí)行圖必須完全適合此預(yù)算使完整推理路徑以最大速度在緩存中運(yùn)行。如果模型超出此限制計(jì)算塊必須卸載到CubeSat的通用主機(jī)CPU。此卸載觸發(fā)系統(tǒng)總線上的大量數(shù)據(jù)傳輸導(dǎo)致幀率嚴(yán)重下降并抵消加速器的能源優(yōu)勢[16]。這兩個(gè)約束的組合定義了本文的核心設(shè)計(jì)規(guī)則——所選檢測器一旦量化為INT8必須嚴(yán)格適合Edge TPU的8 MB SRAM以保證在軌實(shí)時(shí)、節(jié)能性能。3.4 光學(xué)有效載荷與姿態(tài)控制圖像采集委托給新太空領(lǐng)域的COTS光學(xué)器件。Simera Sense的xScape200系列[42]或Dragonfly Aerospace的Mantis傳感器[10]等模塊化光學(xué)系統(tǒng)有機(jī)集成到6U體積中從500 km軌道提供約1.5 m/像素的地面采樣距離GSD。在此分辨率下標(biāo)準(zhǔn)尺寸飛機(jī)在焦平面上占據(jù)足夠的像素面積以保持其形態(tài)這證明了檢測器采用的原生輸入分辨率。為保證對地面目標(biāo)的正交取景衛(wèi)星依賴結(jié)合星跟蹤器和反作用輪的三軸姿態(tài)確定與控制系統(tǒng)ADCS在采集階段保持嚴(yán)格對地定向姿態(tài)消除傾斜透視造成的幾何畸變[47]。3.5 通信與操作概念由于星載神經(jīng)處理器自主丟棄空捕獲需傳輸?shù)臄?shù)據(jù)量大幅減少——CubeSat僅下行輕量級元數(shù)據(jù)包坐標(biāo)、時(shí)間戳和置信度以及對應(yīng)正檢測的壓縮1024×1024像素切片。因此提出分體通信架構(gòu)如圖1所示。有效載荷下行鏈路。工作在2.2-2.3 GHz頻段的COTS S波段發(fā)射機(jī)如EnduroSat S-Band Transmitter [21]提供高達(dá)10 Mbps足以在地面站可見的幾分鐘內(nèi)交付檢測輸出。使用低剖面貼片天線使輻射單元不干擾太陽能電池板面積。遙測、跟蹤與指令TTC。保留標(biāo)準(zhǔn)全向UHF收發(fā)器用于指令上行和健康監(jiān)測遙測[11]。圖16U CubeSat的天對地?cái)?shù)據(jù)下行鏈路架構(gòu)框圖。示意圖說明雙頻通信策略用于視覺推理下載的高速S波段鏈路2-10 Mbps和用于平臺(tái)遙測與戰(zhàn)術(shù)警報(bào)的低速UHF/VHF鏈路9.6 kbps。任務(wù)在總決策自主模型下運(yùn)行在低功耗和戰(zhàn)術(shù)干預(yù)模式之間交替[22]空閑與規(guī)劃。衛(wèi)星以光學(xué)和計(jì)算有效載荷關(guān)閉狀態(tài)繞行。僅在接近通過星載全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS接收器定位的預(yù)編程戰(zhàn)略興趣地理坐標(biāo)時(shí)激活。帶環(huán)形緩沖區(qū)的動(dòng)態(tài)采集。飛越目標(biāo)區(qū)域時(shí)相機(jī)不永久存儲(chǔ)捕獲高分辨率數(shù)據(jù)流臨時(shí)緩存在星載主計(jì)算機(jī)的隨機(jī)存取存儲(chǔ)器RAM中。智能傳輸。AI加速器實(shí)時(shí)分析易失性緩沖區(qū)。無超過置信閾值的檢測的幀被丟棄并立即覆蓋正檢測時(shí)系統(tǒng)中斷擦除循環(huán)提取有用幀連同其元數(shù)據(jù)壓縮并永久存儲(chǔ)以待下行。此方法確?？臻g段僅交付戰(zhàn)術(shù)情報(bào)最大化操作自主性并避免帶寬限制否則下行鏈路將飽和。本節(jié)收集的約束——6U外形尺寸、INT8量化和Edge TPU的8 MB SRAM預(yù)算、約1.5 m GSD的對地定向光學(xué)以及S波段/UHF通信分體——是驅(qū)動(dòng)接下來呈現(xiàn)的方法論和實(shí)驗(yàn)活動(dòng)的輸入。4 材料與方法本節(jié)描述支持實(shí)驗(yàn)活動(dòng)的材料和方法。首先呈現(xiàn)基線數(shù)據(jù)集及其初始診斷第4.1節(jié)然后詳述兩階段數(shù)據(jù)增強(qiáng)流水線——經(jīng)典變換后接生成合成第4.2節(jié)最后在第4.3節(jié)介紹候選檢測架構(gòu)和評估指標(biāo)以及將方法論與第3節(jié)平臺(tái)約束聯(lián)系起來的SWaP感知選擇標(biāo)準(zhǔn)。4.1 數(shù)據(jù)集HRPlanesV2研究的起點(diǎn)是公共HRPlanesV2數(shù)據(jù)集托管在Roboflow計(jì)算機(jī)視覺平臺(tái)[46]上。它提供高分辨率衛(wèi)星圖像基礎(chǔ)包含三個(gè)操作類別的飛機(jī)結(jié)構(gòu)化標(biāo)注民用飛機(jī)、軍用飛機(jī)和直升機(jī)。數(shù)據(jù)集分為訓(xùn)練、驗(yàn)證和測試子集分別占總圖像的79%、13%和8%。在任何訓(xùn)練之前原始訓(xùn)練劃分沿兩條互補(bǔ)軸診斷這兩條軸影響工作流的其余部分。第一條軸是實(shí)例的定量分布。共有30874個(gè)有效邊界框可用分布如下見圖2軍用飛機(jī)是多數(shù)類有17814個(gè)實(shí)例57.7%民用飛機(jī)占8603個(gè)實(shí)例27.9%直升機(jī)僅提供4457個(gè)實(shí)例14.4%。多數(shù)與少數(shù)類別之比約為4:1。直接在此分布上訓(xùn)練單階段檢測器會(huì)在最小化全局損失時(shí)使網(wǎng)絡(luò)偏向多數(shù)類這對于早期預(yù)警任務(wù)是不可接受的并促使了接下來描述的過采樣策略。圖2HRPlanesV2原始訓(xùn)練集中每類別的實(shí)例邊界框分布。第二條軸是形態(tài)學(xué)的每個(gè)邊界框相對于完整圖像的相對面積。編寫了自定義Python腳本解析每個(gè)標(biāo)注文件提取邊界框坐標(biāo)并按圖像分辨率歸一化幾何面積。所得箱線圖如圖3所示。分析說明了一個(gè)經(jīng)典的小目標(biāo)檢測問題62.2%的民用飛機(jī)、48.4%的直升機(jī)和26.8%的軍用飛機(jī)占據(jù)小于總圖像面積的1%。直升機(jī)類別最脆弱結(jié)合了最少的樣本數(shù)和最小的平均面積1.08%而軍用飛機(jī)為1.893%。這表明簡單的全圖過采樣不足且改變尺度的變換放大、中心裁剪必須包含在增強(qiáng)流水線中以強(qiáng)制網(wǎng)絡(luò)提取低層特征。圖3每個(gè)操作類別的邊界框相對面積相對于總圖像尺寸的分布。為可讀性省略離群值。4.2 數(shù)據(jù)增強(qiáng)流水線為保持方法完整性并避免數(shù)據(jù)泄漏以下描述的每個(gè)變換僅應(yīng)用于訓(xùn)練劃分驗(yàn)證和測試劃分保持不變以便最終指標(biāo)反映在未改變的真實(shí)場景上的性能。4.2.1 經(jīng)典增強(qiáng)第一階段應(yīng)用經(jīng)典變換到原始像素以系統(tǒng)性地增加形態(tài)和輻射多樣性無需額外數(shù)據(jù)收集。組合了三個(gè)不同的變換家族均通過廣泛采用的Albumentations庫[3]實(shí)現(xiàn)幾何變換改變像素的空間排列而不修改其強(qiáng)度。應(yīng)用水平和垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)和中心裁剪/放大操作。后者直接解決上述小目標(biāo)問題強(qiáng)制目標(biāo)占據(jù)圖像的較大比例。光度變換修改強(qiáng)度值和顏色通道HSV/RGB抖動(dòng)、高斯和椒鹽噪聲以及高斯模糊。這些模擬在軌光學(xué)有效載荷在不同過境中面臨的輻射變異性熱噪聲、太陽耀斑、部分云層覆蓋、7.5 km/s運(yùn)動(dòng)模糊?；旌献儞Q在同一圖像上依次和概率性地應(yīng)用幾何和光度操作生成復(fù)雜邊界案例樣本防止過早收斂并增強(qiáng)卷積層中的魯棒特征提取。此階段產(chǎn)生2832張?jiān)鰪?qiáng)圖像928張幾何、939張光度和965張混合使少數(shù)類別達(dá)到每類約18,000個(gè)實(shí)例的近似平衡。4.2.2 使用FLUX和LoRA的生成式增強(qiáng)經(jīng)典增強(qiáng)受限于原始像素中包含的信息它可以變換現(xiàn)有數(shù)據(jù)但不能生成新知識(shí)。如果沒有原始圖像描繪直升機(jī)飛越雪地或沙漠沒有經(jīng)典變換能重現(xiàn)該場景。為克服這一表示限制引入了基于潛擴(kuò)散模型LDMs的生成階段。生成對抗網(wǎng)絡(luò)GANs[15]因其訓(xùn)練不穩(wěn)定性和難以保持飛機(jī)嚴(yán)格幾何一致性而被放棄如深度學(xué)習(xí)增強(qiáng)綜述[41]和關(guān)于合成樣本多樣性不足時(shí)產(chǎn)生的背景偏差研究[2]所記錄。所選生成主干是FLUX [23]它以流匹配取代傳統(tǒng)擴(kuò)散并提供軍用機(jī)身和直升機(jī)旋翼所需的光真實(shí)感保真度。將十億參數(shù)擴(kuò)散模型適應(yīng)于特定飛機(jī)類別通常需要超級計(jì)算資源。低秩適應(yīng)LoRA[17]通過凍結(jié)預(yù)訓(xùn)練權(quán)重矩陣W?并將更新ΔW近似為兩個(gè)低秩矩陣B和A的乘積使這成為可能W_new W? B·A (1)其中若W?∈?^(d×k)則B∈?^(d×r)且A∈?^(r×k)內(nèi)在秩r?min(d,k)。對于10,000×10,000矩陣1億參數(shù)r8的分解將可訓(xùn)練數(shù)量減少到160,000-99.8%使微調(diào)在消費(fèi)級硬件上可處理。具體流水線操作如下圖4?；A(chǔ)模型FLUX.1-dev以量化GGUF格式Q4_0加載使微調(diào)輕松適合大學(xué)工作站16 GB VRAM。在少數(shù)直升機(jī)類別上以觸發(fā)token sathelo訓(xùn)練自定義LoRA適配器。推理通過ComfyUI工作流運(yùn)行由UNET GGUV加載器、用于文本條件的雙CLIP加載器CLIP-L和T5-XXL、以模型強(qiáng)度0.85和clip強(qiáng)度1.0應(yīng)用的LoRA適配器、配置27步、CFG1、Euler采樣器和Beta調(diào)度器去噪0.95的KSampler以及VAE解碼階段組成。在四種操作環(huán)境中生成合成直升機(jī)圖像以最大化上下文多樣性工業(yè)/機(jī)場、鄉(xiāng)村/森林、沿海/海洋和干旱/沙漠產(chǎn)生約2,226張直升機(jī)圖像見圖4。對于民用類別對現(xiàn)有真實(shí)樣本應(yīng)用經(jīng)典Albumentations變換圖4生成式數(shù)據(jù)增強(qiáng)流水線框圖。有限的真實(shí)直升機(jī)實(shí)例用于訓(xùn)練自定義LoRA適配器。推理期間FLUX.1基礎(chǔ)模型結(jié)合領(lǐng)域特定LoRA和環(huán)境文本提示饋送K-Sampler以生成多樣化的合成輸出平衡最終YOLO11數(shù)據(jù)集。4.2.3 偽標(biāo)注與類別平衡手動(dòng)標(biāo)注數(shù)千張合成圖像不可行。使用先前在經(jīng)典增強(qiáng)集上訓(xùn)練的中間YOLO v11檢測器自動(dòng)標(biāo)注合成輸出。所得標(biāo)簽與經(jīng)典增強(qiáng)樣本合并產(chǎn)生超過53,000個(gè)實(shí)例每類約18,000個(gè)實(shí)例的最終平衡數(shù)據(jù)集。4.3 候選架構(gòu)與評估指標(biāo)三個(gè)單階段檢測器被評估為星載任務(wù)的候選選擇以跨越精度-效率設(shè)計(jì)空間SSD MobileNet V3 Large [28]深度可分離主干代表超輕量級部署的歷史標(biāo)準(zhǔn)。YOLO11n [19, 38]最新YOLO版本的nano版圍繞C3K2主干構(gòu)建帶空間金字塔池化-快速SPPF和路徑聚合網(wǎng)絡(luò)PANet頸部以及C2PSA空間注意力頭。RT-DETR-L [54, 4]混合卷積/Transformer檢測器以端到端二分匹配解碼器取代基于錨點(diǎn)的頭消除非極大值抑制NMS。所有模型以相同指標(biāo)集評估聯(lián)合捕獲檢測質(zhì)量和可部署性檢測質(zhì)量的mAP50和mAP50-95每類戰(zhàn)術(shù)行為的精度、召回率和F1分?jǐn)?shù)以及計(jì)算成本的參數(shù)、磁盤權(quán)重、GFLOPs和FPS。SWaP感知選擇標(biāo)準(zhǔn)在此明確定義并在第5節(jié)應(yīng)用候選僅在其INT8量化后參數(shù)權(quán)重適合Coral Edge TPU的8 MB片上SRAM第3.3節(jié)時(shí)才可接受否則推理路徑回退到通用中央處理單元CPU且在軌FPS崩潰。此標(biāo)準(zhǔn)是第3節(jié)任務(wù)與平臺(tái)約束與后續(xù)實(shí)驗(yàn)活動(dòng)之間的聯(lián)系。5 實(shí)驗(yàn)與結(jié)果本節(jié)詳述所提議方法論的實(shí)證評估。我們首先概述用于訓(xùn)練的計(jì)算軟硬件環(huán)境以及支配實(shí)驗(yàn)流水線的具體超參數(shù)和配置選擇第5.1節(jié)。隨后我們呈現(xiàn)三個(gè)候選單階段架構(gòu)——SSD MobileNet V3、RT-DETR-L和YOLO11n——在原始不平衡HRPlanesV2數(shù)據(jù)集上的比較基準(zhǔn)以基于精度、推理速度和邊緣兼容性約束證明YOLO11n的選擇第5.2節(jié)。5.1 實(shí)驗(yàn)設(shè)置與超參數(shù)為確保計(jì)算實(shí)驗(yàn)完全可復(fù)現(xiàn)所有評估模型的訓(xùn)練配置標(biāo)準(zhǔn)化。實(shí)驗(yàn)在利用專用GPU加速器的Google Colab環(huán)境中進(jìn)行。對于在增強(qiáng)數(shù)據(jù)集上的最終YOLO11n訓(xùn)練網(wǎng)絡(luò)以預(yù)訓(xùn)練COCO權(quán)重yolo11n.pt初始化以加速收斂隨后微調(diào)。表4總結(jié)訓(xùn)練階段顯式配置的主要超參數(shù)包括確保報(bào)告指標(biāo)完全可復(fù)現(xiàn)的確切隨機(jī)種子。未列出的超參數(shù)保持Ultralytics默認(rèn)設(shè)置。表4YOLO11n網(wǎng)絡(luò)的訓(xùn)練超參數(shù)。超參數(shù)值輸入分辨率640×640像素輪數(shù)20批大小自動(dòng)內(nèi)存優(yōu)化batch-1隨機(jī)種子93初始權(quán)重yolo11n.pt初步訓(xùn)練在Google Colab NVIDIA T4圖形處理單元GPU上執(zhí)行最終運(yùn)行在NVIDIA RTX 4080 16 GB工作站上。為明確排除隨機(jī)優(yōu)化偏差并刻畫網(wǎng)絡(luò)變異性進(jìn)行了五種子研究種子0、16、42、93和2026。模型性能在初始化間高度穩(wěn)定全局平均mAP50為0.805方差可忽略。由于架構(gòu)不受隨機(jī)權(quán)重初始化影響種子93——其驗(yàn)證損失和精度-召回權(quán)衡接近平均值——被系統(tǒng)選為所有后續(xù)推理和量化實(shí)驗(yàn)的代表性模型。完整隨機(jī)研究在公共倉庫中發(fā)布以供復(fù)現(xiàn)。所有模型使用AdamW優(yōu)化器、自動(dòng)批大小AutoBatch-1、自動(dòng)混合精度AMPFP16以及Ultralytics為實(shí)時(shí)檢測TransformerRT-DETR推薦的馬賽克增強(qiáng)調(diào)度進(jìn)行訓(xùn)練。對YOLO11n在640至1024像素之間進(jìn)行分辨率掃掠以量化輸入尺寸對小目標(biāo)檢測的影響。表5三個(gè)候選單階段檢測器在不平衡HRPlanesV2數(shù)據(jù)集上的比較基準(zhǔn)。Edge TPU僅接受INT8量化權(quán)重適合其8 MB片上SRAM的模型。模型分辨率參數(shù)權(quán)重mAP50FPSSSD MobileNet V33203.07 M11.93 MB44.98%82.66RT-DETR-L64032.81 M188.85 MB74.53%14.05YOLO11n6402.59 M5.22 MB75.01%48.28YOLO11n10242.59 M5.22 MB77.90%34.46如表5詳述評估候選模型以確定其對星載邊緣部署的適用性。SSD MobileNet V3達(dá)到最高推理速度82.66 FPS但因嚴(yán)重背景崩潰被放棄mAP50僅為44.98%不可接受。相反RT-DETR-L雖展示了強(qiáng)檢測能力但因188.85 MB內(nèi)存占用遠(yuǎn)超Edge TPU嚴(yán)格的8 MB片上SRAM限制而被排除。最終YOLO11n被選為最優(yōu)架構(gòu)。其640和1024像素分辨率變體均輕松適合硬件內(nèi)存約束5.22 MB。1024像素配置被選為最終基線因其最大化小目標(biāo)檢測性能77.90% mAP50同時(shí)保持高度可用的34.46 FPS實(shí)時(shí)推理率。5.2 架構(gòu)基準(zhǔn)不平衡數(shù)據(jù)集三個(gè)候選架構(gòu)首先在第4.1節(jié)描述的不平衡HRPlanesV2劃分上訓(xùn)練和評估。所得結(jié)果總結(jié)在表5中并從三個(gè)關(guān)鍵視覺維度綜合分析檢測能力與推理速度的平衡、關(guān)于內(nèi)存和參數(shù)載荷的硬件約束以及操作設(shè)計(jì)空間。圖5平均精度mAP50與基線推理速度的直接比較。如圖5所示SSD MobileNet V3雖是最快和最輕的候選3.07 M參數(shù)11.93 MB但崩潰到背景類mAP50僅為44.98%。此關(guān)鍵失敗歸因于其ImageNet預(yù)訓(xùn)練主干與航空場景獨(dú)特統(tǒng)計(jì)分布之間的不兼容。相反RT-DETR-L達(dá)到有競爭力的74.53% mAP50但如圖6清晰所示其188.85 MB占用超出8 MB SRAM預(yù)算一個(gè)數(shù)量級以上。即使在INT8量化后模型也不能駐留在加速器緩存中其注意力特定矩陣操作不受Edge TPU整數(shù)算術(shù)邏輯單元ALU支持強(qiáng)制回退到CPU從而推理速度崩潰至14.05 FPS。圖6各架構(gòu)參數(shù)占用與Edge TPU 8 MB SRAM預(yù)算的對比。RT-DETR-L超出限制近190 MBYOLO11n在INT8量化后輕松適合。YOLO11n提供了最優(yōu)的精度-效率折衷。圖7直觀地體現(xiàn)了這一優(yōu)勢它是唯一同時(shí)達(dá)到右上區(qū)域高精度、高速度且保持最小半徑的候選指示其可忽略的內(nèi)存占用。在640 px時(shí)其已以三倍以上速度48.28 vs.14.05 FPS匹配Transformer檢測器的精度。此外將輸入分辨率提高到1024 px將mAP50提升至77.90%mAP50-95提高6.65個(gè)百分點(diǎn)對直升機(jī)類別影響尤其強(qiáng)檢出率從46%升至57%。F1曲線上的工作點(diǎn)固定在置信度閾值0.78此處F1分?jǐn)?shù)達(dá)到0.78。圖7操作設(shè)計(jì)空間。氣泡大小與磁盤上模型權(quán)重MB成比例。YOLO11n是唯一在右上區(qū)域具有最小半徑的候選。不平衡YOLO11n模型的殘余弱點(diǎn)在于直升機(jī)類別在歸一化混淆矩陣中34%的直升機(jī)實(shí)例被誤分類為背景民用與軍用飛機(jī)之間仍有19%殘余混淆。這勾勒出第5.3節(jié)增強(qiáng)活動(dòng)成功解決的開問題。5.3 數(shù)據(jù)增強(qiáng)的影響兩個(gè)實(shí)驗(yàn)與第5.2節(jié)的不平衡YOLO11n基線進(jìn)行比較均在1024 px、種子93下訓(xùn)練20輪。5.3.1 實(shí)驗(yàn)1經(jīng)典增強(qiáng)應(yīng)用第4.2.1節(jié)的經(jīng)典流水線產(chǎn)生2,832張額外圖像并使各類別達(dá)到每類約18,000個(gè)實(shí)例的近似平衡。全局mAP50從77.90%上升至81.62%最大F1在置信度閾值0.264處達(dá)到0.77。然而每類F1暴露了不對稱性民用飛機(jī)達(dá)到0.847軍用飛機(jī)0.887但直升機(jī)仍為0.68331%的直升機(jī)實(shí)例仍崩潰到背景。因此經(jīng)典增強(qiáng)對多數(shù)類別有效但對少數(shù)類別不足。圖8三種訓(xùn)練機(jī)制下mAP50的演變不平衡基線、經(jīng)典增強(qiáng)和FLUXLoRA生成式增強(qiáng)。5.3.2 實(shí)驗(yàn)2FLUXLoRA生成式增強(qiáng)總體性能進(jìn)展和模型最優(yōu)操作閾值進(jìn)一步詳見圖8和圖9。如圖8所示三種訓(xùn)練機(jī)制下驗(yàn)證mAP50指標(biāo)的演變強(qiáng)調(diào)了所提議方法論的有效性。雖然從不平衡基線到經(jīng)典增強(qiáng)的過渡提供了初步改進(jìn)但引入FLUXLoRA生成式增強(qiáng)才最大化全局性能。此外學(xué)習(xí)曲線中狹窄的置信區(qū)間表明這種合成平衡對隨機(jī)優(yōu)化方差高度魯棒。最終該方法不僅提高了全局mAP50還確保了所有航空類別間更公平的特征表示有效縮小了少數(shù)與多數(shù)類別之間的性能差距。圖9在FLUXLoRA平衡數(shù)據(jù)集上訓(xùn)練的最終YOLO11n模型的F1曲線在置信度閾值0.394處最大F1為0.79。此外F1-置信度曲線圖9評估了精度和召回率在不同置信度閾值下的調(diào)和均值。模型在置信度閾值0.394處達(dá)到最大F1分?jǐn)?shù)0.79。這一特定最優(yōu)閾值與前述合成域偏移一致模型需要中等而非極高置信度閾值以最大化挑戰(zhàn)性或退化真實(shí)世界實(shí)例的檢測同時(shí)不屈服于過多的背景假陽性。總之這些指標(biāo)實(shí)證驗(yàn)證了生成式增強(qiáng)策略作為不平衡數(shù)據(jù)集中目標(biāo)檢測的高效方法。為全面刻畫模型行為需要對組合混淆矩陣圖11進(jìn)行詳細(xì)分析該矩陣同時(shí)呈現(xiàn)歸一化百分比和絕對指標(biāo)。矩陣表明模型具有強(qiáng)檢測能力正確識(shí)別了7931架民用飛機(jī)74%、3187架直升機(jī)82%和4264架軍用飛機(jī)79%。然而必須特別關(guān)注背景誤分類。假陰性真實(shí)航空實(shí)例被預(yù)測為背景的持續(xù)存在——總計(jì)1213架民用、557架直升機(jī)和550架軍用——可歸因于合成數(shù)據(jù)集擴(kuò)展的性質(zhì)。雖然生成式增強(qiáng)FLUXLoRA成功平衡了類別分布并提供高質(zhì)量樣本但它可能引入微妙的域偏移。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高度特定的合成特征表示有時(shí)可能無法捕獲極端真實(shí)世界邊緣案例的全部復(fù)雜性、變化光照或傳感器噪聲。因此當(dāng)面對高度退化的真實(shí)世界實(shí)例時(shí)模型采取保守推理策略放棄預(yù)測并默認(rèn)背景類別。相反假陽性分布被預(yù)測為飛機(jī)的背景區(qū)域包括694架民用、756架直升機(jī)和890架軍用實(shí)例突顯了模型增強(qiáng)的特征提取敏感性。此現(xiàn)象主要由兩個(gè)因素驅(qū)動(dòng)。首先許多這些感知錯(cuò)誤是同一飛機(jī)上的重疊邊界框評估指標(biāo)將重復(fù)項(xiàng)懲罰為背景假陽性。其次數(shù)據(jù)集包含人類標(biāo)注者最初遺漏的未標(biāo)注實(shí)例。當(dāng)前檢測器成功識(shí)別這些未標(biāo)注目標(biāo)在某些場景中實(shí)際上優(yōu)于原始真實(shí)標(biāo)注。此能力在后續(xù)定性評估中得到視覺證實(shí)例如圖10顯示模型檢測到原始數(shù)據(jù)標(biāo)簽中完全不存在的有效飛機(jī)。圖10明顯假陽性的定性評估。推理結(jié)果顯示訓(xùn)練模型成功檢測到原始真實(shí)標(biāo)注中完全缺失的有效飛機(jī)例如預(yù)測14個(gè)目標(biāo)而數(shù)據(jù)集僅標(biāo)注13個(gè)。這支持一部分報(bào)告的背景誤分類實(shí)際上是正確的檢測突顯了模型的特征提取能力。關(guān)于背景類別重要的是注意代表真陰性背景-背景的交集被有意留空。與標(biāo)準(zhǔn)圖像分類不同目標(biāo)檢測框架基于離散邊界框提議評估性能。因此背景包含圖像中無數(shù)不存在對象且無預(yù)測的空間位置。由于真陰性在此空間上下文中數(shù)學(xué)上不可量化且不貢獻(xiàn)于精度、召回率或mAP等標(biāo)準(zhǔn)檢測指標(biāo)此單元被省略以防止整體性能統(tǒng)計(jì)的失真。圖11最終平衡模型的組合混淆矩陣同時(shí)顯示歸一化百分比和絕對實(shí)例計(jì)數(shù)。對角線突顯了所有目標(biāo)航空類別的檢出率。5.4 可部署模型INT8量化與在軌推理一旦選擇YOLO11n模型通過Ultralytics導(dǎo)出流水線[49]導(dǎo)出為.tflite文件并使用TensorFlow的后訓(xùn)練整數(shù)量化工具鏈[48]量化為INT8。Edge TPU編譯器隨后將矩陣操作直接映射到芯片指令。量化將參數(shù)權(quán)重從5.22 MB減少至約2.5 MB-75%因此整個(gè)推理路徑駐留在8 MB片上SRAM中無需CPU卸載。將測量的T4延遲縮放到Edge TPU吞吐量-功率比得到在1024 px下預(yù)計(jì)在軌速率為25-30 FPS。為處理全場景采集而不降低原生GSD推理被封裝在切片輔助超推理SAHI方案[1]中每個(gè)高分辨率捕獲被切片為1024×1024補(bǔ)丁帶15%周邊重疊Edge TPU順序評估每個(gè)補(bǔ)丁驗(yàn)證的檢測向量被投影回原始捕獲的全局坐標(biāo)系NMS在重疊區(qū)域合并重復(fù)預(yù)測。5.5 擴(kuò)展多類別模型與ISR應(yīng)用作為流水線可擴(kuò)展性的概念驗(yàn)證相同的YOLO11n架構(gòu)在包含特定飛機(jī)型號(hào)F-16、F-22、B-52、U-2、C-130、E-3等加上Runway類別的擴(kuò)展22類數(shù)據(jù)集上重新訓(xùn)練。在嚴(yán)格隔離的測試劃分上評估以排除過擬合所得歸一化混淆矩陣圖12顯示幾乎所有類別的對角線超過95%。這種高精度說明了增強(qiáng)數(shù)據(jù)集的特征提取而非單純數(shù)據(jù)記憶。唯一例外是Runway其精度因與線性背景結(jié)構(gòu)的混淆降至37%——這一局限性激勵(lì)了第7節(jié)討論的未來遷移到實(shí)例分割。機(jī)場場景上的說明性推理拼貼如圖13所示展示了流水線在ISR和GEOINT應(yīng)用中的操作價(jià)值星載檢測器在捕獲區(qū)域內(nèi)定位和分類飛機(jī)僅確認(rèn)的元數(shù)據(jù)會(huì)被下行傳輸。圖12擴(kuò)展22類YOLO11n模型的歸一化混淆矩陣。除Runway37%外幾乎所有類別的對角線超過95%。圖13機(jī)場場景上的推理拼貼說明流水線在ISR和GEOINT應(yīng)用中的操作價(jià)值。由流匹配文本到圖像模型FLUXLoRA流水線生成的代表性合成直升機(jī)樣本如圖14所示光真實(shí)感保真度和背景多樣性支持上述實(shí)證增益。圖14FLUXLoRA流水線在四種操作環(huán)境中生成的合成直升機(jī)圖像。6 討論本節(jié)解釋第5節(jié)呈現(xiàn)的實(shí)證發(fā)現(xiàn)將所提議YOLO11n流水線的性能置于納米衛(wèi)星邊緣計(jì)算的更廣泛框架中。已證明SWaP感知檢測器與生成式數(shù)據(jù)增強(qiáng)的組合成功克服了嚴(yán)重類別不平衡我們現(xiàn)在評估這些結(jié)果的實(shí)際影響。第6.1節(jié)探討此自主架構(gòu)在ISR和GEOINT任務(wù)中的操作影響詳述其相對于傳統(tǒng)彎管范式的戰(zhàn)略優(yōu)勢。最后第6.2節(jié)批判性審視當(dāng)前研究的邊界識(shí)別方法論約束并概述向物理硬件驗(yàn)證的必要步驟。6.1 在ISR和GEOINT中的實(shí)際適用性實(shí)驗(yàn)結(jié)果支持所提議工作流作為納米衛(wèi)星實(shí)時(shí)自主航空監(jiān)視的決策支持工具。通過將推理移至6U CubeSat星上平臺(tái)從傳統(tǒng)彎管架構(gòu)特征的被動(dòng)數(shù)據(jù)收集器演變?yōu)槟軌蜻^濾冗余遙測并僅交付戰(zhàn)術(shù)情報(bào)的自主節(jié)點(diǎn)。在ISR或GEOINT背景中這轉(zhuǎn)化為兩個(gè)操作優(yōu)勢。首先擴(kuò)展22類模型第5.5節(jié)支持的機(jī)場在軌清單允許自動(dòng)軍力部署估計(jì)無需下行原始圖像。其次第3.5節(jié)的智能傳輸ConOps將決策延遲從地面后處理典型的數(shù)小時(shí)或數(shù)天減少到幾分之一秒這對于跟蹤動(dòng)態(tài)目標(biāo)如起飛或機(jī)動(dòng)飛機(jī)至關(guān)重要。表2量化的傳統(tǒng)與提議架構(gòu)之間的權(quán)衡表明Edge TPU消耗的能量被射頻傳輸?shù)木薮蠊?jié)省大幅抵消使該方法在CubeSat 10-30 W預(yù)算內(nèi)能源可持續(xù)。6.2 局限性盡管有這些有希望的結(jié)果所提議方法在操作部署前仍需應(yīng)對若干局限性。僅軟件驗(yàn)證。第5.4節(jié)報(bào)告的所有FPS數(shù)據(jù)是通過將測量的T4延遲與Edge TPU吞吐量-功率比縮放獲得的吞吐量投影尚未在真實(shí)飛行級加速器上進(jìn)行硬件在環(huán)測試也未進(jìn)行輻射測試單粒子效應(yīng)SEE/總電離劑量TID。編譯模型在Edge TPU或Jetson Orin Nano上的物理部署以及在真空和輻射下測量的功率和每幀延遲留作未來工作。Runway類別性能。在擴(kuò)展22類模型中Runway類別因與線性背景結(jié)構(gòu)的混淆精度降至37%。邊界框檢測并非最適合細(xì)長基礎(chǔ)設(shè)施的表述遷移到實(shí)例分割如YOLO-seg預(yù)計(jì)將解決此問題。收斂機(jī)制。平衡模型僅訓(xùn)練20輪雖然結(jié)果已具有競爭力但更長的收斂機(jī)制尚未刻畫收益遞減區(qū)域仍開放。日間和晴朗天氣依賴。光學(xué)有效載荷將操作包絡(luò)限制為日間和無云場景。夜間和重云操作將需要合成孔徑雷達(dá)SAR或紅外IR傳感器超出本工作范圍。生成背景偏差。FLUXLoRA流水線對提示和觸發(fā)token工程敏感每當(dāng)感興趣區(qū)域改變時(shí)應(yīng)重新驗(yàn)證模型以防止背景偏差向合成分布注入偽影。這些限制與太空邊緣AI文獻(xiàn)中報(bào)告的更廣泛限制一致[32, 24, 6]并不否定本文的核心貢獻(xiàn)即展示一個(gè)集成工作流的可行性該工作流聯(lián)合解決星載推理、生成式數(shù)據(jù)增強(qiáng)和面向納米衛(wèi)星航空監(jiān)視的SWaP感知架構(gòu)選擇。7 結(jié)論與未來工作本文提出并驗(yàn)證了一個(gè)面向納米衛(wèi)星星載計(jì)算機(jī)視覺算法部署的工作流展示了在邊緣計(jì)算范式下操作在算法和系統(tǒng)層面的可行性。通過將推理移至配備Google Coral Edge TPU的6U CubeSat星上緩解了傳統(tǒng)彎管架構(gòu)的通信瓶頸使得僅已確認(rèn)檢測元數(shù)據(jù)被下行傳輸。對三個(gè)單階段檢測器進(jìn)行了SWaP感知基準(zhǔn)測試YOLO11n被選為在精度和計(jì)算輕量性之間提供最佳平衡的架構(gòu)是唯一INT8量化權(quán)重約2.5 MB適合加速器8 MB片上SRAM的候選。原始HRPlanesV2數(shù)據(jù)集中少數(shù)類別的不足通過基于FLUX和LoRA的生成式數(shù)據(jù)增強(qiáng)流水線解決合成的、偽標(biāo)注的直升機(jī)圖像將數(shù)據(jù)集平衡到超過53,000個(gè)實(shí)例并將直升機(jī)F1從0.683僅經(jīng)典增強(qiáng)提升至0.811全局mAP50從77.9%提高到82.2%。最后在兼容CubeSat SWAP預(yù)算的商用硬件上部署的技術(shù)可行性已確認(rèn)通過SAHI推理1024×1024切片的預(yù)計(jì)在軌吞吐量為25-30 FPS。盡管有這些有希望的結(jié)果所提議方法仍面臨局限性特別是關(guān)于星載加速器的僅軟件驗(yàn)證以及檢測跑道等細(xì)長基礎(chǔ)設(shè)施的殘余困難。挑戰(zhàn)在于調(diào)和最大化檢測精度與確保在納米衛(wèi)星嚴(yán)格SWAP約束下可部署性的雙重目標(biāo)隨著目標(biāo)類別多樣性擴(kuò)大此問題加劇。未來工作可探索若干研究方向。首先SAR和IR傳感器的集成將實(shí)現(xiàn)全天候操作不受氣象條件或一天中時(shí)間的影響。第二從靜態(tài)圖像檢測轉(zhuǎn)向通過ByteTrack或BoT-SORT等算法的星載視頻跟蹤結(jié)合已訓(xùn)練的YOLO11n將允許估計(jì)速度、航向和預(yù)測軌跡等運(yùn)動(dòng)學(xué)參數(shù)。第三nano架構(gòu)的輕量性使其可導(dǎo)出到無人機(jī)UAV作為替代主機(jī)平臺(tái)實(shí)現(xiàn)在偵察無人機(jī)上實(shí)時(shí)威脅識(shí)別無需將視頻下行到指揮基地。第四FLUXLoRA流水線可重定向到反偽裝訓(xùn)練當(dāng)對手試圖隱藏資產(chǎn)時(shí)強(qiáng)制檢測器學(xué)習(xí)隱藏模式。最后編譯模型在太空級加速器——Edge TPU或Jetson Orin Nano——上的物理部署在真空和輻射下測量功耗和每幀延遲將提供該概念的決定性驗(yàn)證并是本工作的自然延續(xù)。 通過星載推理和生成式數(shù)據(jù)增強(qiáng)實(shí)現(xiàn)納米衛(wèi)星自主航空監(jiān)視
大家讀完覺得有幫助記得關(guān)注和點(diǎn)贊摘要低地球軌道的空中監(jiān)視受到兩個(gè)相互關(guān)聯(lián)的瓶頸的阻礙納米衛(wèi)星的下行鏈路預(yù)算有限但傳統(tǒng)方法仍將數(shù)TB的原始圖像傳輸?shù)降孛孢M(jìn)行處理且用于飛機(jī)的開放衛(wèi)星數(shù)據(jù)集稀缺且嚴(yán)重類別不平衡。這些限制要么延遲了及時(shí)決策要么阻止標(biāo)準(zhǔn)檢測器學(xué)習(xí)罕見飛機(jī)類別的魯棒表示。本文提出了一種將星載推理與生成式數(shù)據(jù)增強(qiáng)相結(jié)合的工作流以共同解決這兩個(gè)限制。推理在配備低功耗邊緣張量加速器的6U CubeSat上執(zhí)行而通過低秩適應(yīng)微調(diào)的擴(kuò)散模型生成合成少數(shù)類別圖像。這些合成輸出由中間檢測器自動(dòng)標(biāo)注偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并。結(jié)果表明平衡后的數(shù)據(jù)集將全局平均精度從77.9%提高到82.2%少數(shù)類別的F1從0.683提升至0.811且量化后的檢測器適合片上內(nèi)存在軌預(yù)計(jì)幀率為25-30幀/秒。這種方法與傳統(tǒng)彎管架構(gòu)形成對比后者中衛(wèi)星充當(dāng)被動(dòng)數(shù)據(jù)收集器。因此計(jì)算測試支持所提出的工作流作為納米衛(wèi)星實(shí)時(shí)自主航空監(jiān)視的決策支持工具。關(guān)鍵詞衛(wèi)星航空監(jiān)視邊緣計(jì)算小目標(biāo)檢測數(shù)據(jù)增強(qiáng)LoRA1 引言對空域和地球表面的持續(xù)監(jiān)測對于安全、應(yīng)急管理和空中交通管制至關(guān)重要。傳統(tǒng)上這些監(jiān)視任務(wù)依賴于地面基礎(chǔ)設(shè)施如主/二次雷達(dá)網(wǎng)絡(luò)或?qū)娇請D像的人工審查。然而這些方法存在眾所周知的局限性地理覆蓋不完全、對昂貴設(shè)施的高度依賴以及可能延遲關(guān)鍵決策的響應(yīng)時(shí)間[43, 44]。在過去十年中納米衛(wèi)星的出現(xiàn)使軌道觀測變得大眾化。其尺寸減小和制造成本降低使得部署具有高空間分辨率和前所未有重訪頻率的星座成為可能[45, 34]。盡管有這些操作優(yōu)勢在軌傳感器的大規(guī)模采集能力引發(fā)了新的技術(shù)瓶頸產(chǎn)生的圖像量遠(yuǎn)遠(yuǎn)超過傳統(tǒng)射頻鏈路將其下載到地面的能力[13]。挑戰(zhàn)在于高效處理這一海量視覺遙測數(shù)據(jù)以便在無需持續(xù)人工干預(yù)的情況下檢測相關(guān)目標(biāo)。本工作的動(dòng)機(jī)是兩個(gè)互補(bǔ)的空白據(jù)作者所知這兩個(gè)空白尚未在文獻(xiàn)中被共同解決。第一個(gè)空白涉及當(dāng)前對地觀測任務(wù)的架構(gòu)范式其仍遵循繼承自早期太空時(shí)代的集中式概念通常稱為“彎管”。在此方案下衛(wèi)星僅充當(dāng)太空中的中繼全部原始圖像有效載荷被下行傳輸分析委托給高性能地面服務(wù)器。雖然這些服務(wù)器能夠執(zhí)行密集預(yù)測模型但它們將先進(jìn)的軌道系統(tǒng)降級為數(shù)據(jù)收集器的被動(dòng)角色。因此星載子系統(tǒng)缺乏自主推斷所收集遙測數(shù)據(jù)中哪些片段具有真正操作價(jià)值所需的情境一致性。第二個(gè)空白涉及訓(xùn)練數(shù)據(jù)用于飛機(jī)的開放衛(wèi)星數(shù)據(jù)集稀缺且嚴(yán)重不平衡。在標(biāo)準(zhǔn)HRPlanesV2 [46]數(shù)據(jù)集中軍用飛機(jī)數(shù)量超過少數(shù)直升機(jī)類別的四倍這阻止了標(biāo)準(zhǔn)單階段檢測器學(xué)習(xí)罕見類別的魯棒表示?，F(xiàn)有技術(shù)通常孤立地解決這兩個(gè)空白要么算法在地面運(yùn)行并承受下行鏈路的延遲懲罰要么理論模型在軌道就緒數(shù)據(jù)上訓(xùn)練卻壓制了少數(shù)類別要么生成合成圖像而不考慮空間硬件的熱功耗約束。本文將所有這些維度統(tǒng)一到一個(gè)連貫的工作流中。為克服第一個(gè)空白該工作流在配備Google Coral Edge張量處理單元TPU作為星載數(shù)據(jù)處理OBDP加速器的6U CubeSat上執(zhí)行推理。檢測器被約束在INT8量化后適合加速器上8 MB片上靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM這是一個(gè)明確的尺寸、重量和功耗SWaP感知設(shè)計(jì)條件驅(qū)動(dòng)架構(gòu)選擇和壓縮階段。為克服第二個(gè)空白提出了基于FLUX [23]和低秩適應(yīng)LoRA[17]的生成式數(shù)據(jù)增強(qiáng)流水線在少數(shù)類別上訓(xùn)練自定義LoRA token模型以GGUF格式量化以使微調(diào)在消費(fèi)級硬件上可行合成圖像由中間檢測器偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并。單獨(dú)經(jīng)典增強(qiáng)對直升機(jī)類別不足F10.683而添加合成數(shù)據(jù)將其提升至F10.811接近多數(shù)類別的性能。本文的主要貢獻(xiàn)如下一種面向太空級AI部署的硬件優(yōu)先方法論。首先建立目標(biāo)平臺(tái)的物理約束——6U CubeSat總線、Google Coral Edge TPU和8 MB SRAM預(yù)算——然后才選擇并調(diào)整檢測器架構(gòu)以適應(yīng)這些約束。針對少數(shù)類別的生成式數(shù)據(jù)增強(qiáng)流水線。自定義FLUXLoRA工作流在四種操作環(huán)境中生成合成直升機(jī)圖像隨后由中間YOLO檢測器偽標(biāo)注并與經(jīng)典增強(qiáng)樣本合并以產(chǎn)生平衡數(shù)據(jù)集。面向太空級硬件的單階段檢測器SWaP感知基準(zhǔn)。三種架構(gòu)SSD MobileNet V3、YOLO11n和RT-DETR-L在相同不平衡航空數(shù)據(jù)集和Coral Edge TPU的8 MB SRAM預(yù)算下進(jìn)行比較。YOLO11n成為最佳精度-延遲折衷方案并被保留為參考。6U CubeSat上的星載操作概念。所選檢測器導(dǎo)出為INT8映射到Edge TPU SRAM并與1024×1024切片的切片輔助超推理SAHI評估集成實(shí)現(xiàn)82.2%平均精度mAP50在軌預(yù)計(jì)吞吐量為25-30幀/秒FPS。源代碼、FLUX LoRA適配器、ComfyUI工作流和訓(xùn)練權(quán)重在開放倉庫中發(fā)布GitHub - Antonio23013/TFG-DETECCION-DE-OBJETOS: Código fuente del TFG: Detección de aeronaves paa plataformas satelitales, y aumento de datos sintéticos con LoRA. · GitHub以確保所有實(shí)驗(yàn)可被社區(qū)完全復(fù)現(xiàn)和擴(kuò)展。本文其余部分結(jié)構(gòu)如下第2節(jié)回顧了航空圖像目標(biāo)檢測、生成式數(shù)據(jù)增強(qiáng)和太空邊緣計(jì)算領(lǐng)域的最新進(jìn)展。由于太空級組件的稀缺性和嚴(yán)格物理限制本文采用硬件優(yōu)先方法論在可行選擇人工智能模型之前必須確定物理能力。因此第3節(jié)描述6U CubeSat的任務(wù)和平臺(tái)約束包括光學(xué)有效載荷、Edge TPU加速器和通信子系統(tǒng)。在硬件定義之后第4節(jié)介紹材料和方法即HRPlanesV2數(shù)據(jù)集、數(shù)據(jù)增強(qiáng)流水線以及針對這些物理約束評估的候選架構(gòu)。第5節(jié)描述實(shí)驗(yàn)和獲得的結(jié)果展示所選架構(gòu)在不平衡、經(jīng)典增強(qiáng)和合成平衡場景下的性能并分析在軌可部署INT8模型。第6節(jié)討論該提議在情報(bào)、監(jiān)視與偵察ISR和地理空間情報(bào)GEOINT場景中的實(shí)際適用性同時(shí)承認(rèn)其局限性。最后第7節(jié)總結(jié)本文的結(jié)論和進(jìn)一步工作。2 相關(guān)工作本節(jié)回顧與本文目標(biāo)最相關(guān)的文獻(xiàn)。綜述圍繞所提議工作流整合的三個(gè)技術(shù)主線組織太空任務(wù)的邊緣計(jì)算、生成式數(shù)據(jù)增強(qiáng)和航空圖像中的目標(biāo)檢測。2.1 太空邊緣計(jì)算衛(wèi)星觀測領(lǐng)域的現(xiàn)有技術(shù)揭示了通信架構(gòu)中的顯著技術(shù)差距。當(dāng)前主流操作范式遵循繼承自早期太空時(shí)代的集中式概念稱為“彎管”其中衛(wèi)星僅充當(dāng)中繼全部原始有效載荷被下行傳輸?shù)降孛嫣幚?。在此方案下星載子系統(tǒng)缺乏自主丟棄冗余遙測所需的情境感知這延續(xù)了第1節(jié)討論的下行鏈路瓶頸。將星載數(shù)據(jù)處理OBDP移至星上使平臺(tái)從被動(dòng)傳感器轉(zhuǎn)變?yōu)樽灾鞴?jié)點(diǎn)但這需要與CubeSat的尺寸、重量和功耗SWAP預(yù)算兼容且同時(shí)對低地球軌道LEO輻射環(huán)境具有韌性的加速器。兩個(gè)參考任務(wù)率先推動(dòng)了這一轉(zhuǎn)變歐洲空間局ESAφ-sat-1其在Myriad 2視覺處理器上演示了星載云層篩選以及ESA CISERES任務(wù)[12]由Deimos領(lǐng)導(dǎo)將星載人工智能AI應(yīng)用于民用安全應(yīng)用。越來越多的工作已表征了商用現(xiàn)貨加速器對此類任務(wù)的適用性包括Intel Movidius Myriad、Google Coral Edge TPU和NVIDIA Jetson系列[5, 35, 6]以及它們在輻射和單粒子效應(yīng)下的行為[13, 32, 24]。同樣Magalh?es等[30]在本期刊中對用于單階段目標(biāo)檢測的若干邊緣設(shè)備進(jìn)行了基準(zhǔn)測試報(bào)告精度、延遲和功耗之間的權(quán)衡高度依賴于設(shè)備。本工作采用相同的基準(zhǔn)測試?yán)砟畹槍Σ煌I(lǐng)域和額外約束所選檢測器必須在8位整數(shù)量化INT8后適合加速器的片上靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM以便整個(gè)推理路徑可在無外部存儲(chǔ)器的情況下運(yùn)行并在6U CubeSat的功耗包絡(luò)內(nèi)。2.2 生成式數(shù)據(jù)增強(qiáng)深度學(xué)習(xí)檢測器仍強(qiáng)烈依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量。在航空航天領(lǐng)域手動(dòng)收集和標(biāo)注數(shù)萬張?zhí)囟w機(jī)如各種操作環(huán)境中的軍用直升機(jī)的影像在后勤上不可行這激發(fā)了合成數(shù)據(jù)的使用。生成對抗網(wǎng)絡(luò)GANs[15]是應(yīng)用于此的第一代生成家族CycleGAN等變體用于模擬基礎(chǔ)設(shè)施或改變航空照片中的氣象條件。然而GANs存在訓(xùn)練不穩(wěn)定和難以保持飛機(jī)嚴(yán)格幾何一致性的問題這一局限性在深度學(xué)習(xí)數(shù)據(jù)增強(qiáng)綜述[41]和關(guān)于合成樣本多樣性不足時(shí)產(chǎn)生的背景偏差研究[2]中已被廣泛記錄。該領(lǐng)域最近的突破是潛擴(kuò)散模型LDMs[40]的使用其通過迭代去噪潛表示生成圖像并實(shí)現(xiàn)明顯高于前代的光度保真度。將數(shù)十億參數(shù)的擴(kuò)散模型適應(yīng)于特定飛機(jī)類別通常需要超級計(jì)算資源但低秩適應(yīng)LoRA技術(shù)[17]通過凍結(jié)預(yù)訓(xùn)練權(quán)重并注入低秩可訓(xùn)練矩陣使這成為可能將可訓(xùn)練參數(shù)數(shù)量減少超過99%。相同的生成原理最近已應(yīng)用于少數(shù)類別增強(qiáng)Mueller等[31]提出了一種注意力增強(qiáng)的條件擴(kuò)散模型用于機(jī)器故障診斷中的數(shù)據(jù)合成報(bào)告了對代表性不足類別的一致增益。本文提出的工作流將此思想遷移到航空航天領(lǐng)域使用自定義LoRA token在少數(shù)直升機(jī)類別上微調(diào)最先進(jìn)的擴(kuò)散模型并用中間檢測器對合成輸出進(jìn)行偽標(biāo)注這一集成據(jù)作者所知此前未見報(bào)道。2.3 航空圖像中的目標(biāo)檢測在神經(jīng)網(wǎng)絡(luò)普及之前航空圖像中的飛機(jī)檢測依賴于手工特征以方向梯度直方圖HOG描述符[9]與支持向量機(jī)SVM分類器[7]的組合為代表。這些早期模型尋找?guī)缀屋喞⑼队瓣幱盎蚺艿郎巷w機(jī)的銳利邊緣但非常僵化它們在光照變化、云層部分遮擋和采集角度變化下失效并對相似形狀的基礎(chǔ)設(shè)施產(chǎn)生高假陽性率。卷積神經(jīng)網(wǎng)絡(luò)CNN的引入使網(wǎng)絡(luò)本身能夠在訓(xùn)練期間學(xué)習(xí)幾何和紋理特征標(biāo)志著向兩階段檢測器的過渡如基于區(qū)域的CNNR-CNN和后來的Faster R-CNN [39]其中區(qū)域提議網(wǎng)絡(luò)RPN首先提議候選區(qū)域然后分類器確認(rèn)目標(biāo)存在。航空圖像目標(biāo)檢測數(shù)據(jù)集DOTA[51]的發(fā)布通過提供數(shù)十萬帶注釋的航空實(shí)例以Faster R-CNN為基線鞏固了這一方向。盡管兩階段檢測器實(shí)現(xiàn)了前所未有的精度但其分叉架構(gòu)計(jì)算昂貴單階段檢測器如YOLO [38]達(dá)到超過30幀/秒FPS而Faster R-CNN通常保持在10 FPS以下阻礙了其在嵌入式實(shí)時(shí)應(yīng)用中的使用。為緩解航空場景中背景與小目標(biāo)之間的極端不平衡Lin等[25]在RetinaNet中引入了Focal Loss這一貢獻(xiàn)直接激勵(lì)了本工作因?yàn)樾∧繕?biāo)檢測問題是LEO飛機(jī)識(shí)別的核心?，F(xiàn)代YOLO版本自此成為航空圖像的工業(yè)標(biāo)準(zhǔn)本期刊中的多項(xiàng)近期研究已探索了它們在飛機(jī)檢測中的行為Liu等[26]提出了一種角聚類方法與深度學(xué)習(xí)結(jié)合用于遙感圖像中的飛機(jī)檢測?lmak等[18]評估了YOLO v8和v9在甚高分辨率圖像中的高效飛機(jī)檢測Liu等[27]提供了遙感中基于YOLO檢測的全面綜述。關(guān)于小目標(biāo)機(jī)制Zhang等[53]引入了一種邊緣感知神經(jīng)網(wǎng)絡(luò)明確解決航空目標(biāo)的低信背比問題。本工作建立在此軌跡上但從一開始就受納米衛(wèi)星SWAP預(yù)算約束設(shè)計(jì)這是上述研究中缺失的條件。2.4 綜合與研究空白總之所綜述文獻(xiàn)表明單階段檢測器尤其是現(xiàn)代YOLO變體已成為航空圖像中飛機(jī)檢測的事實(shí)標(biāo)準(zhǔn)基于擴(kuò)散模型和低秩適應(yīng)的生成式數(shù)據(jù)增強(qiáng)已成為少數(shù)類別經(jīng)典增強(qiáng)的可行替代方案且星載邊緣加速器已達(dá)到足夠成熟的水平以用于衛(wèi)星部署。然而這三個(gè)主線孤立發(fā)展尚無先前工作將SWAP感知架構(gòu)選擇、少數(shù)類別的生成式數(shù)據(jù)增強(qiáng)和星載INT8部署集成到納米衛(wèi)星航空監(jiān)視的單一工作流中。本文正是針對這一空白并在公共航空數(shù)據(jù)集上以完整源代碼可復(fù)現(xiàn)性驗(yàn)證了所得流水線。3 任務(wù)與平臺(tái)約束本節(jié)闡述約束其余工作流的物理和操作背景。首先介紹納米衛(wèi)星平臺(tái)及驅(qū)動(dòng)星載處理的數(shù)據(jù)量瓶頸然后刻畫星載AI加速器及其內(nèi)存約束最后描述通信子系統(tǒng)和與地面段閉環(huán)的操作概念。第4節(jié)的架構(gòu)選擇和第5節(jié)的部署分析均由此處收集的約束驅(qū)動(dòng)。3.1 CubeSat外形尺寸與軌道窗口歷史上太空觀測由開發(fā)周期常超過十年、預(yù)算數(shù)百萬美元、操作質(zhì)量數(shù)噸的大型衛(wèi)星主導(dǎo)[50]。然而過去二十年中電子產(chǎn)品的持續(xù)小型化、商用現(xiàn)貨COTS組件的采用以及發(fā)射系統(tǒng)成本的逐步降低引發(fā)了太空架構(gòu)的真正革命[45]。在此轉(zhuǎn)變中新太空范式按質(zhì)量對小型衛(wèi)星進(jìn)行了分類1至10 kg的納米衛(wèi)星平臺(tái)如今在新興軌道服務(wù)中占據(jù)重要位置[52]。CubeSat標(biāo)準(zhǔn)對這一演變至關(guān)重要其可預(yù)測的幾何單元簡化了內(nèi)部子系統(tǒng)設(shè)計(jì)并可通過P-POD等標(biāo)準(zhǔn)化部署器部署[36]允許納米衛(wèi)星作為次級有效載荷進(jìn)入軌道將發(fā)射成本降低數(shù)個(gè)數(shù)量級[20]。本文采用6U CubeSat約10×20×30 cm～8 kg表1作為參考平臺(tái)。雖然AI加速器本身占用空間極小但6U格式由光學(xué)有效載荷證明以1024×1024像素原生分辨率訓(xùn)練參考檢測器需要高分辨率圖像6U機(jī)箱提供容納光學(xué)器件和足夠大太陽能電池板面積以滿足功率預(yù)算所需體積。假設(shè)平臺(tái)在約500 km高度的LEO運(yùn)行衛(wèi)星速度約7.5 km/s對給定地面站的可見窗口每次過境限制為10-15分鐘[29]。表1CubeSat標(biāo)準(zhǔn)的尺寸和質(zhì)量規(guī)格。格式尺寸cm最大質(zhì)量kg1U10×10×10～1.332U10×10×20～2.663U10×10×30～4.006U10×20×30～8.003.2 數(shù)據(jù)量瓶頸與星載處理的必要性LEO星座的操作成功引發(fā)了新的傳輸挑戰(zhàn)。小型化高分辨率光學(xué)和紅外傳感器產(chǎn)生了前所未有的信息量在軌獲取攝影遙測的能力現(xiàn)已遠(yuǎn)超下行鏈路將其傳送到地面的能力[29]。這不是任意的設(shè)計(jì)問題而是由電磁學(xué)和平臺(tái)SWAP預(yù)算強(qiáng)加的障礙3U-6U CubeSat通常僅通過其太陽能電池板產(chǎn)生10-30 W功率[34]這限制了射頻放大器的發(fā)射功率且縮減的體積阻止了高增益拋物面天線的安裝。因此任務(wù)必須依賴低剖面貼片天線[14, 8]其吞吐量雖足以實(shí)時(shí)傳輸元數(shù)據(jù)——但不足以維持原始高分辨率幀的連續(xù)轉(zhuǎn)儲(chǔ)。這一物理限制鞏固了本工作的核心提議通過將單階段檢測器集成到星載處理器上下行鏈路不再是飽含吉字節(jié)像素的漏斗而是高效地僅用于傳輸輕量級元數(shù)據(jù)向量——目標(biāo)坐標(biāo)、置信度和時(shí)間戳——僅數(shù)KB。與衛(wèi)星充當(dāng)被動(dòng)收集器的傳統(tǒng)彎管架構(gòu)的對比總結(jié)在表2中星載推理將數(shù)小時(shí)或數(shù)天的決策延遲轉(zhuǎn)化為幾分之一秒并釋放下行鏈路僅用于戰(zhàn)術(shù)相關(guān)信息。表2傳統(tǒng)彎管架構(gòu)與本文提出的星載邊緣處理的操作比較。操作參數(shù)傳統(tǒng)彎管提議邊緣星載處理無被動(dòng)捕獲和本地存儲(chǔ)先進(jìn)帶深度學(xué)習(xí)的主動(dòng)推理傳輸數(shù)據(jù)原始全圖吉字節(jié)元數(shù)據(jù)向量和檢測警報(bào)千字節(jié)帶寬使用下行鏈路完全飽和最小化避免收發(fā)器瓶頸決策延遲數(shù)小時(shí)或數(shù)天地面后處理幾分之一秒近實(shí)時(shí)在軌能源影響RF放大器持續(xù)高消耗優(yōu)化TPU成本被巨大RF節(jié)省抵消3.3 星載AI加速器與內(nèi)存約束將推理移至星上需要與CubeSat的SWaP預(yù)算兼容、同時(shí)對低地球軌道LEO輻射環(huán)境具有韌性的加速器。數(shù)據(jù)中心圖形處理單元GPU如本文訓(xùn)練實(shí)驗(yàn)所用的NVIDIA T4峰值功耗為70 W [33]。這種熱和電足跡與標(biāo)準(zhǔn)納米衛(wèi)星平臺(tái)通?？捎玫?0-30 W總功率預(yù)算根本不相容[34]。為太空神經(jīng)推理評估的商用現(xiàn)貨COTS微加速器格局包括三個(gè)主要候選總結(jié)在表3中Intel Movidius視覺處理單元VPUMyriad 2/X、Google Coral Edge張量處理單元TPU和NVIDIA Jetson系列Nano/TX2i/Orin。前兩個(gè)已由歐洲空間局ESA認(rèn)證或正在認(rèn)證中Myriad 2由φ-sat-1任務(wù)在軌演示用于云層篩選[37]Coral Edge TPU目前正在由ESA CAIRS21項(xiàng)目評估輻射耐受性總電離劑量和單粒子效應(yīng)[24, 6]。表3為星載推理評估的COTS微加速器的技術(shù)比較。平臺(tái)/芯片架構(gòu)功率最佳精度太空驗(yàn)證Intel Movidius (Myriad 2/X)VPU視覺～1.5-2 WFP16 / INT8φ-sat-1 (ESA, 2020)Google Coral (Edge TPU)ASIC張量～2 WINT8量化CAIRS21 (ESA, 2024)NVIDIA Jetson (Nano/TX2i)SoCGPUCUDA5-15 WFP32 / FP16Aitech Venus太空計(jì)算機(jī)Coral Edge TPU被選為本文其余部分的參考加速器。其在2 W下提供高達(dá)4萬億次操作每秒TOPS2 TOPS/W[35]其編譯生態(tài)系統(tǒng)提供穩(wěn)健的交叉編譯流程將通用GPU上訓(xùn)練的模型映射到星載專用集成電路ASIC[16]網(wǎng)絡(luò)首先導(dǎo)出并量化為INT8的.tflite文件[49, 48]然后Edge TPU編譯器將矩陣操作直接分配給芯片指令。該設(shè)備施加的兩個(gè)嚴(yán)格物理約束驅(qū)動(dòng)第5節(jié)的架構(gòu)選擇INT8量化。加速器缺乏處理32位浮點(diǎn)FP32運(yùn)算的硅整個(gè)模型必須量化為8位整數(shù)。此步驟將參數(shù)權(quán)重減少約75%僅對整體檢測精度產(chǎn)生邊際影響[48]。8 MB片上SRAM限制。Edge TPU集成了一個(gè)快速但物理受限的8 MB靜態(tài)隨機(jī)存取存儲(chǔ)器SRAM直接與處理器在同一芯片上[5]。為獲得最佳性能量化模型的參數(shù)和執(zhí)行圖必須完全適合此預(yù)算使完整推理路徑以最大速度在緩存中運(yùn)行。如果模型超出此限制計(jì)算塊必須卸載到CubeSat的通用主機(jī)CPU。此卸載觸發(fā)系統(tǒng)總線上的大量數(shù)據(jù)傳輸導(dǎo)致幀率嚴(yán)重下降并抵消加速器的能源優(yōu)勢[16]。這兩個(gè)約束的組合定義了本文的核心設(shè)計(jì)規(guī)則——所選檢測器一旦量化為INT8必須嚴(yán)格適合Edge TPU的8 MB SRAM以保證在軌實(shí)時(shí)、節(jié)能性能。3.4 光學(xué)有效載荷與姿態(tài)控制圖像采集委托給新太空領(lǐng)域的COTS光學(xué)器件。Simera Sense的xScape200系列[42]或Dragonfly Aerospace的Mantis傳感器[10]等模塊化光學(xué)系統(tǒng)有機(jī)集成到6U體積中從500 km軌道提供約1.5 m/像素的地面采樣距離GSD。在此分辨率下標(biāo)準(zhǔn)尺寸飛機(jī)在焦平面上占據(jù)足夠的像素面積以保持其形態(tài)這證明了檢測器采用的原生輸入分辨率。為保證對地面目標(biāo)的正交取景衛(wèi)星依賴結(jié)合星跟蹤器和反作用輪的三軸姿態(tài)確定與控制系統(tǒng)ADCS在采集階段保持嚴(yán)格對地定向姿態(tài)消除傾斜透視造成的幾何畸變[47]。3.5 通信與操作概念由于星載神經(jīng)處理器自主丟棄空捕獲需傳輸?shù)臄?shù)據(jù)量大幅減少——CubeSat僅下行輕量級元數(shù)據(jù)包坐標(biāo)、時(shí)間戳和置信度以及對應(yīng)正檢測的壓縮1024×1024像素切片。因此提出分體通信架構(gòu)如圖1所示。有效載荷下行鏈路。工作在2.2-2.3 GHz頻段的COTS S波段發(fā)射機(jī)如EnduroSat S-Band Transmitter [21]提供高達(dá)10 Mbps足以在地面站可見的幾分鐘內(nèi)交付檢測輸出。使用低剖面貼片天線使輻射單元不干擾太陽能電池板面積。遙測、跟蹤與指令TTC。保留標(biāo)準(zhǔn)全向UHF收發(fā)器用于指令上行和健康監(jiān)測遙測[11]。圖16U CubeSat的天對地?cái)?shù)據(jù)下行鏈路架構(gòu)框圖。示意圖說明雙頻通信策略用于視覺推理下載的高速S波段鏈路2-10 Mbps和用于平臺(tái)遙測與戰(zhàn)術(shù)警報(bào)的低速UHF/VHF鏈路9.6 kbps。任務(wù)在總決策自主模型下運(yùn)行在低功耗和戰(zhàn)術(shù)干預(yù)模式之間交替[22]空閑與規(guī)劃。衛(wèi)星以光學(xué)和計(jì)算有效載荷關(guān)閉狀態(tài)繞行。僅在接近通過星載全球?qū)Ш叫l(wèi)星系統(tǒng)GNSS接收器定位的預(yù)編程戰(zhàn)略興趣地理坐標(biāo)時(shí)激活。帶環(huán)形緩沖區(qū)的動(dòng)態(tài)采集。飛越目標(biāo)區(qū)域時(shí)相機(jī)不永久存儲(chǔ)捕獲高分辨率數(shù)據(jù)流臨時(shí)緩存在星載主計(jì)算機(jī)的隨機(jī)存取存儲(chǔ)器RAM中。智能傳輸。AI加速器實(shí)時(shí)分析易失性緩沖區(qū)。無超過置信閾值的檢測的幀被丟棄并立即覆蓋正檢測時(shí)系統(tǒng)中斷擦除循環(huán)提取有用幀連同其元數(shù)據(jù)壓縮并永久存儲(chǔ)以待下行。此方法確?？臻g段僅交付戰(zhàn)術(shù)情報(bào)最大化操作自主性并避免帶寬限制否則下行鏈路將飽和。本節(jié)收集的約束——6U外形尺寸、INT8量化和Edge TPU的8 MB SRAM預(yù)算、約1.5 m GSD的對地定向光學(xué)以及S波段/UHF通信分體——是驅(qū)動(dòng)接下來呈現(xiàn)的方法論和實(shí)驗(yàn)活動(dòng)的輸入。4 材料與方法本節(jié)描述支持實(shí)驗(yàn)活動(dòng)的材料和方法。首先呈現(xiàn)基線數(shù)據(jù)集及其初始診斷第4.1節(jié)然后詳述兩階段數(shù)據(jù)增強(qiáng)流水線——經(jīng)典變換后接生成合成第4.2節(jié)最后在第4.3節(jié)介紹候選檢測架構(gòu)和評估指標(biāo)以及將方法論與第3節(jié)平臺(tái)約束聯(lián)系起來的SWaP感知選擇標(biāo)準(zhǔn)。4.1 數(shù)據(jù)集HRPlanesV2研究的起點(diǎn)是公共HRPlanesV2數(shù)據(jù)集托管在Roboflow計(jì)算機(jī)視覺平臺(tái)[46]上。它提供高分辨率衛(wèi)星圖像基礎(chǔ)包含三個(gè)操作類別的飛機(jī)結(jié)構(gòu)化標(biāo)注民用飛機(jī)、軍用飛機(jī)和直升機(jī)。數(shù)據(jù)集分為訓(xùn)練、驗(yàn)證和測試子集分別占總圖像的79%、13%和8%。在任何訓(xùn)練之前原始訓(xùn)練劃分沿兩條互補(bǔ)軸診斷這兩條軸影響工作流的其余部分。第一條軸是實(shí)例的定量分布。共有30874個(gè)有效邊界框可用分布如下見圖2軍用飛機(jī)是多數(shù)類有17814個(gè)實(shí)例57.7%民用飛機(jī)占8603個(gè)實(shí)例27.9%直升機(jī)僅提供4457個(gè)實(shí)例14.4%。多數(shù)與少數(shù)類別之比約為4:1。直接在此分布上訓(xùn)練單階段檢測器會(huì)在最小化全局損失時(shí)使網(wǎng)絡(luò)偏向多數(shù)類這對于早期預(yù)警任務(wù)是不可接受的并促使了接下來描述的過采樣策略。圖2HRPlanesV2原始訓(xùn)練集中每類別的實(shí)例邊界框分布。第二條軸是形態(tài)學(xué)的每個(gè)邊界框相對于完整圖像的相對面積。編寫了自定義Python腳本解析每個(gè)標(biāo)注文件提取邊界框坐標(biāo)并按圖像分辨率歸一化幾何面積。所得箱線圖如圖3所示。分析說明了一個(gè)經(jīng)典的小目標(biāo)檢測問題62.2%的民用飛機(jī)、48.4%的直升機(jī)和26.8%的軍用飛機(jī)占據(jù)小于總圖像面積的1%。直升機(jī)類別最脆弱結(jié)合了最少的樣本數(shù)和最小的平均面積1.08%而軍用飛機(jī)為1.893%。這表明簡單的全圖過采樣不足且改變尺度的變換放大、中心裁剪必須包含在增強(qiáng)流水線中以強(qiáng)制網(wǎng)絡(luò)提取低層特征。圖3每個(gè)操作類別的邊界框相對面積相對于總圖像尺寸的分布。為可讀性省略離群值。4.2 數(shù)據(jù)增強(qiáng)流水線為保持方法完整性并避免數(shù)據(jù)泄漏以下描述的每個(gè)變換僅應(yīng)用于訓(xùn)練劃分驗(yàn)證和測試劃分保持不變以便最終指標(biāo)反映在未改變的真實(shí)場景上的性能。4.2.1 經(jīng)典增強(qiáng)第一階段應(yīng)用經(jīng)典變換到原始像素以系統(tǒng)性地增加形態(tài)和輻射多樣性無需額外數(shù)據(jù)收集。組合了三個(gè)不同的變換家族均通過廣泛采用的Albumentations庫[3]實(shí)現(xiàn)幾何變換改變像素的空間排列而不修改其強(qiáng)度。應(yīng)用水平和垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)和中心裁剪/放大操作。后者直接解決上述小目標(biāo)問題強(qiáng)制目標(biāo)占據(jù)圖像的較大比例。光度變換修改強(qiáng)度值和顏色通道HSV/RGB抖動(dòng)、高斯和椒鹽噪聲以及高斯模糊。這些模擬在軌光學(xué)有效載荷在不同過境中面臨的輻射變異性熱噪聲、太陽耀斑、部分云層覆蓋、7.5 km/s運(yùn)動(dòng)模糊?；旌献儞Q在同一圖像上依次和概率性地應(yīng)用幾何和光度操作生成復(fù)雜邊界案例樣本防止過早收斂并增強(qiáng)卷積層中的魯棒特征提取。此階段產(chǎn)生2832張?jiān)鰪?qiáng)圖像928張幾何、939張光度和965張混合使少數(shù)類別達(dá)到每類約18,000個(gè)實(shí)例的近似平衡。4.2.2 使用FLUX和LoRA的生成式增強(qiáng)經(jīng)典增強(qiáng)受限于原始像素中包含的信息它可以變換現(xiàn)有數(shù)據(jù)但不能生成新知識(shí)。如果沒有原始圖像描繪直升機(jī)飛越雪地或沙漠沒有經(jīng)典變換能重現(xiàn)該場景。為克服這一表示限制引入了基于潛擴(kuò)散模型LDMs的生成階段。生成對抗網(wǎng)絡(luò)GANs[15]因其訓(xùn)練不穩(wěn)定性和難以保持飛機(jī)嚴(yán)格幾何一致性而被放棄如深度學(xué)習(xí)增強(qiáng)綜述[41]和關(guān)于合成樣本多樣性不足時(shí)產(chǎn)生的背景偏差研究[2]所記錄。所選生成主干是FLUX [23]它以流匹配取代傳統(tǒng)擴(kuò)散并提供軍用機(jī)身和直升機(jī)旋翼所需的光真實(shí)感保真度。將十億參數(shù)擴(kuò)散模型適應(yīng)于特定飛機(jī)類別通常需要超級計(jì)算資源。低秩適應(yīng)LoRA[17]通過凍結(jié)預(yù)訓(xùn)練權(quán)重矩陣W?并將更新ΔW近似為兩個(gè)低秩矩陣B和A的乘積使這成為可能W_new W? B·A (1)其中若W?∈?^(d×k)則B∈?^(d×r)且A∈?^(r×k)內(nèi)在秩r?min(d,k)。對于10,000×10,000矩陣1億參數(shù)r8的分解將可訓(xùn)練數(shù)量減少到160,000-99.8%使微調(diào)在消費(fèi)級硬件上可處理。具體流水線操作如下圖4?；A(chǔ)模型FLUX.1-dev以量化GGUF格式Q4_0加載使微調(diào)輕松適合大學(xué)工作站16 GB VRAM。在少數(shù)直升機(jī)類別上以觸發(fā)token sathelo訓(xùn)練自定義LoRA適配器。推理通過ComfyUI工作流運(yùn)行由UNET GGUV加載器、用于文本條件的雙CLIP加載器CLIP-L和T5-XXL、以模型強(qiáng)度0.85和clip強(qiáng)度1.0應(yīng)用的LoRA適配器、配置27步、CFG1、Euler采樣器和Beta調(diào)度器去噪0.95的KSampler以及VAE解碼階段組成。在四種操作環(huán)境中生成合成直升機(jī)圖像以最大化上下文多樣性工業(yè)/機(jī)場、鄉(xiāng)村/森林、沿海/海洋和干旱/沙漠產(chǎn)生約2,226張直升機(jī)圖像見圖4。對于民用類別對現(xiàn)有真實(shí)樣本應(yīng)用經(jīng)典Albumentations變換圖4生成式數(shù)據(jù)增強(qiáng)流水線框圖。有限的真實(shí)直升機(jī)實(shí)例用于訓(xùn)練自定義LoRA適配器。推理期間FLUX.1基礎(chǔ)模型結(jié)合領(lǐng)域特定LoRA和環(huán)境文本提示饋送K-Sampler以生成多樣化的合成輸出平衡最終YOLO11數(shù)據(jù)集。4.2.3 偽標(biāo)注與類別平衡手動(dòng)標(biāo)注數(shù)千張合成圖像不可行。使用先前在經(jīng)典增強(qiáng)集上訓(xùn)練的中間YOLO v11檢測器自動(dòng)標(biāo)注合成輸出。所得標(biāo)簽與經(jīng)典增強(qiáng)樣本合并產(chǎn)生超過53,000個(gè)實(shí)例每類約18,000個(gè)實(shí)例的最終平衡數(shù)據(jù)集。4.3 候選架構(gòu)與評估指標(biāo)三個(gè)單階段檢測器被評估為星載任務(wù)的候選選擇以跨越精度-效率設(shè)計(jì)空間SSD MobileNet V3 Large [28]深度可分離主干代表超輕量級部署的歷史標(biāo)準(zhǔn)。YOLO11n [19, 38]最新YOLO版本的nano版圍繞C3K2主干構(gòu)建帶空間金字塔池化-快速SPPF和路徑聚合網(wǎng)絡(luò)PANet頸部以及C2PSA空間注意力頭。RT-DETR-L [54, 4]混合卷積/Transformer檢測器以端到端二分匹配解碼器取代基于錨點(diǎn)的頭消除非極大值抑制NMS。所有模型以相同指標(biāo)集評估聯(lián)合捕獲檢測質(zhì)量和可部署性檢測質(zhì)量的mAP50和mAP50-95每類戰(zhàn)術(shù)行為的精度、召回率和F1分?jǐn)?shù)以及計(jì)算成本的參數(shù)、磁盤權(quán)重、GFLOPs和FPS。SWaP感知選擇標(biāo)準(zhǔn)在此明確定義并在第5節(jié)應(yīng)用候選僅在其INT8量化后參數(shù)權(quán)重適合Coral Edge TPU的8 MB片上SRAM第3.3節(jié)時(shí)才可接受否則推理路徑回退到通用中央處理單元CPU且在軌FPS崩潰。此標(biāo)準(zhǔn)是第3節(jié)任務(wù)與平臺(tái)約束與后續(xù)實(shí)驗(yàn)活動(dòng)之間的聯(lián)系。5 實(shí)驗(yàn)與結(jié)果本節(jié)詳述所提議方法論的實(shí)證評估。我們首先概述用于訓(xùn)練的計(jì)算軟硬件環(huán)境以及支配實(shí)驗(yàn)流水線的具體超參數(shù)和配置選擇第5.1節(jié)。隨后我們呈現(xiàn)三個(gè)候選單階段架構(gòu)——SSD MobileNet V3、RT-DETR-L和YOLO11n——在原始不平衡HRPlanesV2數(shù)據(jù)集上的比較基準(zhǔn)以基于精度、推理速度和邊緣兼容性約束證明YOLO11n的選擇第5.2節(jié)。5.1 實(shí)驗(yàn)設(shè)置與超參數(shù)為確保計(jì)算實(shí)驗(yàn)完全可復(fù)現(xiàn)所有評估模型的訓(xùn)練配置標(biāo)準(zhǔn)化。實(shí)驗(yàn)在利用專用GPU加速器的Google Colab環(huán)境中進(jìn)行。對于在增強(qiáng)數(shù)據(jù)集上的最終YOLO11n訓(xùn)練網(wǎng)絡(luò)以預(yù)訓(xùn)練COCO權(quán)重yolo11n.pt初始化以加速收斂隨后微調(diào)。表4總結(jié)訓(xùn)練階段顯式配置的主要超參數(shù)包括確保報(bào)告指標(biāo)完全可復(fù)現(xiàn)的確切隨機(jī)種子。未列出的超參數(shù)保持Ultralytics默認(rèn)設(shè)置。表4YOLO11n網(wǎng)絡(luò)的訓(xùn)練超參數(shù)。超參數(shù)值輸入分辨率640×640像素輪數(shù)20批大小自動(dòng)內(nèi)存優(yōu)化batch-1隨機(jī)種子93初始權(quán)重yolo11n.pt初步訓(xùn)練在Google Colab NVIDIA T4圖形處理單元GPU上執(zhí)行最終運(yùn)行在NVIDIA RTX 4080 16 GB工作站上。為明確排除隨機(jī)優(yōu)化偏差并刻畫網(wǎng)絡(luò)變異性進(jìn)行了五種子研究種子0、16、42、93和2026。模型性能在初始化間高度穩(wěn)定全局平均mAP50為0.805方差可忽略。由于架構(gòu)不受隨機(jī)權(quán)重初始化影響種子93——其驗(yàn)證損失和精度-召回權(quán)衡接近平均值——被系統(tǒng)選為所有后續(xù)推理和量化實(shí)驗(yàn)的代表性模型。完整隨機(jī)研究在公共倉庫中發(fā)布以供復(fù)現(xiàn)。所有模型使用AdamW優(yōu)化器、自動(dòng)批大小AutoBatch-1、自動(dòng)混合精度AMPFP16以及Ultralytics為實(shí)時(shí)檢測TransformerRT-DETR推薦的馬賽克增強(qiáng)調(diào)度進(jìn)行訓(xùn)練。對YOLO11n在640至1024像素之間進(jìn)行分辨率掃掠以量化輸入尺寸對小目標(biāo)檢測的影響。表5三個(gè)候選單階段檢測器在不平衡HRPlanesV2數(shù)據(jù)集上的比較基準(zhǔn)。Edge TPU僅接受INT8量化權(quán)重適合其8 MB片上SRAM的模型。模型分辨率參數(shù)權(quán)重mAP50FPSSSD MobileNet V33203.07 M11.93 MB44.98%82.66RT-DETR-L64032.81 M188.85 MB74.53%14.05YOLO11n6402.59 M5.22 MB75.01%48.28YOLO11n10242.59 M5.22 MB77.90%34.46如表5詳述評估候選模型以確定其對星載邊緣部署的適用性。SSD MobileNet V3達(dá)到最高推理速度82.66 FPS但因嚴(yán)重背景崩潰被放棄mAP50僅為44.98%不可接受。相反RT-DETR-L雖展示了強(qiáng)檢測能力但因188.85 MB內(nèi)存占用遠(yuǎn)超Edge TPU嚴(yán)格的8 MB片上SRAM限制而被排除。最終YOLO11n被選為最優(yōu)架構(gòu)。其640和1024像素分辨率變體均輕松適合硬件內(nèi)存約束5.22 MB。1024像素配置被選為最終基線因其最大化小目標(biāo)檢測性能77.90% mAP50同時(shí)保持高度可用的34.46 FPS實(shí)時(shí)推理率。5.2 架構(gòu)基準(zhǔn)不平衡數(shù)據(jù)集三個(gè)候選架構(gòu)首先在第4.1節(jié)描述的不平衡HRPlanesV2劃分上訓(xùn)練和評估。所得結(jié)果總結(jié)在表5中并從三個(gè)關(guān)鍵視覺維度綜合分析檢測能力與推理速度的平衡、關(guān)于內(nèi)存和參數(shù)載荷的硬件約束以及操作設(shè)計(jì)空間。圖5平均精度mAP50與基線推理速度的直接比較。如圖5所示SSD MobileNet V3雖是最快和最輕的候選3.07 M參數(shù)11.93 MB但崩潰到背景類mAP50僅為44.98%。此關(guān)鍵失敗歸因于其ImageNet預(yù)訓(xùn)練主干與航空場景獨(dú)特統(tǒng)計(jì)分布之間的不兼容。相反RT-DETR-L達(dá)到有競爭力的74.53% mAP50但如圖6清晰所示其188.85 MB占用超出8 MB SRAM預(yù)算一個(gè)數(shù)量級以上。即使在INT8量化后模型也不能駐留在加速器緩存中其注意力特定矩陣操作不受Edge TPU整數(shù)算術(shù)邏輯單元ALU支持強(qiáng)制回退到CPU從而推理速度崩潰至14.05 FPS。圖6各架構(gòu)參數(shù)占用與Edge TPU 8 MB SRAM預(yù)算的對比。RT-DETR-L超出限制近190 MBYOLO11n在INT8量化后輕松適合。YOLO11n提供了最優(yōu)的精度-效率折衷。圖7直觀地體現(xiàn)了這一優(yōu)勢它是唯一同時(shí)達(dá)到右上區(qū)域高精度、高速度且保持最小半徑的候選指示其可忽略的內(nèi)存占用。在640 px時(shí)其已以三倍以上速度48.28 vs.14.05 FPS匹配Transformer檢測器的精度。此外將輸入分辨率提高到1024 px將mAP50提升至77.90%mAP50-95提高6.65個(gè)百分點(diǎn)對直升機(jī)類別影響尤其強(qiáng)檢出率從46%升至57%。F1曲線上的工作點(diǎn)固定在置信度閾值0.78此處F1分?jǐn)?shù)達(dá)到0.78。圖7操作設(shè)計(jì)空間。氣泡大小與磁盤上模型權(quán)重MB成比例。YOLO11n是唯一在右上區(qū)域具有最小半徑的候選。不平衡YOLO11n模型的殘余弱點(diǎn)在于直升機(jī)類別在歸一化混淆矩陣中34%的直升機(jī)實(shí)例被誤分類為背景民用與軍用飛機(jī)之間仍有19%殘余混淆。這勾勒出第5.3節(jié)增強(qiáng)活動(dòng)成功解決的開問題。5.3 數(shù)據(jù)增強(qiáng)的影響兩個(gè)實(shí)驗(yàn)與第5.2節(jié)的不平衡YOLO11n基線進(jìn)行比較均在1024 px、種子93下訓(xùn)練20輪。5.3.1 實(shí)驗(yàn)1經(jīng)典增強(qiáng)應(yīng)用第4.2.1節(jié)的經(jīng)典流水線產(chǎn)生2,832張額外圖像并使各類別達(dá)到每類約18,000個(gè)實(shí)例的近似平衡。全局mAP50從77.90%上升至81.62%最大F1在置信度閾值0.264處達(dá)到0.77。然而每類F1暴露了不對稱性民用飛機(jī)達(dá)到0.847軍用飛機(jī)0.887但直升機(jī)仍為0.68331%的直升機(jī)實(shí)例仍崩潰到背景。因此經(jīng)典增強(qiáng)對多數(shù)類別有效但對少數(shù)類別不足。圖8三種訓(xùn)練機(jī)制下mAP50的演變不平衡基線、經(jīng)典增強(qiáng)和FLUXLoRA生成式增強(qiáng)。5.3.2 實(shí)驗(yàn)2FLUXLoRA生成式增強(qiáng)總體性能進(jìn)展和模型最優(yōu)操作閾值進(jìn)一步詳見圖8和圖9。如圖8所示三種訓(xùn)練機(jī)制下驗(yàn)證mAP50指標(biāo)的演變強(qiáng)調(diào)了所提議方法論的有效性。雖然從不平衡基線到經(jīng)典增強(qiáng)的過渡提供了初步改進(jìn)但引入FLUXLoRA生成式增強(qiáng)才最大化全局性能。此外學(xué)習(xí)曲線中狹窄的置信區(qū)間表明這種合成平衡對隨機(jī)優(yōu)化方差高度魯棒。最終該方法不僅提高了全局mAP50還確保了所有航空類別間更公平的特征表示有效縮小了少數(shù)與多數(shù)類別之間的性能差距。圖9在FLUXLoRA平衡數(shù)據(jù)集上訓(xùn)練的最終YOLO11n模型的F1曲線在置信度閾值0.394處最大F1為0.79。此外F1-置信度曲線圖9評估了精度和召回率在不同置信度閾值下的調(diào)和均值。模型在置信度閾值0.394處達(dá)到最大F1分?jǐn)?shù)0.79。這一特定最優(yōu)閾值與前述合成域偏移一致模型需要中等而非極高置信度閾值以最大化挑戰(zhàn)性或退化真實(shí)世界實(shí)例的檢測同時(shí)不屈服于過多的背景假陽性。總之這些指標(biāo)實(shí)證驗(yàn)證了生成式增強(qiáng)策略作為不平衡數(shù)據(jù)集中目標(biāo)檢測的高效方法。為全面刻畫模型行為需要對組合混淆矩陣圖11進(jìn)行詳細(xì)分析該矩陣同時(shí)呈現(xiàn)歸一化百分比和絕對指標(biāo)。矩陣表明模型具有強(qiáng)檢測能力正確識(shí)別了7931架民用飛機(jī)74%、3187架直升機(jī)82%和4264架軍用飛機(jī)79%。然而必須特別關(guān)注背景誤分類。假陰性真實(shí)航空實(shí)例被預(yù)測為背景的持續(xù)存在——總計(jì)1213架民用、557架直升機(jī)和550架軍用——可歸因于合成數(shù)據(jù)集擴(kuò)展的性質(zhì)。雖然生成式增強(qiáng)FLUXLoRA成功平衡了類別分布并提供高質(zhì)量樣本但它可能引入微妙的域偏移。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)高度特定的合成特征表示有時(shí)可能無法捕獲極端真實(shí)世界邊緣案例的全部復(fù)雜性、變化光照或傳感器噪聲。因此當(dāng)面對高度退化的真實(shí)世界實(shí)例時(shí)模型采取保守推理策略放棄預(yù)測并默認(rèn)背景類別。相反假陽性分布被預(yù)測為飛機(jī)的背景區(qū)域包括694架民用、756架直升機(jī)和890架軍用實(shí)例突顯了模型增強(qiáng)的特征提取敏感性。此現(xiàn)象主要由兩個(gè)因素驅(qū)動(dòng)。首先許多這些感知錯(cuò)誤是同一飛機(jī)上的重疊邊界框評估指標(biāo)將重復(fù)項(xiàng)懲罰為背景假陽性。其次數(shù)據(jù)集包含人類標(biāo)注者最初遺漏的未標(biāo)注實(shí)例。當(dāng)前檢測器成功識(shí)別這些未標(biāo)注目標(biāo)在某些場景中實(shí)際上優(yōu)于原始真實(shí)標(biāo)注。此能力在后續(xù)定性評估中得到視覺證實(shí)例如圖10顯示模型檢測到原始數(shù)據(jù)標(biāo)簽中完全不存在的有效飛機(jī)。圖10明顯假陽性的定性評估。推理結(jié)果顯示訓(xùn)練模型成功檢測到原始真實(shí)標(biāo)注中完全缺失的有效飛機(jī)例如預(yù)測14個(gè)目標(biāo)而數(shù)據(jù)集僅標(biāo)注13個(gè)。這支持一部分報(bào)告的背景誤分類實(shí)際上是正確的檢測突顯了模型的特征提取能力。關(guān)于背景類別重要的是注意代表真陰性背景-背景的交集被有意留空。與標(biāo)準(zhǔn)圖像分類不同目標(biāo)檢測框架基于離散邊界框提議評估性能。因此背景包含圖像中無數(shù)不存在對象且無預(yù)測的空間位置。由于真陰性在此空間上下文中數(shù)學(xué)上不可量化且不貢獻(xiàn)于精度、召回率或mAP等標(biāo)準(zhǔn)檢測指標(biāo)此單元被省略以防止整體性能統(tǒng)計(jì)的失真。圖11最終平衡模型的組合混淆矩陣同時(shí)顯示歸一化百分比和絕對實(shí)例計(jì)數(shù)。對角線突顯了所有目標(biāo)航空類別的檢出率。5.4 可部署模型INT8量化與在軌推理一旦選擇YOLO11n模型通過Ultralytics導(dǎo)出流水線[49]導(dǎo)出為.tflite文件并使用TensorFlow的后訓(xùn)練整數(shù)量化工具鏈[48]量化為INT8。Edge TPU編譯器隨后將矩陣操作直接映射到芯片指令。量化將參數(shù)權(quán)重從5.22 MB減少至約2.5 MB-75%因此整個(gè)推理路徑駐留在8 MB片上SRAM中無需CPU卸載。將測量的T4延遲縮放到Edge TPU吞吐量-功率比得到在1024 px下預(yù)計(jì)在軌速率為25-30 FPS。為處理全場景采集而不降低原生GSD推理被封裝在切片輔助超推理SAHI方案[1]中每個(gè)高分辨率捕獲被切片為1024×1024補(bǔ)丁帶15%周邊重疊Edge TPU順序評估每個(gè)補(bǔ)丁驗(yàn)證的檢測向量被投影回原始捕獲的全局坐標(biāo)系NMS在重疊區(qū)域合并重復(fù)預(yù)測。5.5 擴(kuò)展多類別模型與ISR應(yīng)用作為流水線可擴(kuò)展性的概念驗(yàn)證相同的YOLO11n架構(gòu)在包含特定飛機(jī)型號(hào)F-16、F-22、B-52、U-2、C-130、E-3等加上Runway類別的擴(kuò)展22類數(shù)據(jù)集上重新訓(xùn)練。在嚴(yán)格隔離的測試劃分上評估以排除過擬合所得歸一化混淆矩陣圖12顯示幾乎所有類別的對角線超過95%。這種高精度說明了增強(qiáng)數(shù)據(jù)集的特征提取而非單純數(shù)據(jù)記憶。唯一例外是Runway其精度因與線性背景結(jié)構(gòu)的混淆降至37%——這一局限性激勵(lì)了第7節(jié)討論的未來遷移到實(shí)例分割。機(jī)場場景上的說明性推理拼貼如圖13所示展示了流水線在ISR和GEOINT應(yīng)用中的操作價(jià)值星載檢測器在捕獲區(qū)域內(nèi)定位和分類飛機(jī)僅確認(rèn)的元數(shù)據(jù)會(huì)被下行傳輸。圖12擴(kuò)展22類YOLO11n模型的歸一化混淆矩陣。除Runway37%外幾乎所有類別的對角線超過95%。圖13機(jī)場場景上的推理拼貼說明流水線在ISR和GEOINT應(yīng)用中的操作價(jià)值。由流匹配文本到圖像模型FLUXLoRA流水線生成的代表性合成直升機(jī)樣本如圖14所示光真實(shí)感保真度和背景多樣性支持上述實(shí)證增益。圖14FLUXLoRA流水線在四種操作環(huán)境中生成的合成直升機(jī)圖像。6 討論本節(jié)解釋第5節(jié)呈現(xiàn)的實(shí)證發(fā)現(xiàn)將所提議YOLO11n流水線的性能置于納米衛(wèi)星邊緣計(jì)算的更廣泛框架中。已證明SWaP感知檢測器與生成式數(shù)據(jù)增強(qiáng)的組合成功克服了嚴(yán)重類別不平衡我們現(xiàn)在評估這些結(jié)果的實(shí)際影響。第6.1節(jié)探討此自主架構(gòu)在ISR和GEOINT任務(wù)中的操作影響詳述其相對于傳統(tǒng)彎管范式的戰(zhàn)略優(yōu)勢。最后第6.2節(jié)批判性審視當(dāng)前研究的邊界識(shí)別方法論約束并概述向物理硬件驗(yàn)證的必要步驟。6.1 在ISR和GEOINT中的實(shí)際適用性實(shí)驗(yàn)結(jié)果支持所提議工作流作為納米衛(wèi)星實(shí)時(shí)自主航空監(jiān)視的決策支持工具。通過將推理移至6U CubeSat星上平臺(tái)從傳統(tǒng)彎管架構(gòu)特征的被動(dòng)數(shù)據(jù)收集器演變?yōu)槟軌蜻^濾冗余遙測并僅交付戰(zhàn)術(shù)情報(bào)的自主節(jié)點(diǎn)。在ISR或GEOINT背景中這轉(zhuǎn)化為兩個(gè)操作優(yōu)勢。首先擴(kuò)展22類模型第5.5節(jié)支持的機(jī)場在軌清單允許自動(dòng)軍力部署估計(jì)無需下行原始圖像。其次第3.5節(jié)的智能傳輸ConOps將決策延遲從地面后處理典型的數(shù)小時(shí)或數(shù)天減少到幾分之一秒這對于跟蹤動(dòng)態(tài)目標(biāo)如起飛或機(jī)動(dòng)飛機(jī)至關(guān)重要。表2量化的傳統(tǒng)與提議架構(gòu)之間的權(quán)衡表明Edge TPU消耗的能量被射頻傳輸?shù)木薮蠊?jié)省大幅抵消使該方法在CubeSat 10-30 W預(yù)算內(nèi)能源可持續(xù)。6.2 局限性盡管有這些有希望的結(jié)果所提議方法在操作部署前仍需應(yīng)對若干局限性。僅軟件驗(yàn)證。第5.4節(jié)報(bào)告的所有FPS數(shù)據(jù)是通過將測量的T4延遲與Edge TPU吞吐量-功率比縮放獲得的吞吐量投影尚未在真實(shí)飛行級加速器上進(jìn)行硬件在環(huán)測試也未進(jìn)行輻射測試單粒子效應(yīng)SEE/總電離劑量TID。編譯模型在Edge TPU或Jetson Orin Nano上的物理部署以及在真空和輻射下測量的功率和每幀延遲留作未來工作。Runway類別性能。在擴(kuò)展22類模型中Runway類別因與線性背景結(jié)構(gòu)的混淆精度降至37%。邊界框檢測并非最適合細(xì)長基礎(chǔ)設(shè)施的表述遷移到實(shí)例分割如YOLO-seg預(yù)計(jì)將解決此問題。收斂機(jī)制。平衡模型僅訓(xùn)練20輪雖然結(jié)果已具有競爭力但更長的收斂機(jī)制尚未刻畫收益遞減區(qū)域仍開放。日間和晴朗天氣依賴。光學(xué)有效載荷將操作包絡(luò)限制為日間和無云場景。夜間和重云操作將需要合成孔徑雷達(dá)SAR或紅外IR傳感器超出本工作范圍。生成背景偏差。FLUXLoRA流水線對提示和觸發(fā)token工程敏感每當(dāng)感興趣區(qū)域改變時(shí)應(yīng)重新驗(yàn)證模型以防止背景偏差向合成分布注入偽影。這些限制與太空邊緣AI文獻(xiàn)中報(bào)告的更廣泛限制一致[32, 24, 6]并不否定本文的核心貢獻(xiàn)即展示一個(gè)集成工作流的可行性該工作流聯(lián)合解決星載推理、生成式數(shù)據(jù)增強(qiáng)和面向納米衛(wèi)星航空監(jiān)視的SWaP感知架構(gòu)選擇。7 結(jié)論與未來工作本文提出并驗(yàn)證了一個(gè)面向納米衛(wèi)星星載計(jì)算機(jī)視覺算法部署的工作流展示了在邊緣計(jì)算范式下操作在算法和系統(tǒng)層面的可行性。通過將推理移至配備Google Coral Edge TPU的6U CubeSat星上緩解了傳統(tǒng)彎管架構(gòu)的通信瓶頸使得僅已確認(rèn)檢測元數(shù)據(jù)被下行傳輸。對三個(gè)單階段檢測器進(jìn)行了SWaP感知基準(zhǔn)測試YOLO11n被選為在精度和計(jì)算輕量性之間提供最佳平衡的架構(gòu)是唯一INT8量化權(quán)重約2.5 MB適合加速器8 MB片上SRAM的候選。原始HRPlanesV2數(shù)據(jù)集中少數(shù)類別的不足通過基于FLUX和LoRA的生成式數(shù)據(jù)增強(qiáng)流水線解決合成的、偽標(biāo)注的直升機(jī)圖像將數(shù)據(jù)集平衡到超過53,000個(gè)實(shí)例并將直升機(jī)F1從0.683僅經(jīng)典增強(qiáng)提升至0.811全局mAP50從77.9%提高到82.2%。最后在兼容CubeSat SWAP預(yù)算的商用硬件上部署的技術(shù)可行性已確認(rèn)通過SAHI推理1024×1024切片的預(yù)計(jì)在軌吞吐量為25-30 FPS。盡管有這些有希望的結(jié)果所提議方法仍面臨局限性特別是關(guān)于星載加速器的僅軟件驗(yàn)證以及檢測跑道等細(xì)長基礎(chǔ)設(shè)施的殘余困難。挑戰(zhàn)在于調(diào)和最大化檢測精度與確保在納米衛(wèi)星嚴(yán)格SWAP約束下可部署性的雙重目標(biāo)隨著目標(biāo)類別多樣性擴(kuò)大此問題加劇。未來工作可探索若干研究方向。首先SAR和IR傳感器的集成將實(shí)現(xiàn)全天候操作不受氣象條件或一天中時(shí)間的影響。第二從靜態(tài)圖像檢測轉(zhuǎn)向通過ByteTrack或BoT-SORT等算法的星載視頻跟蹤結(jié)合已訓(xùn)練的YOLO11n將允許估計(jì)速度、航向和預(yù)測軌跡等運(yùn)動(dòng)學(xué)參數(shù)。第三nano架構(gòu)的輕量性使其可導(dǎo)出到無人機(jī)UAV作為替代主機(jī)平臺(tái)實(shí)現(xiàn)在偵察無人機(jī)上實(shí)時(shí)威脅識(shí)別無需將視頻下行到指揮基地。第四FLUXLoRA流水線可重定向到反偽裝訓(xùn)練當(dāng)對手試圖隱藏資產(chǎn)時(shí)強(qiáng)制檢測器學(xué)習(xí)隱藏模式。最后編譯模型在太空級加速器——Edge TPU或Jetson Orin Nano——上的物理部署在真空和輻射下測量功耗和每幀延遲將提供該概念的決定性驗(yàn)證并是本工作的自然延續(xù)。