剛做完整年的低功耗AI芯片評(píng)估手里還留著十幾份評(píng)測數(shù)據(jù)和幾塊焊過電流采樣電阻的開發(fā)板。趁記憶新鮮把這個(gè)領(lǐng)域的真實(shí)情況整理出來。我最大的感受是這個(gè)行業(yè)的競爭早已不是單純比誰算力高而是比誰能在極嚴(yán)格的能量預(yù)算里跑出實(shí)際可用的效果。用客戶常說的一句話概括就是——電池不換、體積不變、價(jià)格不漲但AI能力還得翻倍。誰先做到誰就能拿到下一代產(chǎn)品的入場券。這篇文章就從我實(shí)際接觸到的方案、踩過的坑和測量過的數(shù)據(jù)出發(fā)把低功耗AI芯片的明爭暗斗拆開揉碎講清楚。1. 低功耗AI芯片到底在爭什么1.1 先搞清楚“低功耗”為什么比“高性能”更重要前幾年大家聊AI芯片開口就是幾百TOPS閉口就是云端訓(xùn)練集群。但真實(shí)世界里絕大多數(shù)AI應(yīng)用根本不在數(shù)據(jù)中心里跑而是在終端設(shè)備上跑——門鎖上的人臉識(shí)別、耳機(jī)里的語音降噪、手環(huán)上的心率異常檢測、電表里的負(fù)荷識(shí)別、工業(yè)振動(dòng)傳感器里的故障分類。這些設(shè)備有一個(gè)共同約束電池很小或者根本沒有電池只能靠能量收集供電。一個(gè)典型的智能門鎖四節(jié)五號(hào)電池要撐八個(gè)月到一年一個(gè)帶AI功能的TWS耳機(jī)單次充電要能用四五個(gè)小時(shí)配合充電倉要撐兩三天一個(gè)工業(yè)無線傳感器兩節(jié)鋰亞電池可能要支撐兩到三年。在這種預(yù)算下任何“堆算力”的策略都是死路。所以低功耗AI芯片競爭的核心指標(biāo)從來都不是峰值算力而是能效比——單位功耗能跑多少有效運(yùn)算。一顆芯片靜態(tài)功耗10mW看起來微不足道但如果你要做的是一個(gè)待機(jī)功耗5mW的產(chǎn)品這顆芯片連上電的資格都沒有。我見過太多方案在一開始就被功耗卡死根本不是性能不夠而是連門都沒進(jìn)。1.2 TOPS/W低功耗AI芯片的“油耗指標(biāo)”行業(yè)內(nèi)衡量低功耗AI芯片水平最常用的兩個(gè)指標(biāo)是TOPS和TOPS/W。TOPS是每秒萬億次運(yùn)算描述的是算力。TOPS/W則是每瓦功耗能提供多少算力描述的是能效。如果把芯片比作汽車TOPS是最高車速TOPS/W就是百公里油耗。低功耗AI芯片領(lǐng)域大家比的主要是后者相當(dāng)于比誰“跑得遠(yuǎn)還省電”。這里需要特別留意一個(gè)細(xì)節(jié)標(biāo)稱TOPS/W通常是理想條件下的數(shù)值實(shí)際跑真實(shí)模型時(shí)會(huì)大打折扣。原因包括數(shù)據(jù)搬運(yùn)、內(nèi)存帶寬限制、算子支持不全、芯片無法長時(shí)間滿負(fù)荷運(yùn)行等。我實(shí)測過的多款芯片標(biāo)稱2 TOPS/W的芯片跑實(shí)際模型往往只能達(dá)到0.8-1.2 TOPS/W差距不小。所以行業(yè)內(nèi)有一句話紙面參數(shù)只能參考真實(shí)效果得上板實(shí)測。1.3 用電池壽命倒推功耗預(yù)算選擇低功耗AI芯片之前必須先學(xué)會(huì)用電池壽命倒推功耗預(yù)算否則后面全白談。舉例來說一個(gè)智能門鎖需要一年續(xù)航電池組容量是8000mAh采用鋰亞電池供電。不考慮電池自放電、溫度衰減等因素平均工作電流上限為8000mAh ÷ 8760小時(shí) ≈ 0.91mA。這意味著整個(gè)系統(tǒng)平均功耗必須在3.3V×0.91mA≈3mW以內(nèi)。而這個(gè)系統(tǒng)里還有無線通信模塊、傳感器、單片機(jī)等分給AI芯片的功耗預(yù)算可能只有不到1mW。這個(gè)預(yù)算下很多標(biāo)稱“低功耗”的AI芯片根本沒法用因?yàn)閱涡酒龣C(jī)電流就超標(biāo)了。真實(shí)產(chǎn)品里的AI處理往往不是持續(xù)運(yùn)行而是事件觸發(fā)后短時(shí)間喚醒、快速運(yùn)算、再進(jìn)入深度睡眠。這時(shí)候“低功耗”指的不只是運(yùn)行功耗低更重要的是待機(jī)功耗足夠低、喚醒速度足夠快。2. 技術(shù)路線的明爭暗斗2.1 三種主流路線的定位差異圍繞低功耗AI技術(shù)路線大致可以分成三派。第一派是傳統(tǒng)CPU/DSP處理器加上專用NPU加速器組成異構(gòu)架構(gòu)。這是當(dāng)前最主流的方案在可編程靈活性、AI算力、功耗之間取得了一個(gè)較平衡的點(diǎn)。絕大部分量產(chǎn)芯片都走這條路因?yàn)镃PU核可以跑控制邏輯和通用代碼NPU專心處理AI推理兩者各司其職。第二派是存算一體技術(shù)。核心思路是把計(jì)算放到存儲(chǔ)單元內(nèi)部去完成省掉數(shù)據(jù)搬運(yùn)的能耗。傳統(tǒng)架構(gòu)里數(shù)據(jù)在存儲(chǔ)器和計(jì)算單元之間來回搬運(yùn)搬運(yùn)過程消耗的能耗遠(yuǎn)大于計(jì)算本身。存算一體讓數(shù)據(jù)“就地計(jì)算”理論上可以把能耗節(jié)約一到兩個(gè)數(shù)量級(jí)。但代價(jià)是靈活性差、編程模型不成熟、精度控制困難目前還處在商用早期階段。第三派是類腦芯片和稀疏化計(jì)算路線模擬神經(jīng)元工作機(jī)制強(qiáng)調(diào)事件驅(qū)動(dòng)、異步計(jì)算。這種路線的極致低功耗特性很吸引人但生態(tài)和編譯器都不成熟適合特定場景的探索距離大規(guī)模量產(chǎn)商用還有距離。2.2 NPU異構(gòu)架構(gòu)為什么成為最普適的選擇我目前接觸到的量產(chǎn)低功耗AI產(chǎn)品絕大多數(shù)采用CPUNPU的異構(gòu)方案。原因是AI推理任務(wù)里有大量可并行的乘加運(yùn)算正好是NPU的強(qiáng)項(xiàng)而業(yè)務(wù)邏輯、協(xié)議棧、外設(shè)控制等復(fù)雜任務(wù)CPU更擅長。對于一個(gè)典型的端側(cè)AI場景比如語音喚醒加關(guān)鍵詞識(shí)別整個(gè)流程是麥克風(fēng)采集音頻DSP或CPU做預(yù)處理然后NPU跑神經(jīng)網(wǎng)絡(luò)推理最后CPU根據(jù)推理結(jié)果執(zhí)行交互邏輯。如果全部用CPU來跑不僅速度慢功耗還高得離譜因?yàn)镃PU是通用計(jì)算單元做矩陣乘法的效率遠(yuǎn)不如專用硬件。異構(gòu)架構(gòu)能站住腳還有一個(gè)重要因素是工具鏈相對成熟。經(jīng)過多年打磨NPU的編譯器、量化工具、算子庫、調(diào)試工具都已經(jīng)比較完善開發(fā)者拿到開發(fā)板按照文檔操作幾天內(nèi)就能跑通一個(gè)基礎(chǔ)模型。相比存算一體和類腦方案這種成熟度是巨大的優(yōu)勢。2.3 存算一體理論美好落地尚早存算一體這幾年熱度很高尤其在低功耗AI領(lǐng)域被視為長期解。它的核心省電邏輯在于減少數(shù)據(jù)搬運(yùn)。我做過一個(gè)粗略的能量對比實(shí)驗(yàn)。傳統(tǒng)架構(gòu)跑一次固定的AI推理數(shù)據(jù)搬運(yùn)消耗的能量占總能耗的比例常常超過60%真正算力單元消耗的能量占比反而不到40%。存算一體把“計(jì)算”嵌到“存儲(chǔ)”里省掉了搬運(yùn)這層大頭理論上節(jié)省顯著。但實(shí)際使用中有三個(gè)很現(xiàn)實(shí)的問題阻礙了存算一體的大規(guī)模落地。精度問題嚴(yán)重。存算一體的計(jì)算在模擬域完成受溫度、噪聲、工藝偏差影響計(jì)算誤差高于數(shù)字電路INT8精度的模型跑起來容易掉點(diǎn)某些場景還要做額外的補(bǔ)償校準(zhǔn)。編程模型和工具鏈不成熟。普通AI開發(fā)者已經(jīng)習(xí)慣了主流的深度學(xué)習(xí)框架工作流而存算一體芯片的編譯器棧和算子庫遠(yuǎn)沒有達(dá)到“開箱即用”的水平開發(fā)門檻非常高。靈活性和擴(kuò)展性受限。一旦模型結(jié)構(gòu)變化或者算子不匹配存算一體芯片的適配工作量巨大。所以我的判斷是存算一體在未來非常有想象空間但至少現(xiàn)階段只適合有專門算法團(tuán)隊(duì)深度定制模型的少數(shù)玩家。對大多數(shù)產(chǎn)品團(tuán)隊(duì)而言這不是一個(gè)可以商業(yè)化的成熟選項(xiàng)。2.4 制程工藝與片上存儲(chǔ)的暗戰(zhàn)有一件事大家容易忽略那就是低功耗AI芯片的競爭不僅是架構(gòu)之爭還是工藝和存儲(chǔ)之爭。先進(jìn)工藝制程能有效降低芯片的工作電壓和開關(guān)能耗但成本也水漲船高。低功耗AI芯片的市場對成本非常敏感一顆消費(fèi)級(jí)AI芯片的售價(jià)可能只有幾十元這就決定了廠商不能無腦追求最先進(jìn)工藝。業(yè)內(nèi)常見選擇是16nm、28nm、40nm等成熟工藝配合架構(gòu)優(yōu)化來達(dá)到功耗目標(biāo)。少數(shù)高端產(chǎn)品會(huì)用到7nm或更先進(jìn)工藝但這類產(chǎn)品通常定位旗艦市場量不是最大的。片上SRAM的大小也是決定實(shí)際功耗的關(guān)鍵因素。AI推理過程中的中間數(shù)據(jù)如果都能放在片上SRAM里就不需要頻繁訪問外部DDR能節(jié)省大量功耗和等待時(shí)間。可以看到各家芯片越來越拼SRAM容量本質(zhì)是在拼“在低功耗下能吃下多大的模型、多大batch的數(shù)據(jù)”。SRAM越大模型本地化程度越高外部內(nèi)存訪問越少功耗表現(xiàn)越好。但SRAM是芯片成本的敏感部分不可能無限擴(kuò)大所以每一代芯片都要在這上面做權(quán)衡。3. 落地場景需求分化的實(shí)測觀察3.1 語音場景低功耗AI芯片的“基本盤”在所有低功耗AI應(yīng)用場景中語音是量最大的一個(gè)也是技術(shù)成熟度最高的一個(gè)。從喚醒詞檢測到語音命令識(shí)別再到本地轉(zhuǎn)寫語音AI對算力的要求并不高但對功耗和延遲極其敏感。一個(gè)典型的低功耗語音方案需要一顆常開的音頻前端DSP搭配NPU麥克風(fēng)陣列采集音頻后先做回聲消除、波束成形、降噪再做喚醒詞識(shí)別。在這個(gè)過程中AI芯片的平均功耗通常要被控制在10mW以內(nèi)喚醒響應(yīng)延遲則要控制在100ms以內(nèi)。超過這個(gè)水平用戶體驗(yàn)就會(huì)明顯下降。我實(shí)測過的低功耗語音SoC在實(shí)現(xiàn)“始終在線監(jiān)聽本地喚醒”時(shí)整機(jī)功耗可以壓到3mA 3.7V左右也就是說一個(gè)500mAh的電池可以撐將近一周的純待機(jī)。當(dāng)然如果要跑更復(fù)雜的全雙工語音交互功耗會(huì)往上走一個(gè)臺(tái)階。3.2 視覺場景門鎖、安防到智能眼鏡視覺類應(yīng)用的算力需求比語音高一個(gè)數(shù)量級(jí)但在低功耗前提下做視覺任務(wù)挑戰(zhàn)主要在ISP、內(nèi)存帶寬和NPU的協(xié)同配合。智能門鎖是最典型的量產(chǎn)場景。一顆人臉識(shí)別模組要做的包括人臉檢測、活體檢測、人臉比對整個(gè)流程快要好持續(xù)功耗還要低。門鎖是電池供電的不可能像攝像頭那樣一直開。合理的做法是使用低功耗人體傳感器激活激活后系統(tǒng)在幾百毫秒內(nèi)完成檢測和識(shí)別然后立刻進(jìn)入休眠。整個(gè)過程中的平均功耗必須控制在毫瓦級(jí)別。智能眼鏡是更大的挑戰(zhàn)。眼鏡的電池容量通常只有幾百毫安時(shí)但需要在長時(shí)間待命的同時(shí)隨時(shí)響應(yīng)拍照和識(shí)別需求。要求AI芯片的待機(jī)功耗極低單次識(shí)別功耗低、延遲低同時(shí)芯片面積和高度都要壓縮到適合眼鏡結(jié)構(gòu)的程度。目前這一場景的量產(chǎn)芯片不多但競爭極其激烈因?yàn)檠坨R被視為下一波智能硬件的重要載體。3.3 工業(yè)與家電場景藏在角落里的大市場除了消費(fèi)電子低功耗AI芯片在工業(yè)狀態(tài)監(jiān)測、智能家電、能源管理等領(lǐng)域也在快速滲透。這些場景的特點(diǎn)是單品價(jià)值不高但總量巨大對成本極敏感。以空調(diào)為例新一代空調(diào)引入了AI節(jié)能算法讓壓縮機(jī)根據(jù)環(huán)境溫度、使用習(xí)慣、電費(fèi)時(shí)段進(jìn)行智能調(diào)節(jié)?？刂扑惴ǖ挠?jì)算量并不大但要求極低的成本和極低功耗通常整機(jī)增加的成本不能超過十幾元。這對芯片廠商的壓力相當(dāng)大考驗(yàn)的是極致性價(jià)比能力。工業(yè)場景則更看重可靠性和惡劣環(huán)境適應(yīng)能力比如工業(yè)振動(dòng)傳感器要在高溫環(huán)境下連續(xù)工作AI芯片需要在極端溫度下保持算法識(shí)別的穩(wěn)定性。我測試過幾顆工業(yè)級(jí)芯片在85℃環(huán)境下的識(shí)別準(zhǔn)確率和25℃相比有所下降這種溫漂問題在設(shè)計(jì)散熱方案時(shí)必須提前考慮。場景典型算力需求平均功耗預(yù)算核心痛點(diǎn)成本敏感度語音喚醒/TWS耳機(jī)0.1-0.5 TOPS毫瓦級(jí)待機(jī)響應(yīng)延遲、功耗高智能門鎖/可視門鈴0.5-1 TOPS事件觸發(fā)后低功耗喚醒準(zhǔn)確率、漏報(bào)中高智能眼鏡/AR1-4 TOPS極低待機(jī)短期高算力散熱、體積、續(xù)航中工業(yè)監(jiān)測/傳感器0.1-0.2 TOPS電池用兩年以上溫漂、穩(wěn)定性中高智能家電0.1-1 TOPS待機(jī)功耗符合國標(biāo)成本、PWM控制極高4. 市場博弈里的“明爭”與“暗斗”4.1 老牌廠商的降維打擊低功耗AI芯片這個(gè)市場既有玩家做“明爭”——拼產(chǎn)品定位、拼Roadmap、拼發(fā)布節(jié)奏也有大量“暗斗”——SDK里夾帶私貨、基準(zhǔn)測試挑項(xiàng)目、開發(fā)者被生態(tài)綁架等。這些現(xiàn)象在這個(gè)行業(yè)里屢見不鮮對選型影響巨大。頭部SoC廠商的做法最典型把AI能力直接集成進(jìn)主控芯片里不再單獨(dú)賣一顆AI協(xié)處理器。這樣做的優(yōu)勢很明顯主控芯片集成了NPU客戶不用多貼一顆芯片物料清單成本下降板上面積節(jié)省可靠性還提高了。對于做智能門鎖、家電控制板的客戶來說這幾乎是無法拒絕的理由。但集成方案也有讓人頭疼的地方。最典型的就是SDK綁定和生態(tài)鎖定。一旦你選了某個(gè)主控平臺(tái)并在上面完成了全部算法適配后面如果要換平臺(tái)基本意味著整個(gè)軟件棧重寫。廠商清楚這一點(diǎn)所以會(huì)在前期以非常優(yōu)惠的合作條件拉客戶進(jìn)來后面逐漸提高依賴程度。這種現(xiàn)象在市場上很常見是典型的商業(yè)博弈策略。4.2 初創(chuàng)團(tuán)隊(duì)的生存縫隙低功耗AI芯片的初創(chuàng)團(tuán)隊(duì)沒法在通用市場和老牌廠商正面對抗所以通常選擇非常垂直的細(xì)分場景切入。常見策略包括專注超低功耗語音喚醒、專注健康監(jiān)測的體征信號(hào)處理器、專注邊緣側(cè)圖像識(shí)別模塊等。這類團(tuán)隊(duì)的優(yōu)勢在于反應(yīng)速度快、定制能力強(qiáng)、服務(wù)響應(yīng)及時(shí)。一個(gè)大客戶對算法或接口有特殊需求初創(chuàng)團(tuán)隊(duì)幾周就能調(diào)整SDK和硬件適配這種靈活度是超大廠很難做到的。但劣勢也很明顯團(tuán)隊(duì)規(guī)模有限工具鏈、文檔、技術(shù)支持這類“看不見的投入”往往跟不上。我接觸過不少初創(chuàng)芯片的方案硬件指標(biāo)看起來很好實(shí)際開發(fā)起來才發(fā)現(xiàn)缺少成熟的編譯器、算子庫、示例工程算法人員要花大量時(shí)間做手工算子移植整個(gè)項(xiàng)目周期被拖得很長。所以選擇這種方案時(shí)一定要先評(píng)估的是軟件團(tuán)隊(duì)匹配度而不僅僅是芯片參數(shù)。4.3 軟件生態(tài)真正的護(hù)城河很多團(tuán)隊(duì)選芯片時(shí)最關(guān)注的是算力、功耗和價(jià)格但實(shí)際項(xiàng)目做下來決定生死的往往是工具鏈和軟件生態(tài)。低功耗AI芯片的軟件生態(tài)包含幾個(gè)關(guān)鍵部分深度學(xué)習(xí)框架對接能力、模型訓(xùn)練后的量化工具、算子編譯器、GPU仿真器或FPGA原型驗(yàn)證環(huán)境、調(diào)試與性能分析工具、量產(chǎn)燒錄與OTA升級(jí)機(jī)制。任何一個(gè)環(huán)節(jié)薄弱都可能讓項(xiàng)目停滯。我見過一個(gè)團(tuán)隊(duì)芯片算力足夠、功耗也達(dá)標(biāo)、價(jià)格還便宜但量化工具非常難用導(dǎo)出的模型跑起來精度掉了5個(gè)點(diǎn)以上。算法同事反復(fù)調(diào)整了一周也沒解決最后只能更換芯片平臺(tái)前面幾個(gè)月的工作幾乎報(bào)廢。這種案例在行業(yè)里并不少見。所以說低功耗AI芯片的競爭早就超出了芯片本身。最終能跑量的產(chǎn)品一定是那些“芯片SDK工具鏈技術(shù)文檔現(xiàn)場支持”整體解決方案過硬的廠商。這也解釋了為什么很多團(tuán)隊(duì)選型后很快又開始看下一家因?yàn)楹芏喈a(chǎn)品只把功夫下在了芯片參數(shù)上軟件生態(tài)卻一塌糊涂。5. 芯片選型評(píng)估的實(shí)操方法論5.1 從Datasheet里讀出真實(shí)信息評(píng)估一顆低功耗AI芯片第一步是看懂Datasheet。我的習(xí)慣是先看幾個(gè)最關(guān)鍵指標(biāo)再找官方評(píng)估板實(shí)測。算力要看INT8實(shí)數(shù)算力不要只看主頻。很多芯片宣傳的TOPS是FP16算力換成INT8后大打折扣。對低功耗AI芯片來說主流商用量產(chǎn)模型基本還是INT8量化為主所以INT8算力才是你需要關(guān)心的。能效比看TOPS/W但要注意是在什么條件下測的。如果標(biāo)稱條件下是理想稀疏化或混合精度那和真實(shí)跑卷積網(wǎng)絡(luò)的效果是兩個(gè)世界。內(nèi)存子系統(tǒng)是關(guān)鍵。重點(diǎn)看片上SRAM大小、是否有DDR控制器、內(nèi)存帶寬多大。對端側(cè)AI推理來說數(shù)據(jù)搬運(yùn)經(jīng)常是瓶頸足夠大的SRAM能提升實(shí)際能效。低功耗模式要看得非常仔細(xì)。芯片有幾級(jí)睡眠模式各級(jí)的喚醒時(shí)間是多少待機(jī)電流分別是多少喚醒后迅速跑一次模型再睡回去整個(gè)過程的平均功耗是多少這些信息對電池供電產(chǎn)品至關(guān)重要。還有一個(gè)我反復(fù)強(qiáng)調(diào)的是外設(shè)集成度。芯片自帶的音頻編解碼器、ISP圖像處理單元、電源管理單元質(zhì)量如何如果外設(shè)集成度高且質(zhì)量好可以省掉一堆外圍芯片整機(jī)成本和面積都會(huì)更優(yōu)化。5.2 我常用的選型評(píng)估表下面這張表可以幫團(tuán)隊(duì)在選型階段快速形成評(píng)估結(jié)論評(píng)估維度指標(biāo)參考實(shí)測方法算力INT8 TOPS、有效算力非峰值跑目標(biāo)模型測幀率能效TOPS/W、運(yùn)行功耗電流探頭測運(yùn)行平均電流待機(jī)深睡電流、喚醒時(shí)間評(píng)估板配合精密電流計(jì)實(shí)測內(nèi)存SRAM大小、DDR帶寬跑不同大小模型驗(yàn)證工具鏈編譯成功率、算子覆蓋率把目標(biāo)模型完整移植一遍生態(tài)文檔質(zhì)量、示例工程、論壇活躍度讓工程師按文檔獨(dú)立跑通Demo成本單價(jià)、BOM總成本、NRE費(fèi)用結(jié)合生命周期量級(jí)預(yù)估交付供貨周期、長期供貨承諾、第二供應(yīng)商由采購側(cè)調(diào)研5.3 如何做真實(shí)的功耗測量評(píng)測功耗是選型的關(guān)鍵也是很多團(tuán)隊(duì)最容易范error的地方。我總結(jié)了幾個(gè)經(jīng)驗(yàn)。不能只測跑Division算力的功耗因?yàn)檎鎸?shí)產(chǎn)品里的AI運(yùn)行單位和測試工具不一樣。正確做法是把你最終要跑的模型完整移植到評(píng)估板上讓它以目標(biāo)流程運(yùn)行比如“待機(jī)-喚醒-采集-推理-決策-休眠”完整循環(huán)然后測整個(gè)循環(huán)的平均電流。測量工具要配齊。常見的測量儀表包括高精度萬用表、專用電流探頭、示波器和電子負(fù)載。測待機(jī)微安級(jí)電流時(shí)要保證采樣精度不能只用普通萬用表因?yàn)槠胀ū淼牡自刖涂赡艽笥谛酒乃唠娏?。我?xí)慣在待機(jī)時(shí)想辦法串聯(lián)一個(gè)大電阻配合高精度表同時(shí)要注意電源噪聲對芯片的影響必要時(shí)在測量引腳加去耦電容。多次測量取均值。芯片在不同溫度、不同電壓下的功耗表現(xiàn)差異較大最好在25℃、45℃、70℃幾個(gè)溫度點(diǎn)分別測試。實(shí)測中發(fā)現(xiàn)有些芯片在高溫下因?yàn)槁╇娫黾雍凸?jié)流機(jī)制功耗變化高達(dá)30%以上。6. 項(xiàng)目實(shí)戰(zhàn)中的避坑經(jīng)驗(yàn)6.1 工具鏈的三座大山算子、量化、仿真這幾年用過多家低功耗AI芯片的開發(fā)流程踩坑最多的永遠(yuǎn)是工具鏈已經(jīng)不是一次兩次了而是常態(tài)。第一座大山是算子覆蓋。目標(biāo)模型里的每個(gè)算子在NPU工具鏈里不一定都有高效的映射實(shí)現(xiàn)。比如一些動(dòng)態(tài)形狀或者不規(guī)則卷積算子在GPU上運(yùn)行良好到了NPU上可能根本編譯不過或者被降級(jí)到CPU執(zhí)行導(dǎo)致性能驟降。我的習(xí)慣是在選型階段就把目標(biāo)模型的算子列表導(dǎo)出逐一核對工具鏈支持情況提前發(fā)現(xiàn)不支持的算子并提前修改模型結(jié)構(gòu)。第二座大山是量化精度。很多低功耗芯片不擅長處理浮點(diǎn)需要把模型量化到INT8。量化過程中一個(gè)常見的錯(cuò)誤是使用不當(dāng)?shù)男?zhǔn)數(shù)據(jù)集導(dǎo)致量化后精度下降嚴(yán)重。建議收集盡量與實(shí)際業(yè)務(wù)分布接近的數(shù)據(jù)并對比量化前后每一層輸出的誤差分布。如果某一層誤差特別大就要考慮對那部分做混合精度處理或者修改模型結(jié)構(gòu)。第三座大山是仿真與實(shí)測不一致。芯片廠商提供的模擬器PC端跑出來的性能數(shù)據(jù)和真實(shí)芯片往往有較大差距原因包括訪存延遲沒有被準(zhǔn)確建模、NPU調(diào)度策略模擬不完全、編譯器的實(shí)際執(zhí)行結(jié)果不同等。所以我的經(jīng)驗(yàn)是仿真結(jié)果只用來驗(yàn)證功能性能數(shù)字還是以開發(fā)板實(shí)測為準(zhǔn)。6.2 我踩過的幾個(gè)具體坑分享幾個(gè)真實(shí)踩過的坑希望后來者不要再犯。曾經(jīng)遇到一個(gè)項(xiàng)目芯片標(biāo)稱INT8算力很高但在跑目標(biāo)網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)問題模型里的5×5卷積在NPU上的效率極低實(shí)際幀率只有預(yù)期的三分之一。原因是這種卷積操作的數(shù)據(jù)重用特性與NPU的硬件數(shù)據(jù)流不匹配導(dǎo)致計(jì)算單元大量等待數(shù)據(jù)搬運(yùn)。后來我們把5×5卷積改成兩個(gè)3×3卷積串聯(lián)幀率提升了兩倍多。這個(gè)小改動(dòng)完全來自實(shí)測只看paper永遠(yuǎn)也意識(shí)不到。還有一個(gè)項(xiàng)目芯片體積、功耗都很滿意但是SDK只支持兩種指定的編譯器版本和特定的操作系統(tǒng)內(nèi)核版本。我們現(xiàn)有產(chǎn)品線用的是另一套嵌入式框架軟件團(tuán)隊(duì)針對芯片的使用限制糾結(jié)了一個(gè)多月最后還是只能在最小化的混合架構(gòu)里做了妥協(xié)。再有就是喚醒延遲的問題。有一款芯片的睡眠模式看起來很有吸引力待機(jī)電流低至微安級(jí)但實(shí)際測試發(fā)現(xiàn)從睡眠到NPU可運(yùn)行的時(shí)間需要60毫秒再加上模型推理時(shí)間整個(gè)語音交互的響應(yīng)速度明顯偏慢。后來改用不同級(jí)別的低功耗模式組合快速啟動(dòng)模式保持關(guān)鍵數(shù)據(jù)狀態(tài)把真正的深度睡眠留給機(jī)會(huì)極少的場景總算把延遲壓縮到了可接受范圍。6.3 系統(tǒng)級(jí)功耗優(yōu)化的幾個(gè)技巧芯片本身選好了系統(tǒng)級(jí)功耗優(yōu)化也會(huì)深刻影響最終產(chǎn)品續(xù)航。以下幾點(diǎn)是我在項(xiàng)目里反復(fù)用的經(jīng)驗(yàn)。第一盡量讓工作負(fù)載顯得“稀疏”。低功耗產(chǎn)品里AI推理不一定是每幀都做。比如人體傳感器檢測到有活動(dòng)才觸發(fā)識(shí)別攝像頭可以被限制在一個(gè)低幀率。把三個(gè)不同工作負(fù)載交織運(yùn)行避免整套系統(tǒng)始終滿負(fù)荷。第二盡可能利用異構(gòu)單元。很多芯片內(nèi)部除了NPU還有DSP或低功耗協(xié)處理器某些預(yù)處理任務(wù)可以放到這類低功耗單元上運(yùn)行。比如音頻前端算法在DSP上跑NPU只跑神經(jīng)網(wǎng)絡(luò)推理整體功耗會(huì)比全部塞給NPU更低。有芯片的能效差距能到50%以上。第三精心調(diào)校電源管理策略。要充分利用芯片的多個(gè)電源域不用的外設(shè)及時(shí)下電。但要注意下電順序和等待時(shí)間避免在模塊尚未停止時(shí)就切斷時(shí)鐘芯片可能死機(jī)或數(shù)據(jù)損壞。需要在極端環(huán)境下做長穩(wěn)定性驗(yàn)證。第四利用廠商提供的功耗分析工具在開發(fā)階段就持續(xù)識(shí)別功耗熱點(diǎn)。有一個(gè)項(xiàng)目我們在開發(fā)板上直接焊了電流采樣電阻配合示波器看各個(gè)階段待機(jī)、喚醒、推理、通信、休眠的電流波形很快發(fā)現(xiàn)了藍(lán)牙模塊的空閑掃描電流異常偏高最后通過調(diào)整掃描策略省下了將近三分之一的平均功耗。6.4 建議的低功耗AI項(xiàng)目開發(fā)節(jié)奏根據(jù)這些經(jīng)驗(yàn)我認(rèn)為一個(gè)穩(wěn)健的低功耗AI產(chǎn)品開發(fā)流程應(yīng)該是這樣的。需求定義階段先做功耗預(yù)算將整機(jī)可用功耗拆解到每個(gè)模塊確定AI芯片的功耗窗口、算力下限和成本上限。這個(gè)階段一定要把測量工具準(zhǔn)備好不要等到方案確定了才想起來。選型評(píng)估階段拿到評(píng)估板立刻跑通目標(biāo)模型實(shí)測功耗、幀率和延遲。重點(diǎn)測完整業(yè)務(wù)循環(huán)而不是只測設(shè)計(jì)公司的演示模型。同時(shí)進(jìn)行軟件SDK的深度評(píng)估不要只看文檔。原型驗(yàn)證階段用開發(fā)板搭出接近真實(shí)產(chǎn)品的外設(shè)環(huán)境充分模擬真實(shí)交互流確認(rèn)功耗數(shù)據(jù)和系統(tǒng)穩(wěn)定性。溫度和電源波動(dòng)測試在這個(gè)階段就應(yīng)該開始。量產(chǎn)優(yōu)化階段結(jié)合產(chǎn)品結(jié)構(gòu)做整機(jī)功耗調(diào)優(yōu)特別注意外部電源轉(zhuǎn)換效率、傳感器功耗、無線通信的占空比。同時(shí)復(fù)核AI模型在量產(chǎn)固件上的精度變化情況。這幾輪下來產(chǎn)品基本能做到續(xù)航和功能可兼顧。我也見過不少項(xiàng)目為了搶進(jìn)度跳過前面的評(píng)估步驟結(jié)果拿到真正量產(chǎn)階段才暴露出功耗超標(biāo)、工具鏈?zhǔn)芟?、模型效果不達(dá)標(biāo)等問題最后往往得不償失。寫在最后的幾句實(shí)在話低功耗AI芯片領(lǐng)域的明爭暗斗說到底爭的不是誰家的名字響、發(fā)布會(huì)熱鬧、PPT參數(shù)最漂亮而是誰能在真實(shí)產(chǎn)品里用最少的電、最小的芯片面積、最友好的開發(fā)體驗(yàn)把AI模型穩(wěn)定地跑起來。我見過太多看似參數(shù)很美的芯片最后折在工具鏈、生態(tài)和真實(shí)場景的功耗細(xì)節(jié)上。作為從業(yè)者我深知紙面數(shù)據(jù)和量產(chǎn)表現(xiàn)之間隔著的是無數(shù)個(gè)加班夜和厚厚的實(shí)測報(bào)告。我個(gè)人最深的體會(huì)是芯片選型這件事永遠(yuǎn)不要只依賴原廠提供的基準(zhǔn)數(shù)據(jù)和評(píng)測模板。你的模型、你的場景、你的結(jié)構(gòu)限制只有你自己最清楚。把核心模型跑上開發(fā)板用電流表實(shí)測功耗讓軟件工程師完整走一遍工具鏈再做決定。芯片戰(zhàn)爭輸贏其實(shí)與你無關(guān)但你自己的產(chǎn)品能不能在時(shí)間和預(yù)算內(nèi)落地是你必須負(fù)責(zé)到底的事。如果你正準(zhǔn)備啟動(dòng)一個(gè)低功耗AI終端項(xiàng)目我的建議是先把功耗預(yù)算表做出來把模型算子梳理清楚再帶著這些維度的標(biāo)準(zhǔn)去挑選芯片。你會(huì)發(fā)現(xiàn)很多看起來很大的“差距”在真實(shí)需求面前根本無關(guān)緊要而很多不起眼的“暗斗”恰恰是決定你項(xiàng)目生死的關(guān)鍵。祝你們的第一塊開發(fā)板一次點(diǎn)亮第一版固件一次跑通。