GPU 是 AI 時(shí)代最不缺關(guān)注度的硬件但真正把它用在生產(chǎn)環(huán)境的人心里多少都有點(diǎn)別扭。它的渲染基因帶來了大量你根本用不到的邏輯數(shù)據(jù)必須從全局內(nèi)存搬到片上緩存再搬回內(nèi)存像一條單行道一樣只能按固定路線走。于是在這個(gè)路口上清微智能和 Groq 不約而同地選擇了另一條路數(shù)據(jù)流架構(gòu)。這篇文章我不打算復(fù)述發(fā)布會(huì)上的 PPT而是把這兩家放在一起拆開看它們到底想怎么改變 GPU 這條單行道以及這事為什么不是簡(jiǎn)單意義上“再做一塊更好的 GPU”。1. GPU 的“單行道”困局你的加速卡到底卡在哪1.1 從流水線說起為什么說 GPU 是單行道要理解“單行道”這個(gè)比喻得先回到 GPU 最基本的執(zhí)行模型。無論是渲染游戲畫面還是執(zhí)行深度學(xué)習(xí)算子GPU 本質(zhì)上是一條超寬、超深的流水線取指、解碼、發(fā)射、執(zhí)行、寫回?cái)?shù)據(jù)沿著這條固定的流水線方向向前移動(dòng)。這條路設(shè)計(jì)得非常寬可以同時(shí)處理上千個(gè)線程但方向是固定的你得跟著它的規(guī)則走。我把這種架構(gòu)叫做“單行道”是因?yàn)樵?GPU 眼里所有數(shù)據(jù)都是一樣的“車”不管你是來算卷積的還是來算光照貼圖的都要從流水線的入口進(jìn)入經(jīng)過調(diào)度器分配、共享內(nèi)存暫存、計(jì)算單元執(zhí)行再繞回寄存器或緩存層。問題在于AI 推理任務(wù)根本不需要這么復(fù)雜的“交通管理”。你給 GPU 一個(gè)已經(jīng)固定的計(jì)算圖數(shù)據(jù)從張量 A 和張量 B 進(jìn)來結(jié)果是個(gè)確定性的矩陣運(yùn)算沒有分支跳轉(zhuǎn)沒有亂序執(zhí)行可 GPU 依然要走這套完整的管控流程。這里就出現(xiàn)一個(gè)錯(cuò)配一個(gè)為海量并發(fā)但充滿分支邏輯設(shè)計(jì)的引擎被用來執(zhí)行一種全天下最規(guī)律的重復(fù)計(jì)算。正如一條八車道的單行道上跑著一隊(duì)自動(dòng)駕駛卡車所有的控制指令、交通調(diào)度、紅綠燈全是為隨機(jī)匯入的車流設(shè)計(jì)的但對(duì)于固定編隊(duì)行駛的卡車來說這些機(jī)制只會(huì)增加油耗不會(huì)帶來任何通行效率。1.2 三大瓶頸控制開銷、內(nèi)存墻和低利用率我把 GPU 在 AI 推理中真正難受的問題歸成三類這三類加起來就是“單行道”走不下去的核心原因。第一類叫控制開銷。GPU 的硬件資源里有一大批晶體管是拿來干“管事兒”的取指令、譯碼、分配寄存器、處理分支預(yù)測(cè)、維護(hù)緩存一致性。這些組件在游戲渲染里功不可沒因?yàn)橄袼刂鲿?huì)遇到大量隨機(jī)的渲染分支需要靈活應(yīng)對(duì)。但在深度學(xué)習(xí)推理里計(jì)算圖是編譯好并且固化的一行 if 都沒有指令序列完全可預(yù)測(cè)?？刂七壿嬙綇?fù)雜浪費(fèi)的電和面積就越多這就是控制開銷的由來。第二類叫內(nèi)存墻。這是最要命的一道墻。AI 算子的本質(zhì)是“把權(quán)重搬過來和數(shù)據(jù)做乘加計(jì)算”搬運(yùn)的速度主導(dǎo)了整個(gè)算子的執(zhí)行時(shí)間。你可以把 GPU 想象成一個(gè)巨大的收費(fèi)站計(jì)算單元是收費(fèi)窗口內(nèi)存系統(tǒng)是通向窗口的引道。GPU 的數(shù)據(jù)要穿過全局顯存、L2 緩存、共享內(nèi)存、寄存器才能到達(dá)計(jì)算單元。這一路上每一級(jí)存儲(chǔ)之間的帶寬都不一樣但最低的那一級(jí)決定了整體速度。實(shí)際算力再高只要數(shù)據(jù)搬不過來ALU 也是空轉(zhuǎn)的。第三類表現(xiàn)為低利用率。你可能在調(diào)優(yōu)時(shí)用軟件看過顯卡的占用率如果你跑的是實(shí)時(shí)語義分割或者大模型推理占用率常常只有三成到五成剩下的時(shí)間就是在等數(shù)據(jù)。你可以把計(jì)算單元看成出租車司機(jī)大多數(shù)時(shí)候車是空的但引擎還在怠速運(yùn)轉(zhuǎn)油沒少燒乘客沒多拉。我見過不少同行在優(yōu)化 GPU 推理性能時(shí)把數(shù)據(jù)排布、算子和 CUDA 流都折騰到極致最終卡住的往往是某個(gè)內(nèi)存訪問沒對(duì)齊、某個(gè)合批太小、調(diào)度太頻繁這些都是控制開銷和內(nèi)存墻在應(yīng)用層的具體表現(xiàn)。換個(gè)說法GPU 不是不能算而是在 AI 這件事上繞了太多路。2. 換一條路數(shù)據(jù)流架構(gòu)如何繞過“單行道”2.1 指令驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)本質(zhì)差別在哪里GPU 或者說 CPU本質(zhì)上都屬于“指令驅(qū)動(dòng)”的計(jì)算模型程序是一條一條指令處理器按照指令流的順序去取數(shù)據(jù)、做計(jì)算。而數(shù)據(jù)流架構(gòu)完全是另一種玩法計(jì)算不是被指令拉起來的而是被數(shù)據(jù)到達(dá)這個(gè)動(dòng)作直接推起來的。我?guī)湍愦騻€(gè)比方。傳統(tǒng)架構(gòu)像一家餐廳顧客數(shù)據(jù)進(jìn)門領(lǐng)位員調(diào)度器把他帶到桌位緩存服務(wù)生加載指令去后廚取菜內(nèi)存后廚做菜執(zhí)行單元。每一次接待都要走完整套流程。而數(shù)據(jù)流架構(gòu)像一家自助分揀流水線傳送帶把食材推到第一站第一站自動(dòng)處理立刻送到第二站第二站又自動(dòng)處理食材在路上就是指令本身。指令化身為數(shù)據(jù)的流向沒有“取指令”這一步也沒有“分配線程”這一步。這個(gè)差別放到 AI 推理里就是降維打擊。因?yàn)?AI 推理天然是一個(gè)數(shù)據(jù)流程序卷積層把特征圖算出來直接喂給池化層池化層結(jié)果給激活函數(shù)激活函數(shù)再給全連接層。你為這個(gè)算子鏈預(yù)先鋪好一條物理通路互聯(lián)關(guān)系在編譯期就固定下來數(shù)據(jù)來了就直接從第一層流到最后一層全程不需要調(diào)度器插手。這比讓 GPU 一遍遍從指令緩存去拿“下一步干什么”要直接得多。2.2 清微智能的可重構(gòu)數(shù)據(jù)流把算法直接“鋪”在硬件上清微智能走的是可重構(gòu)計(jì)算路線核心思路是讓硬件的互聯(lián)和功能能在一定程度內(nèi)按需重組。如果只從現(xiàn)象看它是把 AI 算子映射成一張數(shù)據(jù)流圖然后把這張圖用硬件的方式“印”在計(jì)算陣列上。也就是說同一個(gè)芯片跑卷積神經(jīng)網(wǎng)絡(luò)時(shí)計(jì)算單元之間呈現(xiàn)一種連接方式跑到 Transformer 時(shí)計(jì)算單元又重組成另一種連接方式。這就是“可重構(gòu)”三個(gè)字的意義。為什么不干脆搞成固定硬連線因?yàn)?AI 算法還在演進(jìn)。固定一個(gè)算子比如只加速卷積那 Transformer 類模型來了就浪費(fèi)一大半硬件?？芍貥?gòu)陣列的優(yōu)勢(shì)是它保留了一條“重新布線的能力”讓計(jì)算單元按照當(dāng)前模型的計(jì)算圖動(dòng)態(tài)調(diào)整互聯(lián)關(guān)系。這在電路層面等價(jià)于一個(gè)可編程的數(shù)據(jù)交換網(wǎng)絡(luò)做通用點(diǎn)的表述就是你給它一張和芯片結(jié)構(gòu)對(duì)應(yīng)的數(shù)據(jù)流描述文件它就能在下一個(gè)周期變成適配新模型的機(jī)器。在實(shí)操層面清微智能把重點(diǎn)放在了邊緣 AI 場(chǎng)景。邊緣場(chǎng)景功耗預(yù)算非常有限往往只有一兩瓦甚至幾百毫瓦。GPU 那一套復(fù)雜調(diào)度和控制邏輯在這種功耗約束下幾乎無從發(fā)揮。數(shù)據(jù)流架構(gòu)沒有取指開銷算力幾乎都花在刀刃上所以能效比非常突出。我觀察到的實(shí)際選型中很多做智能攝像頭、工業(yè)質(zhì)檢、機(jī)器人控制的團(tuán)隊(duì)都開始把可重構(gòu)數(shù)據(jù)流芯片列為替代方案因?yàn)閷?duì)時(shí)延和功耗的要求GPU 都很難填平。當(dāng)然可重構(gòu)也有它的代價(jià)。互聯(lián)網(wǎng)絡(luò)的晶體管占用率比固定互連更多配置切換本身需要耗時(shí)所以它不可能在所有算法上都做到單算子最強(qiáng)它的優(yōu)勢(shì)是指令級(jí)開銷低、能效均衡。一句話概括清微智能的方案更像一個(gè)“隨算法變形的高效流水線工廠”而不是一個(gè)固定流程的流水線。2.3 Groq 的 TSP把調(diào)度提前到編譯期的激進(jìn)打法再來看 Groq它的打法比清微智能更極致。Groq 做了一個(gè)叫做張量流處理器Tensor Streaming ProcessorTSP的架構(gòu)核心特點(diǎn)是運(yùn)行時(shí)無所謂調(diào)度一切都在編譯期被安排得明明白白。你怎么理解這句話在 GPU 里調(diào)度器是根據(jù)當(dāng)前時(shí)刻可用的計(jì)算資源動(dòng)態(tài)決定哪個(gè)線程接著跑TSP 則完全不用“決定”。編譯器在生成代碼時(shí)就知道每一個(gè) ALU 在哪個(gè)周期計(jì)算哪一筆數(shù)據(jù)、數(shù)據(jù)從哪個(gè) SRAM 讀取、什么時(shí)候?qū)懟叵喈?dāng)于開一場(chǎng)事先完全彩排好的大型演出每個(gè)演員每一個(gè)節(jié)拍都知道自己該站哪。TSP 的另一張王牌是存儲(chǔ)策略。它不需要像 GPU 那樣依賴全局顯存做大規(guī)模數(shù)據(jù)中轉(zhuǎn)而是把數(shù)百 MB 的 SRAM 直接堆在芯片上計(jì)算單元之間通過極寬的片上網(wǎng)絡(luò)傳輸數(shù)據(jù)。SRAM 的帶寬比 DRAM 高好幾個(gè)數(shù)量級(jí)延遲也低得多這讓單芯片推理延遲能做到非常驚艷的水平。Groq 早期展示過很多低時(shí)延推理場(chǎng)景根本不是靠把 GPU 超頻超上去的也不是靠塞更多的核心堆出來的純粹就是從“數(shù)據(jù)在路上花的時(shí)間”這個(gè)根上砍掉了大半。但立硬幣都有正反面。TSP 的代價(jià)是“靜態(tài)調(diào)度”非常依賴編譯器的提前布局一旦運(yùn)行時(shí)的模型有動(dòng)態(tài)形狀、條件分支、稀疏計(jì)算比如 NLP 里按句子長(zhǎng)度做 Padding、推薦系統(tǒng)里稀疏特征查詢編譯器的日子就會(huì)非常難過生成的調(diào)度可能遠(yuǎn)不是最優(yōu)。而且 SRAM 雖然快但它單位面積貴TSP 很難把片上容量做到幾十 GB所以跑超大模型時(shí)要么把模型切成好幾塊放到多個(gè)芯片上要么就得跟外部高帶寬存儲(chǔ)做配合這時(shí)芯片與芯片之間的互聯(lián)帶寬又成了新的瓶頸。3. 為什么“打補(bǔ)丁”救不了 GPU 單行道3.1 硬件補(bǔ)丁的物理盡頭有人會(huì)說GPU 廠商不是一直在改嗎加 Tensor Core加更大的 L2 緩存提升 HBM 帶寬甚至搞出直接訪問存儲(chǔ)的方案。這些都在緩解內(nèi)存墻但為什么說解不了因?yàn)閮?nèi)存墻的本質(zhì)是物理布局和功耗問題。數(shù)據(jù)在片外 DRAM 和片上緩存之間每搬運(yùn)一次要消耗遠(yuǎn)超于算一次乘加的能量。你加寬 HBM 通道加多緩存容量本質(zhì)上只是把單行道擴(kuò)寬成雙車道、四車道但方向還是那條固定的路。數(shù)據(jù)從權(quán)重到執(zhí)行單元之間穿越的層級(jí)并沒有變少。GPU 的市場(chǎng)定位決定了它必須兼容大量工作負(fù)載所以它內(nèi)部的數(shù)據(jù)路徑必然是一個(gè)折中方案這個(gè)折中方案對(duì) AI 推理來說就是繞遠(yuǎn)路。我比較喜歡拿生活里的情況來類比GPU 的改良像把一條城市的城市快速路從四車道改成八車道但所有車仍然要經(jīng)過同一個(gè)高架出口去往同一個(gè)園區(qū)。你得在高峰期等紅綠燈因?yàn)樗袛?shù)據(jù)仍然要在同一套調(diào)度邏輯的指揮下按順序前進(jìn)。數(shù)據(jù)流芯片則是在隔壁直接修了一條高架直連園區(qū)繞開了整座城市的紅綠燈。前者再寬后者依然更短。3.2 生態(tài)是另一堵更硬的墻改硬件難改軟件生態(tài)難上加難。GPU 最核心的護(hù)城河其實(shí)不是硬件性能而是生態(tài)。全世界搞深度學(xué)習(xí)的開發(fā)者幾乎都在用某個(gè)深度學(xué)習(xí)框架寫模型框架底層又自動(dòng)接好 GPU 廠商提供的算子庫(kù)推理優(yōu)化工具鏈也早已成熟。你訓(xùn)練、調(diào)優(yōu)、部署一條龍都有配套的調(diào)試器和性能分析器遇到性能問題社區(qū)里隨手一搜就有前人踩過的坑。而數(shù)據(jù)流架構(gòu)的芯片每做一個(gè)算子都得自己去寫編譯器規(guī)則、算子映射、量化支持、推理框架的對(duì)接。別人用 GPU跑一個(gè)動(dòng)態(tài)尺寸的模型調(diào)一下庫(kù)里的一個(gè)參數(shù)就行用數(shù)據(jù)流芯片可能要改模型結(jié)構(gòu)、改數(shù)據(jù)路徑、重寫優(yōu)化邏輯。這種用戶層面的割裂感很容易讓項(xiàng)目負(fù)責(zé)人放棄選擇。哪怕芯片性能再亮眼只要不能讓團(tuán)隊(duì)在三天內(nèi)跑通一個(gè)現(xiàn)有模型采購(gòu)價(jià)值就會(huì)大打折扣。這也是為什么我一直強(qiáng)調(diào)數(shù)據(jù)流芯片能不能生存下來不只看硬件參數(shù)更要看編譯器和一個(gè)足夠完善的算子庫(kù)能夠支撐多少業(yè)務(wù)實(shí)際要跑的模型。所謂“改變 GPU 單行道”不是你把一條路修得更窄更直就完了還要讓人愿意搬家過來。3.3 游戲基因?qū)?AI 路線的拖累再往深一層看GPU 的晶體管預(yù)算里混進(jìn)了太多游戲渲染專用的東西。光線追蹤單元、紋理單元、光柵化器、頂點(diǎn)著色器這些模塊在 AI 推理里基本屬于“睡大覺”的駐場(chǎng)員工。你會(huì)發(fā)現(xiàn)哪怕是最頂級(jí)的顯卡你把 AI 推理跑到滿血也是很難把每個(gè)晶體管都激活的因?yàn)槟切╀秩竞诵母静辉?AI 這條工作流里。數(shù)據(jù)流架構(gòu)的晶體管規(guī)劃則是另一種邏輯它可以集中全部面積做乘加運(yùn)算、片上存儲(chǔ)和互聯(lián)網(wǎng)絡(luò)。同一個(gè)工藝節(jié)點(diǎn)下數(shù)據(jù)流芯片的“有效算力密度”會(huì)有明顯優(yōu)勢(shì)。正因?yàn)?GPU 要考慮太多負(fù)載它才成為一條誰都能走的單行道數(shù)據(jù)流芯片卻可以為了 AI 這個(gè)“特定方向”把路修成專門的高架。但要公平補(bǔ)一句單行道也不是一無是處。GPU 在訓(xùn)練任務(wù)上依然是統(tǒng)治級(jí)的存在因?yàn)橛?xùn)練意味著大量動(dòng)態(tài)分支、梯度回傳、稀疏激活、動(dòng)態(tài)形狀所有這些都對(duì)數(shù)據(jù)流架構(gòu)不友好。你不能拿推理的優(yōu)勢(shì)去否定訓(xùn)練領(lǐng)域 GPU 的優(yōu)勢(shì)。所謂改變單行道準(zhǔn)確說是“在 AI 推理這條具體道路上存在更直接的路徑”。4. 改變的可能性三條最可能的突破口4.1 推理部署數(shù)據(jù)流架構(gòu)的主場(chǎng)推理任務(wù)有一個(gè)讓數(shù)據(jù)流架構(gòu)極其舒服的特性計(jì)算圖固定、算子確定、沒有動(dòng)態(tài)控制流。你在部署前已經(jīng)把模型結(jié)構(gòu)全部定下來了數(shù)據(jù)流芯片完全可以提前把整個(gè)計(jì)算圖“焊”在硬件上。這個(gè)特性讓它能實(shí)現(xiàn)極低時(shí)延和極高的吞吐穩(wěn)定性而且部署時(shí)幾乎不需要考慮運(yùn)行時(shí)調(diào)度抖動(dòng)。云端推理供應(yīng)商對(duì)“P99 時(shí)延”極度敏感。傳統(tǒng) GPU 因?yàn)榫€程調(diào)度的隨機(jī)性時(shí)延抖動(dòng)是客觀存在的同一批請(qǐng)求某些請(qǐng)求可能會(huì)因?yàn)榈染彺嫘卸嘧邘讞l彎道。數(shù)據(jù)流架構(gòu)的靜態(tài)調(diào)度保證了每個(gè) token 的處理路徑完全一致時(shí)延分布極其集中。我在接觸一些做 AI 推理服務(wù)架構(gòu)的朋友時(shí)發(fā)現(xiàn)他們對(duì)時(shí)延方差的重視頻率遠(yuǎn)高于平均時(shí)延因?yàn)檫@直接關(guān)系到花錢買計(jì)算力的用戶如何評(píng)估服務(wù)穩(wěn)定性。從這個(gè)角度說Groq 把靜態(tài)調(diào)度當(dāng)作核心賣點(diǎn)方向是對(duì)的。4.2 邊緣與端側(cè)低功耗場(chǎng)景不需要 GPU 的復(fù)雜度邊緣智能設(shè)備的需求和云端很不一樣。它們沒有充足的電量去養(yǎng)一張功耗三百瓦的顯卡也不可能靠液冷散熱去壓住“性能怪獸”它們真正需要的是極低的功耗、可預(yù)測(cè)的延遲、以及“模型固定后長(zhǎng)期穩(wěn)定運(yùn)行”的可靠性。數(shù)據(jù)流架構(gòu)在這方面天然友好因?yàn)樗鼪]有取指開銷沒有復(fù)雜的分支預(yù)測(cè)和調(diào)度電路絕大多數(shù)能量都直接貢獻(xiàn)給有效計(jì)算。比如做工業(yè)質(zhì)檢的攝像頭需在 50 毫秒內(nèi)完成缺陷判定整機(jī)功耗被限制在 5 瓦以內(nèi)。用傳統(tǒng) GPU 方案要費(fèi)大力氣調(diào)優(yōu)才能實(shí)現(xiàn)還要犧牲攝像頭模組和散熱預(yù)算。換用可重構(gòu)數(shù)據(jù)流的 AI 芯片把卷積模型映射成硬件數(shù)據(jù)流圖之后可以在更低功耗下跑完相同推理任務(wù)。清微智能選擇以這里為切入場(chǎng)景踩中的就是 GPU 在低功耗邊緣區(qū)間“使不上勁”的結(jié)構(gòu)性空白。我還想多說一句邊緣市場(chǎng)的碎片化恰恰匹配“可重構(gòu)”的特性。不同客戶的模型結(jié)構(gòu)、傳感器輸入格式、算子組合差異極大固定硬件的 NPU 往往只能適配其中一部分而可重構(gòu)陣列在同一款芯片上可以通過切換配置支持不同模型形態(tài)這對(duì)邊緣企業(yè)的供應(yīng)鏈簡(jiǎn)化是很有吸引力的。4.3 大模型推理從“單行道”變“多車道立交橋”大模型推理讓內(nèi)存墻的問題被推到聚光燈下。生成一個(gè) token要快速拿到幾百 GB 的權(quán)重GPU 必須一遍遍從高帶寬顯存里搬數(shù)據(jù)。延遲大量消耗在搬運(yùn)過程中而不是計(jì)算過程里。如果能把權(quán)重盡量放到離計(jì)算單元更近的地方就能成倍縮短“搬運(yùn)時(shí)間”。Groq 的方式就是用巨型 SRAM 把權(quán)重裝進(jìn)片上SRAM 的延遲比 DRAM 低一個(gè)數(shù)量級(jí)以上這讓單芯片的 token 生成時(shí)延非常好看。但大模型動(dòng)輒幾百 GB你不可能全部塞進(jìn)片上 SRAM于是只能做模型切分把不同層放到不同芯片上讓 token 在一塊塊 TSP 之間流動(dòng)。這相當(dāng)于立交橋的匝道設(shè)計(jì)問題從“內(nèi)存墻”轉(zhuǎn)化成了“芯片間互聯(lián)帶寬墻”。清微智能在近存計(jì)算路徑上也有自己的布局即把存儲(chǔ)和和計(jì)算陣列靠得更近減少數(shù)據(jù)搬運(yùn)路徑。這些方案沒有一家是靈丹妙藥但每一家都在嘗試打破“數(shù)據(jù)必須路過大內(nèi)存體系”的單向路徑。如果你的業(yè)務(wù)是高頻調(diào)用大模型接口你會(huì)發(fā)現(xiàn)時(shí)延排序里GPU 不一定永遠(yuǎn)贏數(shù)據(jù)流芯片在低時(shí)延場(chǎng)景往往會(huì)有更好的表現(xiàn)。前提是你能接受它的生態(tài)尚未完全成熟。5. 常見質(zhì)疑與現(xiàn)實(shí)挑戰(zhàn)數(shù)據(jù)流不是萬能鑰匙5.1 是“只能做 AI”還是“暫時(shí)只做 AI”一個(gè)經(jīng)常被質(zhì)疑的點(diǎn)數(shù)據(jù)流芯片是不是只能跑神經(jīng)網(wǎng)絡(luò)的固定計(jì)算流一碰通用計(jì)算就癱瘓我理解的更準(zhǔn)確說法是數(shù)據(jù)流架構(gòu)是一種通用計(jì)算模型而不是 AI 專用硬件。任何能被表示成數(shù)據(jù)依賴圖的計(jì)算理論上都可以映射上去。只是現(xiàn)階段各家的編譯器、工具鏈都優(yōu)先把算力能力提供給 AI 算子因?yàn)檫@是市場(chǎng)最疼的點(diǎn)。你讓一個(gè)數(shù)據(jù)流芯片去跑字符串處理這種不規(guī)則的控制邏輯密集型程序編譯器很難生成高效的調(diào)度圖所以從實(shí)際效果看短期內(nèi)確實(shí)“只能做 AI”。這就像一條新修的高架快速路當(dāng)年設(shè)計(jì)時(shí)只開了到產(chǎn)業(yè)園區(qū)的出口不代表它不能修出口到市區(qū)只是眼下的車流需求決定了它先服務(wù)產(chǎn)業(yè)區(qū)。后續(xù)如果生態(tài)有精力數(shù)據(jù)流架構(gòu)做通用計(jì)算的邊界會(huì)慢慢拓寬但那個(gè)過程會(huì)非常漫長(zhǎng)。5.2 編譯器與工具鏈才是真正的硬骨頭我反復(fù)提到編譯器因?yàn)檫@個(gè)領(lǐng)域里硬件只占半壁江山。芯片廠商必須交付一個(gè)能讓開發(fā)者無縫使用的編譯工具鏈要把 PyTorch 和 ONNX 框架下的算子無縫映射到自己的數(shù)據(jù)流圖上。算子融合、內(nèi)存分配、并行調(diào)度、量化感知每一步的取舍都會(huì)直接反映在最終性能上。你說一個(gè)卷積映射到數(shù)據(jù)流陣列能跑出多高性能答案往往取決于編譯器有沒有把卷積拆成足夠合適的數(shù)據(jù)通路而不只是硬件本身。我觀察過的行業(yè)項(xiàng)目里芯片硬件團(tuán)隊(duì)常常花一年半出芯片編譯器團(tuán)隊(duì)可能還要花兩年才讓這張芯片的可用算子庫(kù)和調(diào)試體驗(yàn)達(dá)到及格線。這個(gè)時(shí)間差會(huì)直接拖慢商業(yè)落地的節(jié)奏。清微智能和 Groq 都意識(shí)到了這個(gè)問題的嚴(yán)重性投入了大量工程資源在編譯鏈路上。但作為外部觀察者我依然會(huì)把“工具鏈成熟度”當(dāng)成評(píng)估這兩家潛力的第一指標(biāo)而不是光看極致的峰值指標(biāo)。5.3 成本、制造、互聯(lián)與生態(tài)的漫長(zhǎng)戰(zhàn)斗最后說點(diǎn)更現(xiàn)實(shí)的物理和商業(yè)約束。Groq 選擇大 SRAM 來換速度和可預(yù)測(cè)性但 SRAM 單元面積遠(yuǎn)大于 DRAM同樣容量下芯片面積大、良率壓力大、成本高。跑大模型需要多卡拼起來卡間互聯(lián)成為新的性能窗口如果互聯(lián)總線和協(xié)議不夠高效所有優(yōu)勢(shì)都會(huì)被“跨芯片搬運(yùn)”吞掉。清微智能的可重構(gòu)陣列也面臨配置開關(guān)的尺寸和延時(shí)問題以及工具鏈映射不同網(wǎng)絡(luò)的復(fù)雜工程量。它瞄準(zhǔn)邊緣市場(chǎng)目標(biāo)功耗低單芯片成本控制要求高這要求芯片設(shè)計(jì)必須在“可重構(gòu)靈活性”和“面積/成本”之間找到精準(zhǔn)平衡。商業(yè)上兩家都不太可能直接“掀翻”GPU 這個(gè)龐然大物。更現(xiàn)實(shí)的路徑是在 AI 推理這個(gè) GPU 相對(duì)不擅長(zhǎng)或者功耗預(yù)算嚴(yán)苛的細(xì)分領(lǐng)域里先長(zhǎng)出幾萬個(gè)裝機(jī)量的根據(jù)地再逐步擴(kuò)展。生態(tài)的滾雪球效應(yīng)也從來不是一蹴而就當(dāng)年的 GPU 也是花了二十年才從圖形卡變成計(jì)算卡。我個(gè)人的體會(huì)是GPU 這條“單行道”短期內(nèi)不會(huì)消失但它已經(jīng)出現(xiàn)了越來越多可以被繞開的點(diǎn)。數(shù)據(jù)流架構(gòu)不是要“推翻”誰而是在 AI 推理、邊緣計(jì)算和大模型低延遲服務(wù)這些場(chǎng)景里提供一條更直接、更高效的路徑。如果你正在做 AI 部署或者芯片選型我建議你把“編譯器成熟度”和“算子覆蓋度”當(dāng)成比峰值算力更重要的指標(biāo)多去實(shí)際跑一跑業(yè)務(wù)模型再?zèng)Q定是否要入局。畢竟真正決定單行道能否被改變的不是一兩個(gè)芯片跑分而是背后那套完整的工具鏈能不能讓更多人輕松走上這條新路。