晶圓級(jí)芯片算力再好看最終都是被I/O拖死的。這句話(huà)不是夸張。最近幾年只要提到超大AI加速芯片繞不開(kāi)“晶圓級(jí)”這個(gè)詞——把一整片晶圓做成一個(gè)計(jì)算芯片而不是切成幾十個(gè)小die。聽(tīng)起來(lái)很美幾十萬(wàn)個(gè)AI核巨大緩存超大片上SRAM。但真到了實(shí)際部署你會(huì)發(fā)現(xiàn)一個(gè)非?，F(xiàn)實(shí)的矛盾計(jì)算可以鋪滿(mǎn)一整片硅片數(shù)據(jù)卻只能從芯片邊緣進(jìn)出。I/O帶寬成了那種平時(shí)不顯眼、一旦跑真實(shí)負(fù)載就立刻卡死你的因素。我去年參與評(píng)估過(guò)類(lèi)似架構(gòu)的加速器第一輪跑出來(lái)峰值算力確實(shí)漂亮但一換到真實(shí)模型吞吐率掉得厲害。后來(lái)定位了很久問(wèn)題不在矩陣計(jì)算也不在內(nèi)核調(diào)度而在I/O——數(shù)據(jù)喂不進(jìn)去計(jì)算陣列只能空轉(zhuǎn)。這個(gè)經(jīng)歷讓我意識(shí)到晶圓級(jí)芯片真正的評(píng)價(jià)錨點(diǎn)不是算力而是它怎么組織數(shù)據(jù)進(jìn)出。下面把這個(gè)問(wèn)題拆開(kāi)聊。1. 晶圓級(jí)芯片為什么會(huì)在I/O這里被卡住1.1 算力越堆越高數(shù)據(jù)卻進(jìn)不去先看一個(gè)常識(shí)單個(gè)芯片的計(jì)算密度可以隨著制造工藝和集成方式暴漲但數(shù)據(jù)進(jìn)出芯片的端口密度受封裝、面板、基板、pin腳間距限制。晶圓級(jí)芯片是把幾百個(gè)die拼一起計(jì)算核心數(shù)動(dòng)輒幾十萬(wàn)但外部連接只有芯片邊緣的那一圈pad加上封裝基板的布線(xiàn)層。無(wú)論內(nèi)部多強(qiáng)外部數(shù)據(jù)吞吐的天花板遠(yuǎn)低于內(nèi)部計(jì)算需求。舉個(gè)例子用最簡(jiǎn)單的比例理解假設(shè)一片晶圓級(jí)芯片內(nèi)部有10萬(wàn)個(gè)計(jì)算單元每個(gè)單元每個(gè)時(shí)鐘周期需要從片上存儲(chǔ)器讀取幾百字節(jié)數(shù)據(jù)內(nèi)部設(shè)計(jì)可以做到很高帶寬。但如果這些數(shù)據(jù)都需要從芯片外部進(jìn)入外部I/O總帶寬可能只有片上帶寬的百分之一甚至千分之一。這意味著絕大多數(shù)計(jì)算單元必須依賴(lài)片上緩存反復(fù)復(fù)用數(shù)據(jù)一旦緩存局部性不好就會(huì)暴露外部帶寬缺口。所以晶圓級(jí)芯片的I/O瓶頸本質(zhì)上是一個(gè)“面積與周長(zhǎng)”的矛盾。算力與存儲(chǔ)可以平均分布在整個(gè)二維平面但外部通信只能從邊界進(jìn)出。面積增長(zhǎng)是平方關(guān)系周長(zhǎng)只是線(xiàn)性關(guān)系。即使整片晶圓的面積比普通芯片大幾十倍也只是把可用的I/O總帶寬增加了幾倍遠(yuǎn)達(dá)不到算力增長(zhǎng)的幅度。1.2 帶寬瓶頸不是簡(jiǎn)單多放幾個(gè)引腳就能解決有人會(huì)說(shuō)那我把芯片周?chē)膒ad做密一點(diǎn)不就有更多I/O了嗎沒(méi)那么簡(jiǎn)單。芯片I/O帶寬受幾個(gè)環(huán)節(jié)同時(shí)制約。首先是封裝基板芯片pad信號(hào)要通過(guò)基板走線(xiàn)扇出到球柵陣列走線(xiàn)層數(shù)和線(xiàn)寬決定了信號(hào)密度。晶圓級(jí)芯片尺寸巨大基板相應(yīng)也要大翹曲、熱膨脹、信號(hào)完整性都會(huì)變差。其次高速串行接口需要大量電源引腳和地引腳配對(duì)單純?cè)黾有盘?hào)引腳會(huì)引入串?dāng)_和電源噪聲。第三更實(shí)際的問(wèn)題在功耗每一路高速SerDes串行器/解串器都要消耗幾瓦甚至幾十瓦晶圓級(jí)芯片本身功耗已經(jīng)非常高再堆大量高速I(mǎi)/O熱密度會(huì)先擊穿系統(tǒng)。因此I/O瓶頸不是“硬件設(shè)計(jì)時(shí)少加了幾根線(xiàn)”的問(wèn)題而是從物理、封裝到功耗都受到約束的系統(tǒng)性問(wèn)題。這也是為什么晶圓級(jí)芯片常采用特殊設(shè)計(jì)來(lái)回避I/O壓力而不是硬懟引腳數(shù)量。2. 拆開(kāi)看看I/O帶寬瓶頸到底卡在哪幾層2.1 封裝物理極限引腳數(shù)量、扇出和信號(hào)完整性普通工藝下芯片pad pitch在4080微米量級(jí)晶圓級(jí)芯片如果要兼容標(biāo)準(zhǔn)封裝pad數(shù)要控制在合理范圍。假設(shè)一片芯片的邊長(zhǎng)大約220毫米300mm晶圓直徑四邊利用率假設(shè)只有70%即使按50微米pitch算可用pad數(shù)量也只是十萬(wàn)到二十萬(wàn)量級(jí)。每個(gè)pad如果跑2Gbps甚至5Gbps理論上I/O可以到數(shù)百Gbps到數(shù)Tbps。但別忘記這需要大量的差分對(duì)、電源、地、冗余實(shí)際可用差分信號(hào)對(duì)數(shù)會(huì)少一個(gè)數(shù)量級(jí)。更重要的是信號(hào)完整性。晶圓級(jí)芯片封裝基板的尺寸大走線(xiàn)長(zhǎng)阻抗控制難引腳之間的串?dāng)_和損耗更明顯。如果盲目增加I/O數(shù)量信號(hào)質(zhì)量下降誤碼率上升最終有效帶寬可能不升反降。所以設(shè)計(jì)上通常要留出足夠的信噪比預(yù)算有些方案寧可降低接口速率也不犧牲誤碼率。從工程經(jīng)驗(yàn)看封裝層面的I/O優(yōu)化空間是有限的除非走向更先進(jìn)的封裝技術(shù)例如co-packaged optics共封裝光學(xué)或硅光互連。但這些技術(shù)目前成本高良率挑戰(zhàn)大距離大規(guī)模商用還有距離。2.2 功耗墻SerDes功耗與帶寬不成線(xiàn)性I/O鏈路每提升一個(gè)檔次的速率在相同調(diào)制技術(shù)下功耗/bit并不會(huì)等比例下降。到56Gbps PAM4或112Gbps PAM4時(shí)代單通道功耗可以達(dá)到500mW1.5W這還只是PHY功耗不含編碼和協(xié)議處理。晶圓級(jí)芯片如果要追求50Tbps甚至100Tbps的外部I/O帶寬光是PHY功耗就可能占滿(mǎn)整個(gè)芯片功耗預(yù)算的相當(dāng)大比例。計(jì)算芯片的功耗早就被熱管理制約晶圓級(jí)芯片更是如此。之前不少AI加速器為了達(dá)到較高帶寬采用HBM堆疊但HBM每個(gè)堆棧的IO功耗也在幾十瓦量級(jí)。如果用戶(hù)需要更多HBM堆棧功耗自然上漲而高帶寬存儲(chǔ)堆棧本身就制造了新的熱源還會(huì)加重封裝散熱負(fù)擔(dān)。因此晶圓級(jí)芯片設(shè)計(jì)不得不在I/O帶寬、存儲(chǔ)帶寬和功耗之間做取舍。很多廠(chǎng)商給出的峰值I/O帶寬往往是理論最大值真實(shí)部署時(shí)受功耗限制后能用的要打折扣。2.3 外部存儲(chǔ)帶寬HBM 數(shù)量、堆疊層數(shù)和熱密度晶圓級(jí)芯片計(jì)算速度很快存儲(chǔ)系統(tǒng)如果跟不上就會(huì)出現(xiàn)“數(shù)據(jù)饑渴”。目前主流高帶寬存儲(chǔ)是HBM2e、HBM3甚至HBM3e。單顆HBM3e的帶寬可以達(dá)到1.2TB/s以上但這只是存儲(chǔ)堆棧本身的接口帶寬連接HBM與計(jì)算芯片的Interposer/Silicon Bridge以及基板通道也是瓶頸。多個(gè)HBM堆棧并排放在晶圓級(jí)芯片周?chē)€會(huì)占據(jù)大量封裝面積和布線(xiàn)資源。我們經(jīng)?？吹揭恍┬麄魑陌笇?xiě)“HBM總帶寬達(dá)到xx TB/s”但實(shí)際使用時(shí)還要看存儲(chǔ)控制器的調(diào)度能力、讀寫(xiě)混比、訪(fǎng)問(wèn)模式和數(shù)據(jù)分布。HBM本質(zhì)上是一個(gè)共享資源如果不同計(jì)算核同時(shí)訪(fǎng)問(wèn)不同堆棧地址映射和路由可能造成沖突實(shí)際帶寬遠(yuǎn)低于理論值。晶圓級(jí)芯片為了減少對(duì)外部存儲(chǔ)的依賴(lài)通常會(huì)把大量SRAM直接集成在die內(nèi)形成巨大的片上緩存。這確實(shí)是一個(gè)聰明的方向與其把大量數(shù)據(jù)放在外部存儲(chǔ)不如抬高數(shù)據(jù)局部性減少跨芯片和跨存儲(chǔ)層的數(shù)據(jù)搬移。但代價(jià)是片上SRAM容量和面積受限應(yīng)用程序如果無(wú)法復(fù)用數(shù)據(jù)還是有大量數(shù)據(jù)需要通過(guò)外部存儲(chǔ)接口而外部存儲(chǔ)帶寬又受HBM堆棧數(shù)量、封裝布線(xiàn)和功耗的聯(lián)合約束。2.4 片內(nèi)互連晶圓級(jí)片上網(wǎng)絡(luò)也有帶寬和延遲約束晶圓級(jí)芯片不是幾十個(gè)核的小系統(tǒng)而是幾十萬(wàn)個(gè)核的超級(jí)網(wǎng)格。片內(nèi)互連網(wǎng)絡(luò)片上網(wǎng)絡(luò)的帶寬、跳數(shù)、路由策略一樣影響數(shù)據(jù)供給。如果片內(nèi)數(shù)據(jù)網(wǎng)絡(luò)沒(méi)有足夠的臂展帶寬即使數(shù)據(jù)已經(jīng)到了芯片邊緣也無(wú)法快速送到目標(biāo)計(jì)算單元。片內(nèi)互連的瓶頸更多體現(xiàn)在扇出和功耗上每條長(zhǎng)距離連線(xiàn)都需要中繼器(buffer)會(huì)消耗功耗和面積。把幾百個(gè)die連接起來(lái)的跨die總線(xiàn)需要穿過(guò)硅中介層或通過(guò)微橋連接跨die通信的延遲和功耗遠(yuǎn)高于die內(nèi)部。如果路由算法沒(méi)有把數(shù)據(jù)盡量控制在同一個(gè)die或鄰近die那么大量跨die流量會(huì)造成片上網(wǎng)絡(luò)擁塞拖累整體吞吐。這也是為什么說(shuō)I/O瓶頸不僅指芯片外部接口還包括芯片內(nèi)部的數(shù)據(jù)分發(fā)路徑。3. 繞開(kāi)瓶頸的工程思路從硬件到軟件協(xié)同3.1 存儲(chǔ)近計(jì)算把數(shù)據(jù)放在計(jì)算單元邊上晶圓級(jí)芯片最大的結(jié)構(gòu)優(yōu)勢(shì)其實(shí)是巨大的片上SRAM。設(shè)計(jì)上應(yīng)該盡量讓數(shù)據(jù)在片上多復(fù)用把外部存儲(chǔ)和外部I/O當(dāng)作最后的數(shù)據(jù)源而不是每次計(jì)算都去搬數(shù)據(jù)。具體做法包括使用較大的一級(jí)/二級(jí)緩存并在運(yùn)行時(shí)做顯式的數(shù)據(jù)分塊tiling讓每次從外部HBM讀入的數(shù)據(jù)塊能在片上停留足夠長(zhǎng)時(shí)間完成多輪計(jì)算后再寫(xiě)回。這有點(diǎn)像CPU的寄存器分塊和緩存優(yōu)化但在晶圓級(jí)芯片上緩存容量可以非常大優(yōu)化的空間也大。如果你的應(yīng)用屬于卷積、Transformer推理或矩陣乘法這類(lèi)經(jīng)典算子可以通過(guò)分塊策略做到高數(shù)據(jù)復(fù)用減少到外部存儲(chǔ)的數(shù)據(jù)流量。但如果你的應(yīng)用是圖神經(jīng)網(wǎng)絡(luò)、稀疏推理、隨機(jī)訪(fǎng)問(wèn)較多的業(yè)務(wù)局部性很差片上緩存的命中率會(huì)低I/O瓶頸就會(huì)暴露得更明顯。3.2 片內(nèi)互連的層級(jí)設(shè)計(jì)減少跨片流量晶圓級(jí)芯片如果由多個(gè)die拼接而成那么die之間的互聯(lián)帶寬就成了隱藏瓶頸。工程上有一個(gè)樸素的設(shè)計(jì)原則數(shù)據(jù)盡量在核組compute cluster內(nèi)部流動(dòng)避免跨die長(zhǎng)距離路由。具體可以這樣做在體系結(jié)構(gòu)層面把計(jì)算核按物理位置分區(qū)任務(wù)與數(shù)據(jù)映射盡量采用分區(qū)分片的策略。在通信庫(kù)和編譯器層面盡可能把對(duì)相同數(shù)據(jù)的訪(fǎng)問(wèn)調(diào)度到同一個(gè)die上的核減少跨die同步。如果不得不跨die通信優(yōu)先使用靠近數(shù)據(jù)源的局部網(wǎng)絡(luò)而不是全芯片統(tǒng)一路由。這類(lèi)方法不一定寫(xiě)入芯片說(shuō)明書(shū)但在實(shí)際程序調(diào)優(yōu)時(shí)非常有效。我見(jiàn)過(guò)很多晶圓級(jí)加速器的性能問(wèn)題最后都?xì)w結(jié)為“通信局部性差”數(shù)據(jù)在片上網(wǎng)絡(luò)繞了很長(zhǎng)的路把有效帶寬消耗在路由擁塞上。3.3 數(shù)據(jù)壓縮與稀疏化讓有效帶寬翻倍I/O帶寬緊張除了想方設(shè)法增加物理帶寬還可以減少傳輸?shù)臄?shù)據(jù)量。這一點(diǎn)在深度學(xué)習(xí)場(chǎng)景里尤其有效。對(duì)權(quán)重、激活值做量化從FP32降到INT8甚至INT4數(shù)據(jù)量直接除以4或8。對(duì)梯度做稀疏化只傳輸非零梯度或top-k梯度大幅度降低通信量。對(duì)中間特征做無(wú)損或有損壓縮很多AI框架里的通信庫(kù)已經(jīng)支持梯度壓縮晶圓級(jí)芯片的SDK也往往提供類(lèi)似能力。壓縮不是免費(fèi)的解壓和壓縮需要額外計(jì)算資源還會(huì)引入延遲。通常在芯片端到端總帶寬已接近極限時(shí)壓縮的收益會(huì)大于消耗。實(shí)際工程里可以先做profiling看看當(dāng)前任務(wù)的片上總流量和有效利用率再?zèng)Q定是否引入壓縮或稀疏化。3.4 運(yùn)行時(shí)調(diào)度和流水線(xiàn)重疊把等待時(shí)間變成計(jì)算時(shí)間很多I/O瓶頸不是硬件接口不夠快而是任務(wù)調(diào)度沒(méi)有把數(shù)據(jù)加載和計(jì)算重疊起來(lái)。思路很簡(jiǎn)單如果計(jì)算需要的數(shù)據(jù)還在路上就讓計(jì)算單元先處理已經(jīng)在緩存里的下一批數(shù)據(jù)形成“數(shù)據(jù)加載-計(jì)算-寫(xiě)回”流水線(xiàn)。這套做法在傳統(tǒng)HPC里叫overlap communication and computation在晶圓級(jí)芯片上同樣適用。硬件上需要異步數(shù)據(jù)搬運(yùn)引擎DMA、copy engine軟件上需要任務(wù)切分和預(yù)取機(jī)制。如果你使用的SDK支持異步數(shù)據(jù)流建議用它替代同步接口。否則計(jì)算單元會(huì)在緩存未命中時(shí)空轉(zhuǎn)表現(xiàn)出的有效帶寬遠(yuǎn)低于硬件能力。流水線(xiàn)重疊還會(huì)改變排障思路很多“帶寬不夠”的問(wèn)題其實(shí)是同步等待過(guò)多而非接口物理帶寬真的耗盡。先用profiler看時(shí)間線(xiàn)如果發(fā)現(xiàn)計(jì)算和拷貝沒(méi)有重疊那優(yōu)先去優(yōu)化調(diào)度而不是買(mǎi)更貴的硬件。4. 如果要在真實(shí)項(xiàng)目中評(píng)估和驗(yàn)證I/O帶寬4.1 一個(gè)可參考的評(píng)估流程評(píng)估晶圓級(jí)芯片的I/O能力不要只看宣傳PPT建議按下面四步走確定負(fù)載特征。先明確跑什么類(lèi)型的算子/模型訪(fǎng)存密集還是計(jì)算密集數(shù)據(jù)復(fù)用度如何。計(jì)算密集、復(fù)用度高的模型I/O壓力相對(duì)小訪(fǎng)存密集、隨機(jī)訪(fǎng)問(wèn)多的模型I/O壓力大。用同一套真實(shí)負(fù)載構(gòu)建基準(zhǔn)。選取至少兩個(gè)模型一個(gè)高數(shù)據(jù)復(fù)用一個(gè)低數(shù)據(jù)復(fù)用。分別記錄單batch和連續(xù)batch的吞吐。分析瓶頸位置。用profiler查看計(jì)算單元利用率、緩存命中率、I/O隊(duì)列深度、PCIe/HBM鏈路利用率。如果計(jì)算單元利用率低但I(xiàn)/O鏈路已經(jīng)拉滿(mǎn)那就是I/O瓶頸。做壓力測(cè)試。逐步增加并發(fā)和batch size觀(guān)察有效帶寬是否先于計(jì)算能力飽和。畫(huà)一條帶寬利用率-計(jì)算量曲線(xiàn)能直觀(guān)看出系統(tǒng)在什么位置進(jìn)入拐點(diǎn)。這套流程能幫助你區(qū)分“計(jì)算瓶頸”“存儲(chǔ)瓶頸”和“I/O瓶頸”避免把問(wèn)題簡(jiǎn)單歸結(jié)為“帶寬不夠”。4.2 常見(jiàn)誤區(qū)單看峰值帶寬不看實(shí)際可達(dá)帶寬很多人比較不同加速器時(shí)直接看“I/O帶寬”數(shù)字比如“芯片到外部接口帶寬為20TB/s”或“HBM帶寬為4TB/s”。但這些數(shù)字和真實(shí)可達(dá)帶寬差距很大。實(shí)際可達(dá)帶寬需要扣除編碼開(kāi)銷(xiāo)、協(xié)議開(kāi)銷(xiāo)、讀寫(xiě)切換開(kāi)銷(xiāo)、訪(fǎng)問(wèn)沖突和刷新開(kāi)銷(xiāo)。以PCIe為例說(shuō)128GT/s的PCIe有效數(shù)據(jù)帶寬通常只有八成左右HBM也有類(lèi)似情況如果全部讀或全部寫(xiě)也許能接近峰值但讀混寫(xiě)時(shí)會(huì)掉很多。所以在評(píng)估時(shí)要問(wèn)清楚官方數(shù)字是單向峰值還是雙向總和是物理層速率還是有效數(shù)據(jù)速率是否包含糾錯(cuò)碼ECC開(kāi)銷(xiāo)這些細(xì)節(jié)直接決定了你對(duì)I/O能力的判斷是否準(zhǔn)確。4.3 排查鏈路從鏈路、協(xié)議、驅(qū)動(dòng)、拓?fù)涞截?fù)載如果實(shí)際I/O帶寬明顯低于預(yù)期建議按下面的順序排查先看物理鏈路。接口是否工作在預(yù)期速率信號(hào)完整性是否達(dá)標(biāo)誤碼率是否正常。鏈路可能因?yàn)椴季€(xiàn)長(zhǎng)度、連接器質(zhì)量、供電噪聲降速。再看協(xié)議層。檢查是否有握手超時(shí)、重傳、流控反壓。統(tǒng)計(jì)協(xié)議層面的事件比如NAK、重傳次數(shù)這是排查隱藏性能損失的好入口。再看驅(qū)動(dòng)和系統(tǒng)層。DMA緩沖是不是分配在不可訪(fǎng)問(wèn)區(qū)域中斷處理是否頻繁頁(yè)大小和內(nèi)存鎖頁(yè)是否影響內(nèi)核和用戶(hù)態(tài)之間的數(shù)據(jù)拷貝這些問(wèn)題經(jīng)常被忽略。再看拓?fù)浜吐酚?。?shù)據(jù)訪(fǎng)問(wèn)路徑上是否有擁塞節(jié)點(diǎn)比如多個(gè)核爭(zhēng)搶同一個(gè)I/O通道或同一個(gè)HBM堆棧。有些問(wèn)題在你驗(yàn)證初期不會(huì)出現(xiàn)擴(kuò)容后才暴露。最后才回到負(fù)載本身。訪(fǎng)問(wèn)模式是否隨機(jī)、是否存在大量小指令寫(xiě)、是否頻繁切換讀/寫(xiě)方向。不要直接懷疑硬件標(biāo)注錯(cuò)了。絕大多數(shù)“帶寬不達(dá)標(biāo)”的現(xiàn)象最終都能在協(xié)議層、驅(qū)動(dòng)映射或者負(fù)載特征中找到原因。4.4 這類(lèi)方案適合誰(shuí)不適合誰(shuí)晶圓級(jí)芯片在I/O上天然有挑戰(zhàn)但它依然適合特定場(chǎng)景需要超大片上緩存、超強(qiáng)算力且數(shù)據(jù)復(fù)用度極高的蜜罐型負(fù)載比如大規(guī)模稀疏模型訓(xùn)練、Transformer推理、科學(xué)計(jì)算中的某些結(jié)構(gòu)化網(wǎng)格計(jì)算。這類(lèi)負(fù)載的核心收益來(lái)自“大量計(jì)算在片上完成減少外部I/O流量”。不適合的場(chǎng)景包括訪(fǎng)問(wèn)模式高度隨機(jī)、數(shù)據(jù)量遠(yuǎn)超片上容量、無(wú)法做數(shù)據(jù)分塊的負(fù)載。比如某些圖計(jì)算或數(shù)據(jù)庫(kù)查詢(xún)大量數(shù)據(jù)需要從外部存儲(chǔ)隨機(jī)讀取片上放不下外部I/O一旦成為瓶頸晶圓級(jí)芯片可能反而不如多個(gè)小芯片并聯(lián)靈活。因此選擇這類(lèi)方案前先算一算“擬算法的算術(shù)強(qiáng)度”和“數(shù)據(jù)復(fù)用度”。如果算術(shù)強(qiáng)度很低數(shù)據(jù)復(fù)用度不高I/O壓力必然很大晶圓級(jí)芯片的優(yōu)勢(shì)會(huì)大打折扣。這也是為什么有些通用加速器團(tuán)隊(duì)評(píng)估完晶圓級(jí)芯片后選擇放棄不是因?yàn)樾酒缓枚且驗(yàn)樨?fù)載不匹配。另一個(gè)需要關(guān)注的邊界是軟件生態(tài)。晶圓級(jí)芯片的編程模型通常與傳統(tǒng)GPU或CPU有很大差異很多算子的實(shí)現(xiàn)需要重新編寫(xiě)。如果團(tuán)隊(duì)沒(méi)有足夠精力做深度移植和優(yōu)化那么再大的內(nèi)部算力也體現(xiàn)不出來(lái)。這個(gè)問(wèn)題比I/O硬件瓶頸更隱性也更容易導(dǎo)致項(xiàng)目延期。說(shuō)到底晶圓級(jí)芯片的I/O帶寬問(wèn)題不是一道簡(jiǎn)單的“增加I/O接口”題而是封裝、功耗、存儲(chǔ)、互連和軟件調(diào)度共同作用的系統(tǒng)設(shè)計(jì)課題。評(píng)估任何這類(lèi)加速器時(shí)我都建議把“峰值算力”放在一邊先去問(wèn)一個(gè)問(wèn)題這套系統(tǒng)能夠穩(wěn)定維持的、真實(shí)負(fù)載下的有效I/O帶寬是多少只有把這個(gè)數(shù)字摸清楚你才算真正看懂了一臺(tái)晶圓級(jí)芯片。如果你正在考慮采購(gòu)或使用這類(lèi)方案我的建議是別急著跑大模型先拿一個(gè)訪(fǎng)存密集、數(shù)據(jù)復(fù)用低的小測(cè)試程序探底。這個(gè)小程序跑出來(lái)的實(shí)際帶寬往往比幾百頁(yè)的架構(gòu)白皮書(shū)更能說(shuō)明問(wèn)題。晶圓級(jí)芯片的潛力是真實(shí)的但它的I/O邊界也是真實(shí)的。那些在邊界之內(nèi)妥善設(shè)計(jì)的人和團(tuán)隊(duì)才有機(jī)會(huì)獲得真正的收益。