在做 AI 算力選型與集群設(shè)計時顯存不足、HBM 帶寬吃緊、多卡通信開銷高幾乎是每家做大模型訓(xùn)練團隊都會遇到的硬瓶頸。當主流方案普遍選擇“GPU HBM”組合時Cerebras 走的是一條更極端的路線不切割晶圓直接把一整塊晶圓做成一顆芯片。最近行業(yè)里討論度很高的 CS-6 正是這條路線上的又一次關(guān)鍵進化——首次把 DRAM 通過 3D 堆疊方式垂直集成到計算晶圓上。這篇文章會圍繞 CS-6 展開先講清晶圓級計算與 DRAM 工作原理再拆解“3D 堆疊垂直集成 DRAM”的技術(shù)含義以及它和傳統(tǒng) GPU HBM 方案的差異。如果你對 AI 芯片架構(gòu)、大模型算力瓶頸、存儲與計算協(xié)同這些方向感興趣這篇文章可以幫你建立一套完整的分析框架。1. 背景內(nèi)存墻與晶圓級計算1.1 為什么 AI 芯片越來越依賴存儲帶寬AI 計算和傳統(tǒng)的科學(xué)計算有一個顯著區(qū)別模型參數(shù)、中間激活值、梯度、優(yōu)化器狀態(tài)都是反復(fù)讀寫的數(shù)據(jù)。每次前向傳播要讀取權(quán)重每次反向傳播要讀取激活值并更新梯度。數(shù)據(jù)移動的能耗和延遲經(jīng)常比計算本身還高。在芯片設(shè)計里這被稱為“內(nèi)存墻”問題處理器單位時間能完成的浮點運算越來越高但數(shù)據(jù)從存儲到計算單元的速度卻跟不上。結(jié)果就是大量計算單元處于等待數(shù)據(jù)的狀態(tài)實際利用率遠低于理論峰值。這幾年大模型的參數(shù)規(guī)模從幾億漲到幾千億上下文長度也在持續(xù)拉長KV Cache 這類中間數(shù)據(jù)進一步放大了訪存壓力。單靠擴大傳統(tǒng) HBM 的容量與帶寬成本會急劇上升而物理封裝與功耗限制又讓這條路越來越難走。此時業(yè)界自然會尋找把存儲做得更靠近計算核心的方法也就是“異構(gòu) 3D 集成”和“垂直堆疊 DRAM”。1.2 晶圓級計算把一整塊晶圓做成芯片傳統(tǒng)芯片的制造流程是在一片圓形晶圓上同時制造幾十甚至上百顆相同的芯片然后切割、封裝成獨立產(chǎn)品。Cerebras 的做法完全不同它不做切割而是把整片晶圓當作一顆芯片來使用因此產(chǎn)品名里有“晶圓級引擎”Wafer Scale EngineWSE的說法。這樣做的直接收益是芯片面積大幅增加可以放下更多的計算核心和片上存儲。普通 GPU 的核心數(shù)通常在幾千到一萬級別而 WSE 系列的核心數(shù)達到數(shù)十萬甚至近百萬。核心之間通過片上互連網(wǎng)絡(luò)通信省去了傳統(tǒng)多卡場景下經(jīng)過 PCIe 或 NVLink 的跨芯片通信開銷。不過晶圓級計算也帶來非常具體的工程挑戰(zhàn)整片晶圓如何供電、如何散熱、如何保證良率、出現(xiàn)壞點時如何隔離都是過去消費級芯片不需要面對的問題。Cerebras 通過冗余設(shè)計、動態(tài)降頻、水冷散熱等方案逐步解決了這些問題也讓晶圓級芯片從概念走向了實際商用。1.3 從早期方案到 CS-6為什么說“首次垂直集成 DRAM”值得關(guān)注Cerebras 過去幾代產(chǎn)品非常依賴片上的 SRAM 作為存儲層。片上 SRAM 雖然帶寬極高、延遲極低但密度遠低于 DRAM成本也更高。隨著模型越來越大單純擴大 SRAM 容量既不經(jīng)濟也會讓晶圓功耗失控。行業(yè)普遍認為Cerebras 需要在保持晶圓級計算優(yōu)勢的同時增加一種更密集、可擴展的存儲方案。CS-6 的“首次垂直集成 DRAM”把 DRA M 層直接堆疊在計算晶圓之上意味著存儲不再只是旁邊的 HBM 顆粒而是計算層的直接鄰居。這個變化對整個 AI 芯片設(shè)計思路有啟發(fā)當 2.5D 封裝和 HBM 已經(jīng)接近帶寬密度的物理極限時3D 堆疊提供了另一條可行路徑。理解這一點是讀懂 CS-6 的關(guān)鍵。2. DRAM 工作原理讀懂 3D 堆疊的基礎(chǔ)2.1 存儲單元一個晶體管加一個電容DRAM 的英文全稱是 Dynamic Random Access Memory即動態(tài)隨機存取存儲器?！皠討B(tài)”二字來自它的存儲方式每個存儲單元由一個訪問晶體管和一個存儲電容構(gòu)成通常稱為 1T1C 結(jié)構(gòu)。電容存儲電荷電荷量的高低代表二進制 0 或 1。問題是電容會緩慢泄漏電荷。為了讓數(shù)據(jù)不丟失DRAM 必須周期性地對每個存儲單元進行“刷新”也就是檢測并恢復(fù)電荷。這個操作需要額外的時間與功耗這是 DRAM 與 SRAM 在原理上的根本差異。下面用一個很簡化的 Python 模型來展示 DRAM 存儲的基本行為# 簡化模型展示 DRAM 單元電荷與刷新關(guān)系 class DramCell: def __init__(self, initial_charge1.0): self.charge initial_charge # 1.0 表示滿電荷 def leak(self, time_step, leak_rate0.01): self.charge - leak_rate * time_step if self.charge 0.5: self.charge 0.0 # 電荷不足時讀數(shù)可能變成 0 def refresh(self): if self.charge 0.5: self.charge 1.0 else: self.charge 0.0 cell DramCell(initial_charge1.0) for t in range(10): cell.leak(time_step1) print(ft{t}, charge{cell.charge:.2f}) if cell.charge 0.8: cell.refresh() print(refresh)這段代碼只是教學(xué)演示真實 DRAM 的刷新邏輯遠比這復(fù)雜但它可以幫助理解一個核心點DRAM 是靠電容電荷存數(shù)據(jù)的電荷會泄漏所以需要刷新刷新頻率和數(shù)據(jù)保持時間之間存在權(quán)衡。2.2 行激活、列讀取與刷新機制DRAM 在讀取數(shù)據(jù)時先通過行地址選擇一條字線把這一行所有存儲單元的電荷送到靈敏度放大器上這個過程叫“行激活”。隨后列地址再從這些放大器中選中需要的列輸出數(shù)據(jù)。由于讀操作本身會改變電容電荷讀出后還需要寫回保證數(shù)據(jù)不丟失。刷新機制通常按行進行控制器會定期刷新所有行確保存儲單元不會因漏電而丟掉數(shù)據(jù)。溫度升高會加快漏電速度所以高功耗環(huán)境下 DRAM 的刷新壓力會顯著增加。這也是 3D 堆疊 DRAM 需要特別關(guān)注散熱的原因之一。2.3 DRAM 與 SRAM 的取舍SRAM 用觸發(fā)器保存數(shù)據(jù)不需要刷新速度快但單元面積大。DRAM 單元結(jié)構(gòu)簡單、密度高、成本低但延遲更高并且需要刷新。計算芯片通常把 SRAM 作為 Cache 和寄存器組使用而把 DRAM 作為主存。在 AI 芯片里片上 SRAM 可以給計算核心提供超大帶寬但容量受限外部 DRAM 容量大但需要通過復(fù)雜封裝和總線訪問延遲明顯增加。CS-6 提出“垂直集成 DRAM”本質(zhì)上是在 SRAM 的帶寬優(yōu)勢和 DRAM 的密度優(yōu)勢之間尋找一個更好的平衡點。3. CS-6 首次垂直集成 DRAM3D 堆疊的關(guān)鍵變化3.1 垂直堆疊解決了什么問題傳統(tǒng)方案中無論用 DDR 內(nèi)存條還是 HBM存儲芯片都和被訪問的計算芯片處在同一個封裝平面上或者通過主板走線連接。隨著距離拉長信號傳輸延遲和單位比特的功耗都會上升。所謂“垂直集成 DRAM”就是把 DRAM 層直接堆疊在計算晶圓的上方或下方兩層之間通過硅通孔或混合鍵合進行垂直互連。信號從計算核心到存儲單元的距離被壓縮到幾微米到幾十微米而不是傳統(tǒng)封裝中的幾百微米甚至幾毫米。這種近距離的優(yōu)勢主要體現(xiàn)在三個方面互連密度大幅提升單個通道未必需要跑極高的頻率也能獲得很高的總帶寬。數(shù)據(jù)路徑變短訪問延遲下降。單位比特的 IO 功耗減少對功耗密集的 AI 芯片尤其友好。3.2 3D 堆疊的互連方式TSV 與混合鍵合實現(xiàn) 3D 堆疊有兩種主流互連方式。一種是通過硅通孔在晶圓上刻出貫穿硅片的垂直導(dǎo)電通道把上下層連接起來另一種是混合鍵合利用銅焊盤實現(xiàn)微米級間距的高密度連接。對于 CS-6 這種超大晶圓來說TSV 是更現(xiàn)實的路徑因為整片晶圓的面積很大需要大量的供電和信號通路。TSV 的直徑和間距決定了信號密度而混合鍵合則更多用于小尺寸芯片堆疊比如 CMOS 圖像傳感器和部分 HBM 的未來方案?；ミB方式直接決定了 3D 堆疊的帶寬上限。過去 2.5D 封裝中HBM 通過硅中介層與計算芯片連接帶寬受限于中介層走線與引腳數(shù)量而 3D 堆疊可以直接用成千上萬個垂直互連點把計算層和存儲層“縫”在一起。3.3 “垂直集成 DRAM”與“封裝貼 DRAM”的區(qū)別很多人會把 3D 堆疊 DRAM 和 HBM 混為一談但兩者有本質(zhì)區(qū)別。HBM 是把多個 DRAM die 垂直堆疊起來然后通過硅中介層放在 GPU 或 AI 芯片旁邊屬于 2.5D 封裝思路。它仍然需要通過中介層和基板完成信號傳輸。垂直集成 DRAM 則是把存儲層疊在計算層正上方或正下方兩層之間沒有中介層信號路徑垂直穿越屬于真正的 3D 集成。這不僅是物理排列的變化還意味著芯片設(shè)計、供電方式、散熱路徑和測試策略都要重新設(shè)計。用一張表格可以更清楚地看出差別方案存儲與計算位置互連方式典型場景HBM并列放在中介層上硅中介層 TSVGPU、AI 加速卡垂直堆疊 DRAM直接疊在計算層上下垂直 TSV / 混合鍵合晶圓級 AI 芯片DDR/LPDDR通過主板布線連接PCB 走線CPU 主存、嵌入式從技術(shù)演進看垂直堆疊 DRAM 是比 HBM 更“激進”的一步它把存儲和計算從“鄰居關(guān)系”變成了“上下層關(guān)系”。4. 技術(shù)架構(gòu)對比CS-6 與 GPU HBM 路線4.1 兩種架構(gòu)的訪存路徑差異GPU HBM 方案中計算核心訪問片上 L2 CacheL2 再通過中介層訪問 HBM。HBM 與 GPU 的距離已經(jīng)比傳統(tǒng)顯存近很多但依然存在跨封裝、跨互連的開銷。CS-6 的垂直集成 DRAM 方案里計算層與 DRAM 層直接堆疊訪問路徑縮短到垂直距離。更重要的是垂直互連可以在整片晶圓上分布而不像 HBM 只能通過有限的對外接口訪問。這種“分布式訪問”能力對大模型訓(xùn)練里的高并發(fā)訪問非常有利。4.2 帶寬、容量與功耗的權(quán)衡HBM 目前能提供很高的帶寬但容量受堆疊層數(shù)和封裝尺寸限制單顆 HBM 的容量通常在 16GB 到 32GB 級別需要通過多顆組合才能滿足大模型需求。多顆 HBM 帶來的功耗與成本也相當可觀。垂直集成 DRAM 的優(yōu)勢在于DRAM 層可以直接覆蓋在整個計算晶圓之上可用存儲面積遠大于芯片周邊能放置 HBM 的物理空間。如果良率和散熱問題得到解決理論上可以獲得遠超當前 GPU 方案的容量和帶寬。功耗方面近距離互連能顯著降低每比特傳輸能耗但 3D 堆疊會讓發(fā)熱密度集中在狹小空間里。DRAM 對溫度敏感高溫會加快漏電、縮短數(shù)據(jù)保持時間因此散熱設(shè)計是決定垂直集成 DRAM 能否量產(chǎn)的關(guān)鍵。4.3 適合的工作負載類型GPU HBM 方案在通用 AI 訓(xùn)練和推理生態(tài)上非常成熟適合各類模型、各類開發(fā)者。Cerebras 的晶圓級方案更適合超大模型訓(xùn)練、需要極高帶寬和低通信延遲的場景。如果 CS-6 的垂直集成 DRAM 容量足夠大、帶寬足夠高它能有效減少模型并行帶來的通信壓力因為更多參數(shù)和數(shù)據(jù)可以直接放在同一顆芯片上無需頻繁跨卡同步。對于大規(guī)模生成式模型訓(xùn)練這是一個非常吸引人的優(yōu)勢。但我們也應(yīng)該看到軟件生態(tài)和靈活性仍然是晶圓級方案的短板。GPU 的 CUDA 生態(tài)積累多年而 Cerebras 的編譯器與運行時棧需要模型開發(fā)者和框架適配這一點在短期內(nèi)很難拉開差距。5. 工程挑戰(zhàn)與制造難點5.1 大尺寸晶圓的翹曲與對準晶圓級芯片本身尺寸就很大要在這樣的表面上再堆疊一層 DRAM 晶圓對準精度是極大的挑戰(zhàn)。多層堆疊時上下層之間的熱膨脹系數(shù)差異會產(chǎn)生翹曲和應(yīng)力導(dǎo)致對準偏移。解決這類問題通常需要在材料選擇、晶圓減薄、鍵合溫度曲線和支撐結(jié)構(gòu)上做大量優(yōu)化。任何微小的形變都會影響到數(shù)以萬計的 TSV 互連點所以良率控制是 CS-6 量產(chǎn)的最大不確定因素之一。5.2 散熱與功耗密度計算層與存儲層堆疊在一起后熱量更難散發(fā)。與傳統(tǒng) 2.5D 封裝不同散熱不再只是把熱量從芯片表面帶走還要考慮層與層之間的熱傳導(dǎo)路徑。DRAM 的刷新需求會隨溫度上升而增加如果堆疊區(qū)域散熱不足可能出現(xiàn)“溫度升高→刷新頻率提高→功耗增加→溫度繼續(xù)升高”的惡性循環(huán)。因此 CS-6 大概率需要在散熱結(jié)構(gòu)上做專門設(shè)計例如在堆疊層之間預(yù)留冷卻通道或采用特殊的導(dǎo)熱材料。5.3 測試、修復(fù)與可維護性芯片測試在堆疊完成后進行如果只有部分 TSV 連接失敗可能需要通過冗余通路進行替換。Cerebras 在單晶圓上已經(jīng)積累了不少壞點隔離經(jīng)驗但 3D 堆疊讓測試復(fù)雜度進一步上升。在運維層面整顆晶圓級芯片出現(xiàn)故障時很難像普通 GPU 服務(wù)器那樣單卡替換。因此系統(tǒng)級的冗余設(shè)計、故障隔離和在線降級能力會變得更加重要這也是把 3D 堆疊從樣品變成可商用產(chǎn)品必須跨越的鴻溝。6. 對 AI 基礎(chǔ)設(shè)施的潛在影響6.1 大模型訓(xùn)練的存儲瓶頸緩解當前訓(xùn)練千億級參數(shù)模型單卡 GPU 顯存放不下完整權(quán)重需要張量并行、流水線并行、ZeRO 等策略把模型切分到多卡上。切分得越細通信開銷越大。如果 CS-6 能通過垂直集成 DRAM 提供足夠大的近端存儲那么更多參數(shù)可以在單片芯片內(nèi)保存減少跨芯片通信次數(shù)。對超大規(guī)模訓(xùn)練集群來說這意味著更高的有效計算時間占比也意味著更簡單的并行策略設(shè)計。6.2 推理場景的帶寬收益推理階段同樣受益。大模型推理時每生成一個 token 都需要掃描全部 KV CacheKV Cache 量大時訪存延遲直接決定生成速度。把更多 KV Cache 放到靠近計算核心的 DRAM 層能顯著降低單 token 生成延遲。從這個角度看垂直集成 DRAM 不只是面向訓(xùn)練對在線推理服務(wù)也很有價值。如果未來大模型上下文長度繼續(xù)增加能裝下更多 KV Cache 的芯片會具備更好的性價比。6.3 軟件生態(tài)與開發(fā)范式硬件架構(gòu)發(fā)生大變化軟件也必須跟上。3D 堆疊 DRAM 的內(nèi)存層次、訪存模型和顯式管理方式跟傳統(tǒng)的內(nèi)存模型不同。開發(fā)者可能需要顯式分配“近存儲”與“遠存儲”的布局編譯器也需要更智能地進行數(shù)據(jù)放置。Cerebras 的軟件棧在近幾年持續(xù)完善但要吸引更多主流框架開發(fā)者還需要提供易用的高層接口。對于普通算法工程師可能更關(guān)心的是“把 PyTorch 代碼跑上去需要改多少”而不是底層 TSV 有多密。7. 總結(jié)與后續(xù)觀察方向從 WSE 到 CS-6Cerebras 一直在挑戰(zhàn)芯片制造與封裝的傳統(tǒng)邊界。垂直集成 DRAM 只是一系列變化中的一環(huán)但它的意義是標志性的它首次在晶圓級計算中把 DRAM 真正“疊”到了計算核心上而不只是放在旁邊。想跟進這個領(lǐng)域可以從幾個維度持續(xù)觀察第一官方公布的 TSV 互連密度和總存儲帶寬第二良率與散熱方案的公開細節(jié)第三主流框架對晶圓級平臺的適配進度第四實際客戶在訓(xùn)練和推理場景中的公開基準。如果這幾個指標都能達到預(yù)期晶圓級計算很可能會從“小眾路線”變成大模型算力基礎(chǔ)設(shè)施中的一個重要選項。