在芯片后端設(shè)計(jì)流程中電源簽核Power Signoff是流片Tapeout前最耗時(shí)的環(huán)節(jié)之一。一顆復(fù)雜 SoC 的全芯片電源網(wǎng)絡(luò)分析往往要跑好幾周才能出結(jié)果一旦 IR Drop 或 EM 違反要求修改后又要重新來(lái)一輪整個(gè)項(xiàng)目排期被拖得很緊。本文想結(jié)合這類(lèi)真實(shí)痛點(diǎn)拆解一套自研高性能分布式解決方案的技術(shù)思路為什么電源簽核這么慢分布式架構(gòu)如何把幾周的周期壓縮到幾天以及落地時(shí)需要注意哪些工程問(wèn)題。內(nèi)容適合芯片后端工程師、EDA 工具開(kāi)發(fā)人員以及對(duì)高性能計(jì)算和分布式系統(tǒng)感興趣的開(kāi)發(fā)者。1. 電源簽核為什么需要分布式計(jì)算1.1 什么是芯片電源簽核芯片內(nèi)部有成千上萬(wàn)個(gè)標(biāo)準(zhǔn)單元和宏單元它們需要依靠電源網(wǎng)絡(luò)把外部電壓送到每一個(gè)供電引腳。當(dāng)芯片工作在特定頻率和負(fù)載條件下電流在電源網(wǎng)絡(luò)中流動(dòng)會(huì)產(chǎn)生電壓降IR Drop長(zhǎng)期大電流還會(huì)引發(fā)金屬連線(xiàn)的電遷移EM問(wèn)題。電源簽核要做的事情就是在流片之前驗(yàn)證所有單元在最高功耗場(chǎng)景下收到的電壓是否仍然滿(mǎn)足時(shí)序要求電源網(wǎng)絡(luò)走線(xiàn)是否能在產(chǎn)品生命周期內(nèi)穩(wěn)定工作。從專(zhuān)業(yè)角度拆開(kāi)看電源簽核通常包括三大部分IR Drop 分析、EM 分析、功耗與熱分析。IR Drop 關(guān)注靜態(tài)和動(dòng)態(tài)電壓降EM 關(guān)注金屬連線(xiàn)上的電流密度是否超過(guò)安全上限功耗分析則用來(lái)評(píng)估峰值功耗、平均功耗幫助選擇封裝和散熱方案。一次完整的全芯片電源簽核往往需要對(duì)多個(gè)電壓域、多個(gè)功能模式、多個(gè)工藝角corner做組合遍歷計(jì)算量非常驚人。1.2 傳統(tǒng)電源簽核慢在哪里傳統(tǒng)簽核流程的第一個(gè)瓶頸是數(shù)據(jù)規(guī)模。進(jìn)入 7nm、5nm 甚至更先進(jìn)工藝之后全芯片電源網(wǎng)格的節(jié)點(diǎn)數(shù)量往往以?xún)|為單位。對(duì)這些節(jié)點(diǎn)建立矩陣方程并求解單臺(tái)服務(wù)器的內(nèi)存很容易觸頂內(nèi)存一旦不夠計(jì)算只能回退到磁盤(pán)交換速度會(huì)驟降幾個(gè)數(shù)量級(jí)。第二個(gè)瓶頸是迭代流程。傳統(tǒng)的簽核流程通常是串行的先整理數(shù)據(jù)再做功耗分析然后跑 IR/EM 仿真最后看報(bào)告。如果某一項(xiàng)不滿(mǎn)足就要修改電源網(wǎng)格或單元布局再重新跑一遍。一次完整簽核需要兩到三周一個(gè)項(xiàng)目往往要經(jīng)歷多輪迭代流片窗口很容易被錯(cuò)過(guò)。第三個(gè)瓶頸來(lái)自工具本身的擴(kuò)展性。很多商業(yè) EDA 工具的分布式能力依賴(lài)額外的 license 和內(nèi)置調(diào)度機(jī)制擴(kuò)展性有限。團(tuán)隊(duì)如果同時(shí)起多個(gè)任務(wù)license 數(shù)量不夠時(shí)就會(huì)排隊(duì)排隊(duì)時(shí)間甚至比計(jì)算時(shí)間還長(zhǎng)。這也是不少團(tuán)隊(duì)開(kāi)始考慮自研分布式方案的根本原因。1.3 分布式方案如何壓縮簽核周期分布式方案的基本出發(fā)點(diǎn)可以概括為“分而治之”。把全芯片的電源網(wǎng)絡(luò)分析按照物理區(qū)域、電壓域或驗(yàn)證場(chǎng)景拆分成多個(gè)子任務(wù)由多臺(tái)計(jì)算節(jié)點(diǎn)并行處理再把各子任務(wù)的結(jié)果合并為全芯片報(bào)告。假設(shè)單機(jī)需要兩周的計(jì)算時(shí)間拆成 4 個(gè)子任務(wù)后理想情況下可以壓縮到幾天。根據(jù)行業(yè)實(shí)踐芯曉科技通過(guò)自研高性能分布式解決方案把芯片電源簽核周期從幾周縮短到幾天。這背后并不是簡(jiǎn)單地把工具“多開(kāi)幾個(gè)窗口”而是要解決三個(gè)核心工程問(wèn)題任務(wù)怎么拆、任務(wù)怎么調(diào)度、結(jié)果怎么合并。本文后面的章節(jié)會(huì)圍繞這三個(gè)問(wèn)題展開(kāi)并給出一個(gè)可運(yùn)行的調(diào)度原型方便你理解整套流程的落地細(xì)節(jié)。2. 分布式電源簽核的整體架構(gòu)與選型2.1 硬件與軟件環(huán)境分布式電源簽核的計(jì)算環(huán)境一般是一個(gè)小規(guī)模的 Linux 集群。計(jì)算節(jié)點(diǎn)之間通過(guò)萬(wàn)兆以太網(wǎng)或 InfiniBand 互聯(lián)共享存儲(chǔ)用于讀寫(xiě)版圖數(shù)據(jù)、工藝庫(kù)、中間結(jié)果和最終報(bào)告。共享文件系統(tǒng)可以選擇 NFS、Lustre、BeeGFS 等方案具體選型取決于團(tuán)隊(duì)已有基礎(chǔ)設(shè)施。這里特別要提醒的是存儲(chǔ)子系統(tǒng)往往是容易被忽略的瓶頸因?yàn)殡娫春灪松婕按罅堪鎴D文件和波形文件I/O 壓力并不比 CPU 壓力小。軟件層面通常需要一套任務(wù)調(diào)度系統(tǒng)調(diào)度系統(tǒng)之下每個(gè)計(jì)算節(jié)點(diǎn)調(diào)用真實(shí)的 EDA 簽核工具執(zhí)行 IR/EM 分析。操作系統(tǒng)以 Linux 為主版本需要根據(jù) EDA 工具的認(rèn)證版本選擇。不同工具對(duì)操作系統(tǒng)的認(rèn)證環(huán)境有差異因此環(huán)境版本要按項(xiàng)目實(shí)際情況調(diào)整不要盲目追求最新系統(tǒng)版本穩(wěn)定性?xún)?yōu)先。2.2 架構(gòu)組件與數(shù)據(jù)流整體架構(gòu)可以分成三層控制層、計(jì)算層、存儲(chǔ)層。控制層負(fù)責(zé)任務(wù)拆分、調(diào)度、監(jiān)控和結(jié)果匯總計(jì)算層由多臺(tái) Worker 節(jié)點(diǎn)組成每個(gè) Worker 消費(fèi)一個(gè)子任務(wù)存儲(chǔ)層保存全芯片數(shù)據(jù)、分區(qū)數(shù)據(jù)、日志和最終報(bào)告。一次完整的數(shù)據(jù)流大致是下面這樣數(shù)據(jù)準(zhǔn)備輸入全芯片版圖數(shù)據(jù)、電源網(wǎng)格數(shù)據(jù)、工藝庫(kù)和約束文件。任務(wù)下發(fā)控制節(jié)點(diǎn)按照拆分策略生成多個(gè)分區(qū)任務(wù)并提交到調(diào)度隊(duì)列。并行計(jì)算各計(jì)算節(jié)點(diǎn)從共享存儲(chǔ)讀取各自的分區(qū)數(shù)據(jù)調(diào)用簽核工具執(zhí)行分析輸出分區(qū)結(jié)果。合并驗(yàn)證控制節(jié)點(diǎn)收集所有分區(qū)結(jié)果執(zhí)行合并與一致性校驗(yàn)生成全芯片簽核報(bào)告。這套流程中控制節(jié)點(diǎn)是“大腦”Worker 是“四肢”共享存儲(chǔ)是“記憶”。任何一個(gè)環(huán)節(jié)設(shè)計(jì)不合理都可能讓分布式方案的優(yōu)勢(shì)大打折扣。2.3 技術(shù)選型自研調(diào)度器還是開(kāi)源框架很多團(tuán)隊(duì)會(huì)問(wèn)直接用開(kāi)源分布式調(diào)度框架不行嗎當(dāng)然可以。但電源簽核場(chǎng)景有一些特殊性單個(gè)任務(wù)可能運(yùn)行幾小時(shí)甚至一天任務(wù)之間存在依賴(lài)關(guān)系比如必須先做功耗分析再做 IR/EM 分析而且調(diào)度系統(tǒng)需要和 EDA 工具鏈深度集成。通用流式框架雖然生態(tài)成熟但面對(duì)長(zhǎng)時(shí)間任務(wù)、斷點(diǎn)續(xù)跑、結(jié)果血緣記錄這些需求時(shí)往往需要做大量定制。因此不少團(tuán)隊(duì)選擇自研輕量調(diào)度器只保留自己需要的調(diào)度語(yǔ)義配合消息隊(duì)列實(shí)現(xiàn)任務(wù)分發(fā)和狀態(tài)同步。自研的初期成本確實(shí)更高但調(diào)度語(yǔ)義可以完全自定義后續(xù)擴(kuò)展也更靈活。如果團(tuán)隊(duì)已經(jīng)有消息中間件和監(jiān)控基礎(chǔ)設(shè)施建議在第一版就搭好任務(wù)狀態(tài)表和監(jiān)控大盤(pán)這對(duì)后續(xù)排查問(wèn)題非常有幫助。3. 核心原理拆解任務(wù)拆分、調(diào)度與結(jié)果合并3.1 任務(wù)拆分從物理區(qū)域到計(jì)算單元任務(wù)拆分是分布式電源簽核的關(guān)鍵常用策略有三種按物理區(qū)域劃分、按電源域劃分、按場(chǎng)景劃分。按物理區(qū)域劃分最直觀把芯片版圖按坐標(biāo)切成多個(gè)矩形分區(qū)每個(gè)分區(qū)交給一臺(tái)機(jī)器分析。但這種切法會(huì)切斷電源網(wǎng)格導(dǎo)致邊界區(qū)域的電流路徑不完整。解決辦法是在邊界處做重疊overlap讓相鄰分區(qū)有一部分計(jì)算區(qū)域是重復(fù)的合并時(shí)再統(tǒng)一裁決。按電源域劃分適合多電壓域芯片。不同電壓域之間本身有隔離結(jié)構(gòu)相互作用相對(duì)較小天然適合并行。按場(chǎng)景劃分則適合多 corner、多 mode 組合一個(gè)場(chǎng)景一個(gè)任務(wù)并行度最高但對(duì)存儲(chǔ)和 license 的消耗也更大。實(shí)際項(xiàng)目中通常混合使用先按場(chǎng)景分再按區(qū)域分最終形成一張任務(wù)樹(shù)。拆分粒度對(duì)性能影響很大。分區(qū)數(shù)量越多單個(gè)任務(wù)計(jì)算時(shí)間越短但邊界合并和校驗(yàn)的成本越高還可能帶來(lái)精度損失。分區(qū)粒度需要根據(jù)芯片面積、機(jī)器內(nèi)存和可用節(jié)點(diǎn)數(shù)做幾輪實(shí)驗(yàn)才能確定。3.2 任務(wù)調(diào)度狀態(tài)機(jī)與容錯(cuò)任務(wù)調(diào)度核心是一個(gè)狀態(tài)機(jī)。一個(gè)任務(wù)至少經(jīng)歷 pending、running、completed、failed 四種狀態(tài)。調(diào)度器負(fù)責(zé)任務(wù)分發(fā)、狀態(tài)更新、失敗重試。考慮容錯(cuò)時(shí)Worker 節(jié)點(diǎn)可能在任務(wù)執(zhí)行期間宕機(jī)調(diào)度器需要有心跳機(jī)制檢測(cè)節(jié)點(diǎn)健康超時(shí)未上報(bào)的任務(wù)要重新調(diào)度。調(diào)度策略上首先要做拓?fù)渑判驖M(mǎn)足依賴(lài)關(guān)系的任務(wù)才能進(jìn)入待調(diào)度隊(duì)列。資源分配方面調(diào)度器要記錄每個(gè) Worker 的 CPU、內(nèi)存、license 占用情況可以采用最簡(jiǎn)單的“最少負(fù)載優(yōu)先”或“先來(lái)先服務(wù)”策略。對(duì)電源簽核場(chǎng)景來(lái)說(shuō)優(yōu)先級(jí)應(yīng)該支持人工調(diào)整比如某個(gè)分區(qū)發(fā)現(xiàn)問(wèn)題后相關(guān)的后續(xù)任務(wù)可以?xún)?yōu)先執(zhí)行。為了避免單點(diǎn)故障調(diào)度器本身建議做高可用。至少要做到調(diào)度記錄和任務(wù)狀態(tài)寫(xiě)入持久化存儲(chǔ)調(diào)度進(jìn)程重啟后可以恢復(fù)而不是把狀態(tài)全部放在內(nèi)存里。3.3 結(jié)果合并與一致性校驗(yàn)合并階段要處理分區(qū)結(jié)果的重疊區(qū)域。以 IR Drop 為例兩個(gè)相鄰分區(qū)會(huì)各自給出邊界節(jié)點(diǎn)的電壓值合并時(shí)需要統(tǒng)一到同一個(gè)節(jié)點(diǎn)坐標(biāo)上并以更保守的值或仿真精度更高的值作為最終結(jié)果。對(duì)于 EM 違反只需要把各個(gè)分區(qū)的違反點(diǎn)匯總?cè)ブ?。一致性校?yàn)同樣重要。系統(tǒng)要對(duì)比重疊區(qū)域的結(jié)果設(shè)置容差閾值比如電壓差超過(guò) 1mV 就報(bào)告警告。如果相鄰分區(qū)邊界數(shù)據(jù)差值過(guò)大說(shuō)明拆分或仿真設(shè)置存在不一致需要重新檢查邊界條件和工藝庫(kù)參數(shù)。這個(gè)步驟在自動(dòng)化流水線(xiàn)中必須顯式標(biāo)記為校驗(yàn)失敗不能直接放行。另外每個(gè)子任務(wù)對(duì)應(yīng)的輸入數(shù)據(jù)和版本信息都要記錄保存確保結(jié)果可追溯。簽核報(bào)告最終要能追溯到使用的是哪一版版圖、哪一版工藝庫(kù)、哪個(gè)分區(qū)腳本這在流片前的評(píng)審和審計(jì)中非常關(guān)鍵。4. 實(shí)戰(zhàn)案例用 Python 實(shí)現(xiàn)一個(gè)分布式簽核調(diào)度原型下面我們用一個(gè) Python 原型來(lái)演示整體流程。需要說(shuō)明的是真實(shí)的電源簽核工具通常通過(guò)命令行方式調(diào)用本文用模擬函數(shù)代替重點(diǎn)演示任務(wù)拆分、調(diào)度和合并的工程思路。你可以把核心流程遷移到自己實(shí)際的調(diào)度系統(tǒng)中。4.1 項(xiàng)目結(jié)構(gòu)與準(zhǔn)備項(xiàng)目目錄結(jié)構(gòu)如下power_signoff_distributed/ ├── task_model.py ├── worker.py ├── scheduler.py ├── merger.py └── run_example.py各文件職責(zé)如下task_model.py定義任務(wù)和結(jié)果的數(shù)據(jù)結(jié)構(gòu)。worker.py模擬單個(gè)分區(qū)上的電源簽核計(jì)算。scheduler.py實(shí)現(xiàn)簡(jiǎn)單的分布式任務(wù)調(diào)度。merger.py實(shí)現(xiàn)分區(qū)結(jié)果合并與邊界一致性檢查。run_example.py組裝整個(gè)流程并運(yùn)行示例。環(huán)境要求是 Python 3.8 及以上示例只使用標(biāo)準(zhǔn)庫(kù)不依賴(lài)第三方包。4.2 定義任務(wù)數(shù)據(jù)模型創(chuàng)建task_model.py定義分區(qū)任務(wù)和任務(wù)結(jié)果# task_model.py from dataclasses import dataclass, field from typing import List, Optional dataclass class PartitionTask: task_id: str region_name: str mode: str corner: str x_start: int x_end: int y_start: int y_end: int status: str pending # pending / running / completed / failed retry_count: int 0 dataclass class TaskResult: task_id: str max_ir_drop_mv: Optional[float] None em_violation_count: int 0 em_violation_points: List[tuple] field(default_factorylist) error_message: str PartitionTask中記錄了任務(wù)所屬的區(qū)域坐標(biāo)、工作模式、工藝角等信息。status字段用來(lái)支持調(diào)度的狀態(tài)流轉(zhuǎn)。TaskResult保存該分區(qū)計(jì)算出的最大 IR Drop、EM 違反點(diǎn)列表以及可選的錯(cuò)誤信息。4.3 實(shí)現(xiàn) Worker 與調(diào)度器創(chuàng)建worker.py模擬單個(gè)分區(qū)上的簽核計(jì)算。實(shí)際項(xiàng)目中這個(gè)函數(shù)內(nèi)部應(yīng)該通過(guò)命令行調(diào)用真實(shí)的 EDA 簽核工具# worker.py import random import time from task_model import PartitionTask, TaskResult def run_power_signoff(task: PartitionTask) - TaskResult: # 模擬耗時(shí)操作實(shí)際場(chǎng)景中這里調(diào)用 EDA 簽核工具 seconds random.randint(1, 3) time.sleep(seconds) # 模擬該分區(qū)的分析結(jié)果 result TaskResult( task_idtask.task_id, max_ir_drop_mvround(random.uniform(10.0, 50.0), 2), em_violation_countrandom.randint(0, 5), ) for _ in range(result.em_violation_count): x random.randint(task.x_start, task.x_end) y random.randint(task.y_start, task.y_end) result.em_violation_points.append((x, y)) return result創(chuàng)建scheduler.py實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線(xiàn)程池調(diào)度器# scheduler.py from concurrent.futures import ThreadPoolExecutor from typing import List from task_model import PartitionTask, TaskResult from worker import run_power_signoff class PowerSignoffScheduler: def __init__(self, max_workers: int 4): self.executor ThreadPoolExecutor(max_workersmax_workers) self.futures {} def submit(self, task: PartitionTask): task.status running future self.executor.submit(run_power_signoff, task) self.futures[future] task return future def collect(self) - List[TaskResult]: results [] for future, task in self.futures.items(): try: result future.result() task.status completed results.append(result) except Exception as e: task.status failed results.append(TaskResult(task_idtask.task_id, error_messagestr(e))) return results這里用ThreadPoolExecutor是為了演示方便。如果任務(wù)是 CPU 密集型的真實(shí)簽核計(jì)算更推薦使用ProcessPoolExecutor或真正的多機(jī)調(diào)度避免 Python GIL 限制并行效率。實(shí)際生產(chǎn)系統(tǒng)還需要狀態(tài)持久化、失敗重試和心跳檢測(cè)這些都可以在PowerSignoffScheduler基礎(chǔ)上擴(kuò)展。4.4 實(shí)現(xiàn)結(jié)果合并模塊創(chuàng)建merger.py把各分區(qū)的結(jié)果合并為全芯片級(jí)報(bào)告# merger.py from typing import List from task_model import TaskResult class ReportMerger: def __init__(self, tolerance_mv: float 1.0): self.tolerance_mv tolerance_mv def merge(self, results: List[TaskResult]) - dict: if not results: return { max_ir_drop_mv: 0.0, em_violation_points: [], overlap_warnings: [], } all_ir [r.max_ir_drop_mv for r in results if r.max_ir_drop_mv is not None] max_ir_drop_mv max(all_ir) all_points [] for r in results: all_points.extend(r.em_violation_points) # 模擬重疊區(qū)域一致性檢查 overlap_warnings [] if len(all_ir) 2 and (max(all_ir) - min(all_ir)) self.tolerance_mv: overlap_warnings.append(分區(qū)最大IR Drop差異超過(guò)容差需要人工復(fù)核) return { max_ir_drop_mv: max_ir_drop_mv, em_violation_points: all_points, overlap_warnings: overlap_warnings, }合并模塊在真實(shí)場(chǎng)景中會(huì)更復(fù)雜需要讀取每個(gè)分區(qū)的詳細(xì)節(jié)點(diǎn)電壓文件比較相鄰分區(qū)重疊區(qū)域的數(shù)值差異。這里的tolerance_mv就是一致性校驗(yàn)的閾值實(shí)際工程中應(yīng)該開(kāi)放配置。4.5 運(yùn)行與驗(yàn)證創(chuàng)建run_example.py把整個(gè)流程串起來(lái)# run_example.py from task_model import PartitionTask from scheduler import PowerSignoffScheduler from merger import ReportMerger def build_tasks(): tasks [] # 假設(shè)將芯片平面劃分為 3x2 共 6 個(gè)分區(qū) regions [ (0, 100, 0, 100), (100, 200, 0, 100), (0, 100, 100, 200), (100, 200, 100, 200), (0, 100, 200, 300), (100, 200, 200, 300), ] for idx, (x0, x1, y0, y1) in enumerate(regions): tasks.append( PartitionTask( task_idftask_{idx}, region_namefregion_{idx}, modefunc, cornerss_0p90v_125c, x_startx0, x_endx1, y_starty0, y_endy1, ) ) return tasks def main(): tasks build_tasks() print(f共生成 {len(tasks)} 個(gè)分區(qū)任務(wù)) scheduler PowerSignoffScheduler(max_workers3) for task in tasks: scheduler.submit(task) results scheduler.collect() print(f任務(wù)完成 {len(results)} 個(gè)) merger ReportMerger() report merger.merge(results) print( 全芯片簽核匯總 ) print(f最大IR Drop: {report[max_ir_drop_mv]} mV) print(fEM違反點(diǎn)數(shù)量: {len(report[em_violation_points])}) if report[overlap_warnings]: print(警告:, report[overlap_warnings]) else: print(邊界一致性檢查通過(guò)) if __name__ __main__: main()運(yùn)行命令cd power_signoff_distributed python run_example.py由于示例中使用了隨機(jī)數(shù)每次運(yùn)行的輸出會(huì)略有不同但整體結(jié)構(gòu)類(lèi)似共生成 6 個(gè)分區(qū)任務(wù) 任務(wù)完成 6 個(gè) 全芯片簽核匯總 最大IR Drop: 42.17 mV EM違反點(diǎn)數(shù)量: 13 邊界一致性檢查通過(guò)這個(gè)原型雖然簡(jiǎn)單但已經(jīng)覆蓋了任務(wù)拆分、并行調(diào)度、結(jié)果匯總和一致性校驗(yàn)四個(gè)關(guān)鍵步驟。你可以在此基礎(chǔ)上把run_power_signoff替換為真實(shí) EDA 工具調(diào)用把線(xiàn)程池替換為多機(jī)調(diào)度中間件就是一個(gè)可用的分布式電源簽核調(diào)度框架雛形。5. 常見(jiàn)問(wèn)題與排查思路分布式電源簽核系統(tǒng)在落地過(guò)程中會(huì)遇到不少問(wèn)題下面匯總幾類(lèi)高頻問(wèn)題問(wèn)題現(xiàn)象常見(jiàn)原因解決思路任務(wù)一直處于 pending 狀態(tài)調(diào)度隊(duì)列阻塞或等待依賴(lài)任務(wù)完成檢查依賴(lài)關(guān)系拓?fù)洳榭搓?duì)列積壓情況某個(gè)節(jié)點(diǎn)任務(wù)運(yùn)行特別慢存儲(chǔ) I/O 爭(zhēng)用或節(jié)點(diǎn) CPU 被其他任務(wù)占滿(mǎn)拆分存儲(chǔ)目錄監(jiān)控節(jié)點(diǎn)資源占用限制單節(jié)點(diǎn)并發(fā)合并結(jié)果中邊界電壓不連續(xù)分區(qū) overlap 設(shè)置不合理或邊界條件不一致增大重疊區(qū)域統(tǒng)一邊界約束文件分布式結(jié)果與單機(jī)全芯片結(jié)果差異較大拆分導(dǎo)致精度損失或仿真相網(wǎng)設(shè)置不一致對(duì)比單機(jī)結(jié)果標(biāo)定誤差調(diào)整分區(qū)粒度Worker 節(jié)點(diǎn)宕機(jī)后任務(wù)丟失缺少心跳和狀態(tài)持久化引入心跳檢測(cè)任務(wù)狀態(tài)寫(xiě)入數(shù)據(jù)庫(kù)超時(shí)自動(dòng)重調(diào)度并行度提升后總時(shí)間反而變長(zhǎng)拆分粒度過(guò)細(xì)通信和合并開(kāi)銷(xiāo)超過(guò)計(jì)算收益增大每個(gè)任務(wù)的計(jì)算量減少分區(qū)數(shù)量license 不足導(dǎo)致排隊(duì)工具 license 數(shù)量限制引入 license 資源統(tǒng)計(jì)按 license 可用量調(diào)度排查這類(lèi)問(wèn)題建議先看日志再看監(jiān)控最后看數(shù)據(jù)。日志要記錄每個(gè)任務(wù)的開(kāi)始時(shí)間、結(jié)束時(shí)間、狀態(tài)轉(zhuǎn)換和錯(cuò)誤信息監(jiān)控要覆蓋 CPU、內(nèi)存、磁盤(pán) I/O、網(wǎng)絡(luò)吞吐和 license 占用數(shù)據(jù)層面要能快速定位某個(gè)分區(qū)的輸入文件版本和輸出結(jié)果。6. 最佳實(shí)踐與工程建議在真正落地分布式電源簽核方案時(shí)下面幾條工程建議值得重點(diǎn)關(guān)注。第一點(diǎn)是“先正確、后快速”。分布式方案上線(xiàn)前一定要先選一塊中等規(guī)模的芯片用同一版數(shù)據(jù)分別跑單機(jī)全芯片分析和分布式分析對(duì)比最大 IR Drop、違反點(diǎn)位置和數(shù)量。只有誤差控制在可接受范圍內(nèi)才能繼續(xù)放大規(guī)模。不要一上來(lái)就追求速度正確性出問(wèn)題會(huì)導(dǎo)致流片風(fēng)險(xiǎn)。第二點(diǎn)是拆分粒度要?jiǎng)討B(tài)調(diào)整。靜態(tài)固定的拆分策略往往不是最優(yōu)的?？梢愿鶕?jù)每個(gè)分區(qū)的實(shí)際計(jì)算耗時(shí)反饋動(dòng)態(tài)調(diào)整下一次的劃分方式。比如某些區(qū)域單元密度高計(jì)算量大就應(yīng)該切成更小的分區(qū)單元稀疏區(qū)域則可以合并成大分區(qū)。第三點(diǎn)是日志和血緣必須完整。分布式系統(tǒng)排查問(wèn)題的難度與節(jié)點(diǎn)數(shù)量成正比。每個(gè)任務(wù)至少要記錄輸入版圖文件路徑、工藝庫(kù)版本、配置參數(shù)、工具版本、輸出文件列表、執(zhí)行節(jié)點(diǎn)、開(kāi)始結(jié)束時(shí)間。這樣才能保證簽核報(bào)告可追溯、可復(fù)現(xiàn)。第四點(diǎn)是存儲(chǔ)和網(wǎng)絡(luò)不能省。很多人把精力放在調(diào)度器上最后發(fā)現(xiàn)瓶頸在共享存儲(chǔ)。建議把輸入數(shù)據(jù)、中間結(jié)果、最終報(bào)告分別放在不同目錄甚至不同存儲(chǔ)池避免大規(guī)模并行讀寫(xiě)互相干擾。網(wǎng)絡(luò)方面如果分區(qū)之間的中間文件交換頻繁建議優(yōu)先升級(jí)網(wǎng)絡(luò)而不是增加 CPU。第五點(diǎn)是監(jiān)控和告警要前置。分布式系統(tǒng)不是搭好就能穩(wěn)定運(yùn)行。任務(wù)失敗率、節(jié)點(diǎn)存活率、隊(duì)列積壓數(shù)、平均任務(wù)耗時(shí)這幾個(gè)指標(biāo)應(yīng)該從一開(kāi)始就接入監(jiān)控大盤(pán)設(shè)置合理告警閾值避免半夜任務(wù)掛掉第二天才發(fā)現(xiàn)。第六點(diǎn)是權(quán)限和安全邊界。EDA 數(shù)據(jù)是芯片公司核心資產(chǎn)集群訪(fǎng)問(wèn)要基于最小權(quán)限原則任務(wù)執(zhí)行賬號(hào)不應(yīng)有刪除其他團(tuán)隊(duì)數(shù)據(jù)的權(quán)限。涉及生產(chǎn)環(huán)境變更時(shí)先在小范圍驗(yàn)證再逐步擴(kuò)大任何批量操作前都要確認(rèn)備份策略。最后一點(diǎn)是要做好和現(xiàn)有流程的兼容。分布式簽核并不是要完全替代原有單機(jī)流程而是為大規(guī)模、多迭代場(chǎng)景提供加速通道。建議保留原有的單機(jī)流程作為對(duì)照分布式流程用作快速迭代和回歸驗(yàn)證兩邊結(jié)果定期對(duì)比確保長(zhǎng)期穩(wěn)定。7. 結(jié)語(yǔ)電源簽核從幾周縮短到幾天本質(zhì)上是把“等一個(gè)結(jié)果”變成了“集一批結(jié)果”。任務(wù)拆分、調(diào)度容錯(cuò)、結(jié)果合并這三件事做好分布式方案才能真正跑起來(lái)。本文用一個(gè)小型 Python 原型演示了核心流程實(shí)際項(xiàng)目中你還需要接入真實(shí) EDA 工具、補(bǔ)齊狀態(tài)持久化和監(jiān)控告警并且通過(guò)多輪對(duì)比實(shí)驗(yàn)標(biāo)定拆分精度。分布式計(jì)算并不是銀彈但它確實(shí)是當(dāng)前芯片簽核提速最務(wù)實(shí)的路徑之一。如果你正在做類(lèi)似的后端簽核平臺(tái)或高性能計(jì)算改造可以從本文的調(diào)度原型入手先搭一個(gè)小規(guī)模閉環(huán)再逐步擴(kuò)展到全芯片級(jí)規(guī)模。