做DDR4 IP調(diào)試這幾年幾乎每天都在跟“用戶接口”打交道。很多第一次接觸FPGA DDR4設(shè)計(jì)的工程師拿到IP核生成的示例工程后第一個(gè)反應(yīng)往往是一堆AXI4接口信號(hào)幾百個(gè)端口定義完全不知道從哪里下手。我早期也走過不少?gòu)澛匪赃@篇內(nèi)容想從一個(gè)實(shí)操者的角度把DDR4 IP的用戶接口掰開揉碎講清楚——從信號(hào)含義到時(shí)序關(guān)系從帶寬計(jì)算到讀寫測(cè)試再到那些文檔里不會(huì)寫的坑。不管你是正在做DDR4硬件設(shè)計(jì)還是被“cal fail”折磨到頭疼這篇內(nèi)容應(yīng)該都能給你一個(gè)相對(duì)完整的參考坐標(biāo)。1. DDR4 IP用戶接口的整體設(shè)計(jì)與思路拆解1.1 為什么用戶接口選擇AXI4而不是黑盒式讀寫DDR4 IP核在FPGA內(nèi)部為用戶側(cè)提供了多種接口方式最常見的就是AXI4接口。為什么主流方案都選AXI4核心原因在于AXI4的通道分離設(shè)計(jì)非常契合DDR控制器的讀寫調(diào)度邏輯。DDR控制器本質(zhì)上是一個(gè)復(fù)雜的狀態(tài)機(jī)需要不斷在預(yù)充電、激活、讀、寫、刷新之間切換。如果給用戶一個(gè)非常簡(jiǎn)單的讀寫接口比如直接給地址和命令用戶寫起來確實(shí)簡(jiǎn)單但控制器內(nèi)部調(diào)度會(huì)很痛苦因?yàn)槟愫茈y在不了解時(shí)序細(xì)節(jié)的情況下高效排布命令。AXI4則把讀地址通道、讀數(shù)據(jù)通道、寫地址通道、寫數(shù)據(jù)通道、寫響應(yīng)通道全部拆開每個(gè)通道獨(dú)立握手機(jī)制這樣控制器可以分別調(diào)度讀和寫甚至可以在寫數(shù)據(jù)還沒準(zhǔn)備好的時(shí)候先接收寫地址靈活性高很多。AXI4接口對(duì)軟件工程師也很友好因?yàn)樗旧砭褪茿RM處理器的標(biāo)準(zhǔn)總線。如果你在FPGA內(nèi)部集成了軟核或者硬核處理器那么通過AXI4總線直接訪問DDR4幾乎不需要額外的橋接邏輯整個(gè)系統(tǒng)的數(shù)據(jù)通路就順下來了。1.2 從用戶接口到物理存儲(chǔ)顆粒之間的分層關(guān)系一個(gè)完整的DDR4存儲(chǔ)子系統(tǒng)可以劃分為三層用戶邏輯層、控制器層、物理層。用戶接口位于最上層物理層PHY連接實(shí)際的DDR4顆粒中間控制器負(fù)責(zé)把AXI4事務(wù)轉(zhuǎn)換成DDR命令序列。用戶在用戶接口上發(fā)起一次寫操作數(shù)據(jù)并不會(huì)立刻落到存儲(chǔ)顆粒上而是先進(jìn)入控制器內(nèi)部的寫數(shù)據(jù)緩沖再由控制器根據(jù)Bank狀態(tài)、行狀態(tài)、刷新要求等條件把數(shù)據(jù)分批寫入。同樣讀操作也不是簡(jiǎn)單的地址直通控制器可能根據(jù)最近的行命中情況調(diào)整Bank和行的打開順序從而避免頻繁的“預(yù)充電激活”開銷。理解這個(gè)分層非常重要因?yàn)楹芏嗾{(diào)試問題其實(shí)不在用戶接口本身而在控制器調(diào)度策略上。比如你在用戶接口測(cè)得的延遲并不等于顆粒的真實(shí)讀寫延遲中間還有隊(duì)列和仲裁的等待時(shí)間。1.3 了解接口共性與差異DDR2/DDR3/DDR4的用戶接口到底哪里不同網(wǎng)上經(jīng)常能看到“DDR2、DDR3、DDR4區(qū)別”這類熱詞大家關(guān)注點(diǎn)多在速率、電壓、容量和引腳差異上。但從FPGA IP用戶接口角度來說這幾代的AXI4接口信號(hào)框架其實(shí)是高度相似的最大的變化在內(nèi)部參數(shù)配置和物理層約束。時(shí)鐘頻率不同DDR4用戶接口時(shí)鐘通?？梢耘艿?00MHz以上DDR3多在200MHz-400MHz之間DDR2則更低。突發(fā)長(zhǎng)度不同DDR3和DDR4默認(rèn)BL8突發(fā)8DDR2默認(rèn)BL4這直接影響用戶接口數(shù)據(jù)位寬和有效帶寬計(jì)算。片上校準(zhǔn)流程不同DDR4的training流程更復(fù)雜包括寫電平校準(zhǔn)、讀DQS門限校準(zhǔn)等所以DDR4 IP的初始化時(shí)間明顯更長(zhǎng)。對(duì)做用戶邏輯的人來說最大的感受是只要IP配置得當(dāng)上層讀寫代碼的編寫思路幾乎可以沿用但如果在遷移到DDR4時(shí)還按DDR3的老思路去估算時(shí)序和帶寬就會(huì)踩坑。2. 用戶接口核心信號(hào)解析與實(shí)操要點(diǎn)2.1 讀通道信號(hào)逐項(xiàng)拆解在Xilinx系列FPGA的DDR4 IP中用戶接口以AXI4為主讀通道核心信號(hào)包括以下幾組。讀地址通道信號(hào)以常見命名風(fēng)格為例s_axi_araddr讀地址寬度與用戶地址寬度一致。s_axi_arlen突發(fā)長(zhǎng)度AXI4標(biāo)準(zhǔn)里是8bit表示“突發(fā)次數(shù)減1”也就是arlen7代表一次讀8拍數(shù)據(jù)。s_axi_arready控制器準(zhǔn)備好接收讀地址。s_axi_arvalid用戶邏輯請(qǐng)求發(fā)出讀地址。讀數(shù)據(jù)通道信號(hào)s_axi_rdata讀數(shù)據(jù)位寬通常是DDR顆粒位寬和突發(fā)長(zhǎng)度的乘積關(guān)系。以64bit顆粒位寬、BL8為例如果數(shù)據(jù)總線是64bit那么一次突發(fā)需要8拍但如果用戶接口數(shù)據(jù)位寬是512bit那么一次突發(fā)一拍就能返回全部數(shù)據(jù)。s_axi_rresp讀響應(yīng)DDR控制器的響應(yīng)基本都是OKAY如果出現(xiàn)錯(cuò)誤往往意味著地址對(duì)齊問題或者ECC校驗(yàn)失敗。s_axi_rvalid和s_axi_rready一起構(gòu)成讀數(shù)據(jù)的握手。有一點(diǎn)要特別注意讀數(shù)據(jù)的返回順序。在DDR4 IP中在讀地址仲裁完成后讀數(shù)據(jù)會(huì)在若干周期后返回返回時(shí)由rvalid標(biāo)識(shí)有效窗口。用戶邏輯必須等rvalid拉高的那一拍再采樣rdata而不是自己推算延遲。依賴固定延遲的做法很不穩(wěn)妥。2.2 寫通道信號(hào)逐項(xiàng)拆解寫通道的信號(hào)同樣分兩組。寫地址通道s_axi_awaddr寫地址。s_axi_awlen寫突發(fā)長(zhǎng)度。s_axi_awvalid和s_axi_awready構(gòu)成寫地址握手。寫數(shù)據(jù)通道s_axi_wdata寫數(shù)據(jù)。s_axi_wstrb寫字節(jié)使能用于掩碼寫入位寬是數(shù)據(jù)位寬除以8。s_axi_wlast寫數(shù)據(jù)最后一拍的標(biāo)志。s_axi_wvalid和s_axi_wready構(gòu)成寫數(shù)據(jù)握手。寫響應(yīng)通道s_axi_bresp和s_axi_bvalid。寫響應(yīng)表示一次寫事務(wù)是否被控制器接受與讀響應(yīng)一樣正常情況下都是OKAY。寫通道最容易出問題的不是信號(hào)本身而是握手時(shí)序。AXI4協(xié)議要求寫數(shù)據(jù)必須最后到來而且wlast要準(zhǔn)確標(biāo)注最后一拍。很多初學(xué)用戶在寫數(shù)據(jù)長(zhǎng)度計(jì)算上出錯(cuò)導(dǎo)致wlast無(wú)法和wvalid同時(shí)拉高控制器一直等不到完整突發(fā)整個(gè)寫通道就卡死了。2.3 地址映射、數(shù)據(jù)掩碼與對(duì)齊的經(jīng)典誤區(qū)DDR4用戶接口的地址映射是把AXI地址翻譯到“Bank、Row、Column”的過程但用戶往往不需要直接操作Bank/Row/Column只需要知道地址如何映射即可。不過有幾個(gè)關(guān)鍵點(diǎn)容易忽略。地址位寬不等于顆粒容量位寬。用戶接口地址是字節(jié)地址而控制器內(nèi)部按照突發(fā)粒度映射低幾位地址會(huì)被忽略或用于片選。寫掩碼wstrb必須按字節(jié)對(duì)應(yīng)。512bit數(shù)據(jù)總線對(duì)應(yīng)64字節(jié)wstrb就是64bit每一位對(duì)應(yīng)一個(gè)字節(jié)。如果你只寫半個(gè)字節(jié)wstrb對(duì)應(yīng)位置1控制器會(huì)按掩碼合并數(shù)據(jù)不會(huì)破壞其他字節(jié)。對(duì)齊問題。AXI4要求突發(fā)的首地址必須按突發(fā)長(zhǎng)度對(duì)齊。比如256bit數(shù)據(jù)位寬、BL8的配置下一次突發(fā)的字節(jié)數(shù)是32字節(jié)那么起始地址的低5位必須是0。很多用戶拿一個(gè)任意地址去寫結(jié)果控制器要么報(bào)錯(cuò)要么行為不符合預(yù)期。2.4 握手協(xié)議的本質(zhì)valid與ready出現(xiàn)的先后關(guān)系A(chǔ)XI4握手看似簡(jiǎn)單但細(xì)節(jié)要求很多。從DDR4 IP實(shí)際應(yīng)用來說需要記住一個(gè)核心規(guī)則valid信號(hào)一旦拉高必須保持到ready為高且握手成功的那一拍而ready可以等待validvalid不能等待ready才拉高。換句話說用戶邏輯不能因?yàn)榭吹絘rready或wready為低就把valid撤掉。正確做法是只要內(nèi)部有未完成的事務(wù)請(qǐng)求valid就維持有效直到握手成功。這個(gè)規(guī)則同時(shí)適用于地址通道和數(shù)據(jù)通道。此外還要注意DDR4 IP的用戶接口在某些配置下數(shù)據(jù)通道的valid和ready關(guān)系可能帶有附加約束。比如寫數(shù)據(jù)通道如果控制器在握手成功前不接受新的寫數(shù)據(jù)wready會(huì)暫時(shí)拉低此時(shí)用戶數(shù)據(jù)必須保持在總線上不變同時(shí)wvalid繼續(xù)保持有效。數(shù)據(jù)、wstrb、wlast都必須同步保持不變。我實(shí)際調(diào)試中遇到過一種情況代碼里用狀態(tài)機(jī)處理多個(gè)寫事務(wù)某個(gè)狀態(tài)判斷wready拉低后就跳走結(jié)果寫數(shù)據(jù)被截?cái)郉DR里出現(xiàn)了錯(cuò)誤數(shù)據(jù)。后來所有通道都改成“當(dāng)前狀態(tài)保持直到握手成功”的邏輯問題才徹底消失。3. 帶寬計(jì)算、時(shí)序收斂與用戶接口的工程配置3.1 如何計(jì)算DDR4用戶接口的理論帶寬與實(shí)際帶寬很多硬件工程師在做DDR4硬件設(shè)計(jì)時(shí)會(huì)畫原理圖、算顆粒帶寬但到了FPGA用戶接口層面反而容易忽略有效帶寬的折算。理論帶寬的計(jì)算公式是顆粒速率 × 數(shù)據(jù)位寬。比如DDR4-240064bit顆粒位寬理論帶寬就是2400MT/s × 64bit / 8 19.2GB/s。這是一個(gè)非常好的參考數(shù)值但用戶接口實(shí)際能拿到的帶寬通常低于這個(gè)值。實(shí)際帶寬受幾個(gè)因素影響刷新開銷DDR4需要周期性刷新刷新期間控制器暫停正常讀寫。按典型tREFI和刷新時(shí)間計(jì)算刷新開銷一般在2%到5%之間。讀寫總線反轉(zhuǎn)開銷從寫切到讀中間需要tWTR等時(shí)序間隔從讀切到寫需要tRTW等間隔。如果頻繁交替讀寫效率會(huì)明顯下降。激活和預(yù)充電開銷隨機(jī)訪問場(chǎng)景下每一筆事務(wù)都可能需要新的行激活這會(huì)消耗大量周期。順序訪問場(chǎng)景則基本不需要額外激活。指令和數(shù)據(jù)包排隊(duì)開銷控制器內(nèi)部仲裁器、隊(duì)列緩沖有限當(dāng)多個(gè)master競(jìng)爭(zhēng)訪問時(shí)仲裁等待會(huì)拉低實(shí)際吞吐。所以在做用戶邏輯帶寬規(guī)劃時(shí)不能拿19.2GB/s當(dāng)預(yù)期值除非你的訪問模式是極長(zhǎng)的順序讀寫。通常情況下取理論帶寬的70%到80%作為設(shè)計(jì)上限比較靠譜。3.2 用戶接口時(shí)鐘頻率與數(shù)據(jù)位寬的選擇邏輯DDR4 IP的時(shí)鐘參數(shù)高度依賴于顆粒配置。選擇用戶接口數(shù)據(jù)位寬時(shí)要綜合考慮內(nèi)部邏輯利用率、跨時(shí)鐘域難度和PCB布線能力。舉個(gè)例子DDR4-2400、64bit顆粒寬度如果BL8那么8個(gè)突發(fā)數(shù)據(jù)總量是512bit。如果你把用戶接口數(shù)據(jù)位寬配置為512bit那么用戶側(cè)時(shí)鐘可以比顆粒時(shí)鐘低很多內(nèi)部邏輯只需要工作在較低頻率如果配置為64bit那么用戶側(cè)時(shí)鐘接近顆粒時(shí)鐘的等效數(shù)據(jù)速率邏輯時(shí)序收斂壓力很大。具體來說常見配置有兩種配置場(chǎng)景顆粒配置用戶接口位寬用戶接口時(shí)鐘適合場(chǎng)合高吞吐場(chǎng)景64bit DDR4-2400512bit300MHz左右視頻處理、大數(shù)據(jù)緩存低復(fù)雜度場(chǎng)景64bit DDR4-2400128bit1200MHz一般較難收斂小緩存、輕量存儲(chǔ)實(shí)際工程中大多數(shù)FPGA設(shè)計(jì)更傾向把用戶接口位寬配大一點(diǎn)換取更低的用戶時(shí)鐘頻率因?yàn)楦哳l率邏輯在綜合和布局布線階段非常痛苦尤其當(dāng)設(shè)計(jì)里還有大量跨時(shí)鐘域邏輯時(shí)。3.3 跨時(shí)鐘域處理用戶邏輯時(shí)鐘與IP時(shí)鐘的同步DDR4 IP的用戶接口域時(shí)鐘比如ui_clk和用戶自己的業(yè)務(wù)時(shí)鐘往往是兩個(gè)頻率。所有從業(yè)務(wù)時(shí)鐘進(jìn)入DDR用戶接口的信號(hào)都必須做跨時(shí)鐘域處理否則會(huì)出現(xiàn)亞穩(wěn)態(tài)。最常用的方式是異步FIFO。業(yè)務(wù)側(cè)數(shù)據(jù)寫入FIFODDR側(cè)邏輯從FIFO讀取并產(chǎn)生AXI事務(wù)讀回的數(shù)據(jù)也通過FIFO回到業(yè)務(wù)側(cè)。這里有個(gè)細(xì)節(jié)FIFO的深度不要只按“最大突發(fā)長(zhǎng)度”來算要按“最大排隊(duì)延遲”來算。DDR控制器在刷新、Bank沖突時(shí)可能延遲多個(gè)周期才響應(yīng)如果FIFO太淺背壓就會(huì)傳導(dǎo)到業(yè)務(wù)側(cè)。我之前設(shè)計(jì)過一個(gè)32GB/s吞吐的視頻緩存模塊FIFO深度取了2048x512bit輪詢兩個(gè)master時(shí)實(shí)測(cè)下來FIFO利用率最多到60%留下的余量剛好覆蓋極端刷新場(chǎng)景。3.4 DDR4原理圖設(shè)計(jì)的幾個(gè)關(guān)鍵檢查點(diǎn)這里順帶提一句DDR4硬件設(shè)計(jì)。因?yàn)橛脩艚涌谡{(diào)試出了問題很多時(shí)候不是FPGA邏輯問題而是原理圖和PCB布線問題。查看DDR4原理圖時(shí)建議重點(diǎn)檢查以下幾點(diǎn)電源去耦VDD、VDDQ、VTT、VPP的濾波電容是否按推薦布局放置。參考電壓VREFDDR4對(duì)VREF精度要求高分壓電阻精度要選1%或更好。端接電阻地址線、控制線是否需要ODT和VTT端接位置選擇是否正確。時(shí)鐘差分對(duì)CK_t和CK_c必須嚴(yán)格等長(zhǎng)常用100歐差分阻抗。讀寫DQS差分對(duì)每組DQS的差分對(duì)內(nèi)等長(zhǎng)要做得比信號(hào)間等長(zhǎng)更嚴(yán)格。如果原理圖或者PCB的等長(zhǎng)控制不達(dá)標(biāo)用戶接口可能會(huì)出現(xiàn)偶發(fā)寫錯(cuò)、讀錯(cuò)很難穩(wěn)定復(fù)現(xiàn)。遇到這種問題時(shí)優(yōu)先用ILA抓取用戶接口波形如果發(fā)現(xiàn)數(shù)據(jù)錯(cuò)誤位置隨機(jī)、并非某個(gè)固定地址就得回頭查硬件的信號(hào)完整性。4. 實(shí)操過程從IP配置到DDR4讀寫測(cè)試的完整流程4.1 IP配置界面中的關(guān)鍵參數(shù)選擇在Vivado或Quartus里創(chuàng)建DDR4 IP時(shí)參數(shù)較多我只挑影響用戶接口的幾個(gè)重點(diǎn)說起。Controller Options里的“AXI Data Width”參數(shù)直接決定用戶接口位寬。“AXI Address Width”要和地址空間大小匹配不要盲目設(shè)置過大。“Memory Part”要選對(duì)具體顆粒型號(hào)選錯(cuò)可能導(dǎo)致初始化參數(shù)不正確?！癐nput Clock Period”填的是DDR顆粒的時(shí)鐘周期。比如DDR4-2400顆粒時(shí)鐘是1200MHz周期約833ps填的時(shí)候要確認(rèn)是周期單位不是頻率?！癝ystem Clock”則是用戶接口和PHY內(nèi)部邏輯的工作時(shí)鐘來源一般選No Buffer或者專用時(shí)鐘引腳。刷新配置建議保持默認(rèn)“Auto Refresh”除非你需要手動(dòng)控制刷新窗口。配置完成生成IP后建議先跑一下示例工程尤其是自帶的仿真測(cè)試bench能幫你快速確認(rèn)IP配置是否符合預(yù)期。4.2 初始化狀態(tài)檢查從“cal fail”到初始化成功FPGA上電后DDR4 IP內(nèi)部有一個(gè)完整的初始化和校準(zhǔn)流程校準(zhǔn)完成后會(huì)輸出init_calib_complete信號(hào)。很多第一次上手的朋友在調(diào)試時(shí)發(fā)現(xiàn)這個(gè)信號(hào)一直沒拉高或者直接拉高幾十微秒后又被拉低。先排查最簡(jiǎn)單的部分時(shí)鐘和復(fù)位。DDR4 IP對(duì)復(fù)位時(shí)序很敏感復(fù)位信號(hào)必須在時(shí)鐘穩(wěn)定后再釋放而且釋放要保持足夠的低電平時(shí)間。我之前用外部按鍵復(fù)位因?yàn)橄稌r(shí)間太短導(dǎo)致IP在初始化中途再次被復(fù)位出現(xiàn)偶發(fā)cal fail。換成上電自動(dòng)延時(shí)復(fù)位后問題就消失了。如果復(fù)位沒問題那就要看實(shí)際顆粒的接線和參數(shù)。特別是DDR4顆粒的CKE、CS、ODT控制信號(hào)任何一個(gè)接錯(cuò)training都可能失敗。拿到一塊新板子先用萬(wàn)用表確認(rèn)這些信號(hào)到了顆粒引腳再往上查IP配置的引腳約束。4.3 用ILA抓取用戶接口讀寫波形的實(shí)操記錄當(dāng)init_calib_complete拉高后就可以開始做讀寫測(cè)試了。我的習(xí)慣是先用IP自帶的示例工程跑數(shù)據(jù)比對(duì)再換成自己的用戶邏輯。但示例工程往往只是一個(gè)“能跑”的框架不一定適合你的場(chǎng)景所以關(guān)鍵還是要會(huì)抓波形。實(shí)操步驟大致是這樣在ILA中例化只抓用戶接口的寫地址通道、寫數(shù)據(jù)通道、寫響應(yīng)通道和讀通道信號(hào)。設(shè)置觸發(fā)條件為“awvalid為高且awready為高”這樣能抓到第一次寫事務(wù)的完整握手。再設(shè)一個(gè)觸發(fā)條件為“rvalid為高”抓讀寫回的返回路徑。抓完后把數(shù)據(jù)波形導(dǎo)出和寫進(jìn)去的數(shù)據(jù)做比對(duì)。第一次抓波形時(shí)注意觀察握手的滿足關(guān)系。用手動(dòng)寫一個(gè)小塊數(shù)據(jù)然后讀取同一塊地址如果比對(duì)一致說明基礎(chǔ)讀寫路徑正常。如果比對(duì)不一致優(yōu)先檢查wstrb是否正確很多“隨機(jī)錯(cuò)一個(gè)字節(jié)”的問題都是因?yàn)樽止?jié)使能沒置全。4.4 讀寫測(cè)試的幾個(gè)典型場(chǎng)景與判定標(biāo)準(zhǔn)完整搬移測(cè)試適合大塊數(shù)據(jù)傳輸一般做法是往一個(gè)4KB對(duì)齊的區(qū)域?qū)懭脒f增數(shù)據(jù)再讀出來比對(duì)。遞增數(shù)據(jù)的好處是能快速定位地址漂移如果讀回的遞增序列出現(xiàn)“跳號(hào)”說明某個(gè)地址的數(shù)據(jù)被寫錯(cuò)或讀錯(cuò)。固定式偽隨機(jī)測(cè)試適合檢測(cè)數(shù)據(jù)線之間的串?dāng)_和信號(hào)完整性問題。寫入偽隨機(jī)序列讀回后與本地重新生成的序列比對(duì)能發(fā)現(xiàn)單bit或成組bit跳變。特別在DDR4顆粒散熱不好、信號(hào)質(zhì)量邊緣化的時(shí)候這種測(cè)試穩(wěn)定跑幾小時(shí)不出錯(cuò)才算基本合格。讀寫交替壓力測(cè)試適合評(píng)估控制器切換效率。大量交替讀寫不僅測(cè)試數(shù)據(jù)通路更能暴露控制器調(diào)度策略的問題。如果交替頻繁時(shí)出現(xiàn)卡死大概率是用戶邏輯沒有處理寫響應(yīng)或者讀數(shù)據(jù)背壓。4.5 常見問題與排查技巧實(shí)錄我整理了一張速查表記錄日常工作中最常遇到的幾類問題方便快速定位?，F(xiàn)象可能原因排查手段init_calib_complete一直為低時(shí)鐘/復(fù)位異常、DDR4顆粒排線未接好、IP參數(shù)錯(cuò)誤檢查復(fù)位時(shí)序、量測(cè)CKE、CS、ODT核對(duì)顆粒型號(hào)偶發(fā)cal fail電源紋波過大、參考電壓不干凈、SI質(zhì)量差用示波器看電源紋波、檢查VREF分壓、檢查走線等長(zhǎng)寫數(shù)據(jù)回讀偶發(fā)錯(cuò)誤wstrb位沒寫對(duì)、數(shù)據(jù)位跨字節(jié)錯(cuò)位、FIFO跨時(shí)鐘域異常抓取wdata和wstrb波形與預(yù)期數(shù)據(jù)比對(duì)讀數(shù)據(jù)超時(shí)讀地址沒有發(fā)出去、讀數(shù)據(jù)FIFO未及時(shí)取走、控制器死鎖抓arvalid/arready、rvalid/rready握手長(zhǎng)時(shí)間跑測(cè)試后出錯(cuò)溫度升高導(dǎo)致時(shí)序裕量下降、刷新漏扣加強(qiáng)散熱、延長(zhǎng)壓力測(cè)試時(shí)間、檢查刷新配置效率遠(yuǎn)低于理論帶寬隨機(jī)小粒度突發(fā)過多、頻繁讀寫切換檢查訪問模式、適當(dāng)增加突發(fā)長(zhǎng)度、用內(nèi)部緩存聚攏訪問實(shí)際踩過的一個(gè)坑是在DDR4 IP的寫數(shù)據(jù)通道中有些IP核要求wdata和wstrb必須提前于wvalid一個(gè)周期穩(wěn)定。我的邏輯一開始是同時(shí)變化結(jié)果表現(xiàn)為偶發(fā)數(shù)據(jù)錯(cuò)位。后來看IP的時(shí)序圖才發(fā)現(xiàn)這個(gè)細(xì)節(jié)調(diào)整后恢復(fù)正常。所以建議各位拿到IP的第一時(shí)間不要只看信號(hào)列表要把波形時(shí)序圖完整過一遍。4.6 常見問題與排查技巧實(shí)錄的補(bǔ)充還有一個(gè)值得單獨(dú)說的點(diǎn)phy_clk和ui_clk的關(guān)系。很多IP同時(shí)提供了多個(gè)時(shí)鐘輸出比如sys_clk、ui_clk、phy_clk和dram_clk。在調(diào)試時(shí)務(wù)必區(qū)分它們分別供哪個(gè)模塊使用。phy_clk負(fù)責(zé)PHY邏輯和DDR顆粒時(shí)鐘域ui_clk才是用戶接口的邏輯時(shí)鐘。如果把兩者混用會(huì)出現(xiàn)波形正常但時(shí)序收斂困難的情況。親測(cè)比較穩(wěn)妥的做法是把ui_clk接入所有用戶邏輯作為AXI接口的同步時(shí)鐘而phy_clk只在物理層內(nèi)部使用。不要嘗試用phy_clk驅(qū)動(dòng)業(yè)務(wù)邏輯也不要用業(yè)務(wù)時(shí)鐘驅(qū)動(dòng)用戶接口除非你非常清楚自己在做什么。另一點(diǎn)和“邏輯復(fù)位”有關(guān)。DDR4 IP通常會(huì)提供一個(gè)可選的同步復(fù)位輸出連接到用戶接口的復(fù)位輸入。用的時(shí)候要注意IP內(nèi)部復(fù)位的釋放時(shí)間可能與校驗(yàn)完成時(shí)間不同。在邏輯里最好把復(fù)位釋放和init_calib_complete兩者一起處理成統(tǒng)一的“系統(tǒng)就緒”條件再對(duì)外發(fā)業(yè)務(wù)啟動(dòng)信號(hào)避免在DDR還沒完全就緒時(shí)就開始讀寫。5. 進(jìn)階技巧與工程經(jīng)驗(yàn)補(bǔ)充5.1 多端口訪問DDR4時(shí)的仲裁優(yōu)先級(jí)設(shè)計(jì)很多產(chǎn)品中不止一個(gè)模塊要訪問DDR4比如CPU寫日志、DMA搬數(shù)據(jù)、視頻采集總線同時(shí)在跑。此時(shí)用戶接口前需要自行設(shè)計(jì)一個(gè)仲裁器。仲裁器最簡(jiǎn)單的實(shí)現(xiàn)是固定優(yōu)先級(jí)但有明顯缺點(diǎn)低優(yōu)先級(jí)業(yè)務(wù)可能被餓死。我的做法是給不同端口配置權(quán)重高權(quán)重端口獲得更高占有率但不完全搶占低權(quán)重端口在若干周期后強(qiáng)制提升優(yōu)先級(jí)保證每個(gè)端口都能拿到帶寬。這個(gè)邏輯可以用一個(gè)計(jì)數(shù)器實(shí)現(xiàn)核心算法不復(fù)雜難的是根據(jù)業(yè)務(wù)特征確定權(quán)重。另一個(gè)要注意的問題是突發(fā)粒度。如果每次仲裁都把整個(gè)AXI事務(wù)走完長(zhǎng)事務(wù)會(huì)阻塞其他端口如果把事務(wù)切成更小的粒度切換開銷又隨之上升。工程上建議把自動(dòng)切分的粒度設(shè)置為和IP的burst length對(duì)齊比如burst length為16則仲裁粒度設(shè)為16拍數(shù)據(jù)這樣既保證連續(xù)性又避免獨(dú)占時(shí)間過長(zhǎng)。5.2 自定義時(shí)序約束和驗(yàn)證技巧當(dāng)設(shè)計(jì)規(guī)模變大以后綜合和布局布線工具不會(huì)自動(dòng)保證用戶接口時(shí)序一定收斂。對(duì)用戶接口相關(guān)路徑建議做以下約束對(duì)ui_clk創(chuàng)建真實(shí)的時(shí)鐘約束同時(shí)關(guān)聯(lián)ACLK。在約束文件中把用戶接口寄存器分組到邏輯時(shí)鐘域確保工具不會(huì)把這些路徑視為跨時(shí)鐘域而不做時(shí)序檢查。對(duì)異步復(fù)位釋放路徑添加set_false_path但對(duì)同步復(fù)位釋放路徑要保留檢查避免復(fù)位釋放引起的亞穩(wěn)態(tài)。對(duì)DDR4顆粒物理引腳要正確加入IDELAY約束這個(gè)一般由IP自動(dòng)生成但用戶盡量不要手動(dòng)改。在功能仿真階段建議使用IP自帶的memory model進(jìn)行隨機(jī)讀寫驗(yàn)證?？梢园押芏噙吔鐥l件放到仿真里跑比如滿FIFO狀態(tài)下突然停止讀、寫地址跨頁(yè)、burst長(zhǎng)度跨配置最大邊界等。仿真通過后再上板聯(lián)調(diào)問題定位會(huì)容易很多。5.3 從DDR4用戶接口到系統(tǒng)性能調(diào)優(yōu)的思路系統(tǒng)性能調(diào)優(yōu)不能只看用戶接口但用戶接口是數(shù)據(jù)進(jìn)入DDR控制器的咽喉。一個(gè)常見調(diào)優(yōu)路徑是先確認(rèn)DDR控制器的寫響應(yīng)時(shí)延如果寫響應(yīng)過慢可能意味著控制器內(nèi)部隊(duì)列已經(jīng)堆滿此時(shí)查一下用戶的訪問請(qǐng)求是否過于碎片化。碎片化問題通常表現(xiàn)為大量小長(zhǎng)度的突發(fā)、頻繁切換讀寫。系統(tǒng)層面可以做兩件事一是用DMA或者緩存模塊把小請(qǐng)求合并成大請(qǐng)求二是把讀和寫分區(qū)減少讀寫切換。比如視頻系統(tǒng)建議把采集寫入和顯示讀取分到不同地址區(qū)間分配訪問時(shí)段這樣DDR控制器能持續(xù)工作在同一“方向”帶寬利用率會(huì)顯著提升。我接手過一個(gè)4K視頻處理項(xiàng)目初版開發(fā)時(shí)讀寫交織頻繁實(shí)測(cè)DDR4帶寬利用率只有57%。后來把所有采集寫入和顯示讀取的調(diào)度剝離開利用幀緩存機(jī)制錯(cuò)峰訪問利用率提升到了82%。這個(gè)改善在用戶接口層面幾乎不用改代碼純粹靠業(yè)務(wù)調(diào)度就能獲得足以說明系統(tǒng)調(diào)配的重要性。5.4 關(guān)于DDR4用戶接口的幾點(diǎn)避坑心得調(diào)試DDR4的過程其實(shí)很大一部分時(shí)間是在和“不確定性”做斗爭(zhēng)。有的問題很隱蔽比如板子剛上電時(shí)偶爾初始化失敗熱機(jī)后一切正常有的問題在單板表現(xiàn)非常好但量產(chǎn)若干板后開始頻發(fā)。我的體會(huì)是不要一上來就懷疑用戶邏輯先確認(rèn)顆粒配置、電源、時(shí)鐘、SI這些“物理基礎(chǔ)”再回頭看代碼邏輯。見過不少同事在代碼里為了兼容某次偶發(fā)錯(cuò)誤加了一堆重試邏輯結(jié)果把DDR控制器時(shí)序打亂反而造成更多問題。有時(shí)候把問題往源頭追溯比如去檢查是不是DDR顆粒的VREF設(shè)置偏低比在用戶接口層打補(bǔ)丁要有效得多。另外要養(yǎng)成用腳本自動(dòng)化跑壓力測(cè)試的習(xí)慣。手點(diǎn)按鈕測(cè)十次不如寫個(gè)腳本連續(xù)測(cè)一晚上。測(cè)試腳本最好記錄運(yùn)行時(shí)間、錯(cuò)誤地址、錯(cuò)誤數(shù)據(jù)出現(xiàn)一次錯(cuò)誤也能完整復(fù)現(xiàn)。這個(gè)習(xí)慣幫我節(jié)省了大量排查時(shí)間強(qiáng)烈推薦。6. 結(jié)語(yǔ)中的最后一件事到最后還是想掏心窩子說一句DDR4 IP的用戶接口設(shè)計(jì)真正難的地方其實(shí)不在信號(hào)列表本身而在于你能否把底層存儲(chǔ)顆粒行為、控制器調(diào)度邏輯、上層訪問模型完全串起來。多看看IP的時(shí)序圖多寫幾輪仿真多跑幾次壓力測(cè)試經(jīng)驗(yàn)就是這么一點(diǎn)一點(diǎn)攢出來的。如果你手頭也正在為cal fail發(fā)愁或者被讀寫效率問題困擾不妨回頭想想我今天提到的這些細(xì)節(jié)復(fù)位有沒有做對(duì)、突發(fā)長(zhǎng)度有沒有對(duì)齊、wstrb有沒有置好、控制器切換開銷有沒有計(jì)入帶寬估算。把這些看得見摸得著的點(diǎn)都檢查一遍很多疑難問題往往就迎刃而解了。