99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

DPU方案深度拆解:從硬件規(guī)格到裸金屬與虛擬化落地

DPU方案深度拆解:從硬件規(guī)格到裸金屬與虛擬化落地 簡介BlueField-2 DPU解決方案官方資料系統(tǒng)性梳理了數(shù)據(jù)中心從以CPU為中心到向DPU卸載的演進(jìn)路徑適合云計算、網(wǎng)絡(luò)虛擬化、存儲加速與裸金屬架構(gòu)的工程師快速建立整體認(rèn)知。資源為單份PDF文件共4.7MB體量精煉便于通讀已有807人瀏覽學(xué)習(xí)。內(nèi)容從DPU定義與片上加速引擎切入列舉6.9B晶體管、8個64位Arm核心、100Gbps IPsec、50Gbps正則匹配、5M NVMe IOPS、200Gbps以太網(wǎng)與InfiniBand等關(guān)鍵指標(biāo)并給出惡意軟件檢測、視頻流、IPsec、云網(wǎng)絡(luò)覆蓋等場景下的加速倍數(shù)同時展開安全加速、存儲加速、網(wǎng)絡(luò)加速與裸金屬云方案穿插ConnectX-6 Dx、Arm A72子系統(tǒng)、PCIe Gen4交換等硬件細(xì)節(jié)并引入DOCA SDK與VMware Project Monterey等生態(tài)組件。整體資料能夠幫助讀者理解DPU如何將網(wǎng)絡(luò)、存儲、安全等基礎(chǔ)設(shè)施負(fù)載從x86 CPU卸載支撐裸金屬與虛擬化共存的下一代數(shù)據(jù)中心這一方向?qū)ξ磥砘A(chǔ)設(shè)施演進(jìn)亦有參考價值。1. DPU 浮出水面一份方案文檔為什么被當(dāng)成云基礎(chǔ)設(shè)施的轉(zhuǎn)折點把網(wǎng)絡(luò)、存儲和安全都塞進(jìn)一顆芯片讓主機(jī) CPU 專注于業(yè)務(wù)負(fù)載同時還要支撐裸金屬和虛擬化兩種形態(tài)——這不是下一代網(wǎng)卡的愿景而是一份 2020 年底發(fā)布的 DPU 方案文檔直接給出的目標(biāo)。單純看名字DPU 似乎只是 SmartNIC 的另一個縮寫但這套方案真正要說的是數(shù)據(jù)中心本身正在成為一個可編程、可加速的計算單元。這份文檔的硬指標(biāo)很直接一顆 DPU 芯片包含 569 億晶體管、8 個 64 位精簡指令集 CPU 核心、雙 16 通道 VLIW 引擎網(wǎng)絡(luò)帶寬做到 200Gbps最高可替代約 125 個 x86 CPU 核心。放在當(dāng)時的時間點沒有多少芯片廠商敢把“替代 125 個 CPU 核心”寫進(jìn)官方材料里。更值得關(guān)注的是文檔沒有停留在硬件規(guī)格而是把安全、存儲、網(wǎng)絡(luò)三條基礎(chǔ)設(shè)施加速線分別成章展開并在最后引出一個生態(tài)化的開發(fā)者平臺。這套邏輯已經(jīng)超出了傳統(tǒng)網(wǎng)卡產(chǎn)品手冊的范疇更像是在定義一類新的計算基礎(chǔ)設(shè)施組件。對從業(yè)者來說這份資料值得讀的原因不是某個數(shù)字多驚艷而是它回答了三個長期懸而未決的問題裸金屬云怎么補(bǔ)上虛擬化隔離的空缺存儲組合如何做到讓遠(yuǎn)程存儲看起來像本地盤安全信任根能不能從 CPU 遷移到專用硬件上接下來的分析就從這三個問題出發(fā)逐層拆解這份方案里的信號。2. 方案拆解569 億晶體管與“替代 125 個 x86 核心”的底氣來自哪里2.1 從“網(wǎng)卡”到“基礎(chǔ)設(shè)施單片系統(tǒng)”定位徹底變了方案文檔在開頭給出一組對比左邊是傳統(tǒng)硬件設(shè)備時代專門的網(wǎng)卡、專門的安全網(wǎng)關(guān)、專門的存儲控制器每樣設(shè)備都承擔(dān)一項單一職能。右邊則是軟件定義的數(shù)據(jù)中心基礎(chǔ)設(shè)施把網(wǎng)絡(luò)、存儲、安全、管理全部做成軟件運行在通用的處理器上。而這份方案提出的 DPU正是這組對比的中間形態(tài)——它不是把軟件繼續(xù)堆在 CPU 上而是把這一整層軟件定義基礎(chǔ)設(shè)施搬進(jìn)一顆芯片里文檔原話叫“基礎(chǔ)設(shè)施即芯片”。從行業(yè)角度看這個定位轉(zhuǎn)變很關(guān)鍵。傳統(tǒng)網(wǎng)卡解決的是數(shù)據(jù)從網(wǎng)線到內(nèi)存的搬運問題主要工作是校驗、分段、中斷和隊列管理DPU 則內(nèi)置了完整的 CPU 子系統(tǒng)、加速引擎和高速網(wǎng)絡(luò)控制器能夠獨立運行軟件棧。換句話說DPU 不再是一塊“更聰明的網(wǎng)卡”而是一臺沒有顯示器、跑基礎(chǔ)設(shè)施軟件的微型計算機(jī)插在服務(wù)器的 PCIe 插槽上替主機(jī) CPU 扛下所有重復(fù)性的基礎(chǔ)設(shè)施操作。這份文檔反復(fù)強(qiáng)調(diào)一個概念數(shù)據(jù)中心是新的計算單元。過去談算力看的是 CPU 和 GPU現(xiàn)在加上了 DPU 這一項。三者的分工大致是CPU 跑通用業(yè)務(wù)邏輯GPU 跑并行計算和大模型訓(xùn)練DPU 跑數(shù)據(jù)中心基礎(chǔ)設(shè)施服務(wù)。對于云廠商和大型企業(yè) IT 團(tuán)隊來說這個分工意味著選型邏輯會從“買多少核的 CPU”擴(kuò)展成“整套計算底座怎么搭”。2.2 核心規(guī)格表不是網(wǎng)卡是一臺小型服務(wù)器文檔第 6 頁給出了 BlueField-2 的完整規(guī)格可以整理成下面這張表。讀這張表時請先不要想著“這是網(wǎng)卡參數(shù)”而是把它當(dāng)作“一臺 1U 服務(wù)器的小型化參數(shù)”來看。規(guī)格項文檔標(biāo)注對從業(yè)者的意義晶體管規(guī)模56.9B569 億已接近當(dāng)前主流 GPU 的集成度說明是完整 SoCCPU 子系統(tǒng)8 個 64 位 RISC 核心最高 2.5GHz8MB L2、6MB L3板載獨立計算能力可跑控制面和協(xié)議棧加速引擎雙 16 通道 VLIW 引擎用于正則、加密、壓縮等固定功能卸載網(wǎng)絡(luò)能力200Gbps 以太網(wǎng) / InfiniBand支持 NRZ 與 PAM4 調(diào)制滿足下一代云網(wǎng)絡(luò)帶寬需求安全加速100Gbps IPsec50Gbps RegEx加解密與深度報文檢測可在線處理視頻流100Gbps 視頻流處理可用于轉(zhuǎn)碼、內(nèi)容識別等重負(fù)載存儲性能最高 5M NVMe IOPs存儲章節(jié)標(biāo)注 5.4M IOPs 4K小 I/O 隨機(jī)讀寫不再是主機(jī) CPU 的負(fù)擔(dān)PCIe 拓?fù)浼?PCIe 交換機(jī)16 通道 Gen4支持 Root Complex 與 End Point 模式既能做設(shè)備也能做根節(jié)點部署形態(tài)靈活帶外管理1GbE 管理端口管理與數(shù)據(jù)面分離運維更安全先把晶體管規(guī)模單獨拿出來看569 億晶體管不是一顆普通網(wǎng)卡的體量它已經(jīng)進(jìn)入了 SoC 的領(lǐng)域。這意味著芯片上除了網(wǎng)絡(luò)控制器還容納了 CPU 核心、緩存陣列、各種加速引擎和 PCIe 交換結(jié)構(gòu)。8 個 64 位 RISC 核心在這個架構(gòu)里不是給業(yè)務(wù)虛擬機(jī)用的而是用來跑數(shù)據(jù)中心基礎(chǔ)設(shè)施軟件——比如 Open vSwitch 控制面、IPsec 協(xié)議棧、存儲虛擬化層、安全策略引擎。文檔里描述為“分片 Tile 架構(gòu)”4 個 Tile 之間共享 L3 緩存這種設(shè)計是為了讓不同加速任務(wù)之間不會互相爭搶內(nèi)存帶寬。PCIe 部分特別值得展開。這顆 DPU 集成了完整的 PCIe 交換機(jī)16 條通道可以按需要拆分并且同時支持 Root Complex 和 End Point 兩種模式。End Point 模式對應(yīng)傳統(tǒng)網(wǎng)卡或存儲控制卡的角色Root Complex 模式則讓 DPU 可以直接管理下游設(shè)備比如掛載 NVMe 固態(tài)盤后把整塊存儲資源通過 SNAP 框架共享給主機(jī)。這種靈活的拓?fù)淠芰κ呛竺嫠新憬饘俸痛鎯M合場景的基礎(chǔ)。選型時如果再有人跟你說“DPU 就是速率更高的網(wǎng)卡”拿這張表就能把問題講清楚。2.3 效率倍數(shù)2.5 倍到 150 倍怎么讀才不會翻車方案中有一張應(yīng)用效率表列出單個 DPU 在特定場景下相當(dāng)于額外增加多少 CPU。原文數(shù)據(jù)整理如下工作負(fù)載等效額外 CPU 倍數(shù)云覆蓋網(wǎng)絡(luò)2.5X惡意軟件特征匹配10X視頻流轉(zhuǎn)碼/流處理15XIPsec 加密30X彈性塊存儲50XNG 有狀態(tài)防火墻150X第一次看到 150X 時我第一反應(yīng)是懷疑測試條件。這個數(shù)字本身不是通用收益承諾而是針對特定負(fù)載的對照結(jié)果NG 有狀態(tài)防火墻屬于典型的“狀態(tài)匹配 連接跟蹤 加解密”混合負(fù)載這些操作在通用 CPU 上既耗算力又難優(yōu)化而在 DPU 里由專用引擎和可編程流水線協(xié)作處理倍數(shù)差距自然大。相反云覆蓋網(wǎng)絡(luò)僅 2.5 倍說明這類負(fù)載已經(jīng)接近通用處理器的優(yōu)化極限卸載收益有限。讀這類倍數(shù)表時行業(yè)慣例是從中提取方向性的結(jié)論凡是“重復(fù)、固定格式、長尾查詢”型的基礎(chǔ)設(shè)施操作都是 DPU 加速的重點。惡意軟件特征匹配和正則匹配屬于模式固定的大規(guī)模掃描IPsec 屬于固定的加解密流水線彈性塊存儲屬于高頻小 I/O 轉(zhuǎn)發(fā)。把這些操作從 CPU 挪走主機(jī) CPU 就能把更多精力放在業(yè)務(wù)邏輯上。至于廠商宣稱的“替代 125 個 x86 CPU 核心”更合理的理解是在一臺滿載基礎(chǔ)設(shè)施負(fù)載的服務(wù)器上DPU 接管原本需要約 125 個核心才能完成的工作而不是說一顆 DPU 能頂 125 核的性能。任何一個認(rèn)真做選型的人都應(yīng)該把這份表當(dāng)作 PoC 起點而不是采購承諾。3. 安全、存儲、網(wǎng)絡(luò)三條加速線DPU 到底改寫了什么3.1 安全安全邊界從核心數(shù)據(jù)中心向每一臺主機(jī)“下沉”這份方案在安全章節(jié)用了非常直白的描述安全正在從邊界移到服務(wù)器內(nèi)部。過去的數(shù)據(jù)中心安全模型是南北向的——外部流量先經(jīng)過核心防火墻再進(jìn)入服務(wù)器東西向流量在服務(wù)器之間跑往往只能依賴虛擬化平臺自帶的策略。這種模型在物理機(jī)上問題不大但在多租戶云環(huán)境里已經(jīng)過時一旦租戶虛擬機(jī)被攻破橫向移動幾乎暢通無阻。DPU 給出的做法是把安全能力內(nèi)嵌到每一臺主機(jī)。文檔明確列出了分布式 NG 防火墻、IDS/IPS、DDoS 防護(hù)、微隔離、深度包檢測、主機(jī)內(nèi)省等能力同時把 Root of Trust信任根放在 DPU 上與控制面隔離。翻譯成部署語言就是每臺物理機(jī)的入站出站流量在 DPU 里就已經(jīng)完成狀態(tài)檢測、規(guī)則匹配和加密處理不再需要把流量繞行到集中的防火墻設(shè)備。這樣做的好處很直接攻擊面急劇縮小因為即使主機(jī)操作系統(tǒng)被完全攻破租戶也觸碰不到 DPU 上運行的安全策略同時威脅響應(yīng)粒度從“整個 VPC”細(xì)化到“單臺主機(jī)、單個工作負(fù)載”。文檔特別強(qiáng)調(diào)了一個概念信任遷移到 DPU。以前服務(wù)器信任根建立在 CPU 的 TPM 和主板固件上虛擬化安全依賴 Hypervisor現(xiàn)在 DPU 提供了獨立的硬件信任鏈。對于運行裸金屬云的企業(yè)這一點是決定性的——裸金屬租戶沒有 Hypervisor 隔離只有 DPU 能在硬件層面把租戶與租戶、租戶與云管理面隔開。安全邊界從物理防火墻上移到 DPU這個趨勢在文檔里不是某個功能的附帶說明而是專門一節(jié)的重點值得安全團(tuán)隊關(guān)注。3.2 存儲遠(yuǎn)程存儲偽裝成本地 NVMe裸金屬云也能享受“本地盤”存儲加速是這份方案里含金量最高的一章。核心是一個叫 SNAP 的框架DPU 通過 PCIe 接口向主機(jī)模擬出標(biāo)準(zhǔn)的 NVMe 控制器或 virtio-blk 設(shè)備主機(jī)操作系統(tǒng)看到的是一塊實實在在的本地固態(tài)盤但數(shù)據(jù)實際上全部落在遠(yuǎn)端存儲池上走的是 NVMe-oF、iSCSI、iSER、NFS 或 Ceph。整個協(xié)議轉(zhuǎn)換、RDMA 卸載、加解密、去重壓縮全部在 DPU 內(nèi)部完成。這套機(jī)制解決了裸金屬云長期的一個尷尬裸金屬服務(wù)器為了性能都要物理盤但物理盤無法跨節(jié)點調(diào)度也無法在故障時快速重建。有了 SNAP裸金屬主機(jī)可以像虛擬機(jī)一樣從遠(yuǎn)端存儲池引導(dǎo)和掛載數(shù)據(jù)盤完全不用裝額外的驅(qū)動——文檔特意強(qiáng)調(diào)支持 inbox 標(biāo)準(zhǔn)驅(qū)動操作系統(tǒng)任意版本都能識別。同時存儲章節(jié)給出最高 5.4M IOPs 4K 的數(shù)據(jù)這個量級已經(jīng)接近本地 NVMe 盤的體驗說明遠(yuǎn)程存儲的性能瓶頸通過 DPU 卸載后基本被消除。從基礎(chǔ)設(shè)施演進(jìn)的角度看SNAP 最大的信號是“存儲可組合性”。傳統(tǒng)超融合方案用軟件把多臺服務(wù)器的本地盤聚合成存儲池但虛擬機(jī)仍然被限制在物理節(jié)點上DPU 把遠(yuǎn)程存儲直接暴露為本地 PCIe 設(shè)備存儲資源就可以脫離物理計算節(jié)點獨立擴(kuò)展。文檔原話說這將“打破企業(yè)云經(jīng)濟(jì)學(xué)”——計算不足時只擴(kuò)計算節(jié)點存儲不足時只擴(kuò)存儲節(jié)點超賣比例和機(jī)架密度都能顯著優(yōu)化。對于正在評估超融合或分布式存儲架構(gòu)的團(tuán)隊這條值得單獨做一輪驗證。3.3 網(wǎng)絡(luò)vSwitch、vRouter 的卸載是整套方案的數(shù)據(jù)面骨架網(wǎng)絡(luò)加速章節(jié)在這份 PDF 里恰好停在標(biāo)題處但前面各章已經(jīng)透露出足夠的網(wǎng)絡(luò)卸載邏輯。原文檔在介紹 DPU 加速能力時明確列出軟件定義網(wǎng)絡(luò)、vRouter、vSwitch、NAT/負(fù)載均衡、覆蓋網(wǎng)絡(luò)隧道以及 Telemetry 遙測。這些內(nèi)容共同指向一件事主機(jī) CPU 不再負(fù)責(zé)在用戶態(tài)和內(nèi)核態(tài)之間搬運網(wǎng)絡(luò)包DPU 里的可編程流水線直接處理匹配-動作表。行業(yè)里常說的“卸載 OVS 數(shù)據(jù)面”在這份方案里的實現(xiàn)方式大致是Hypervisor 或容器宿主機(jī)上保留一個標(biāo)準(zhǔn)網(wǎng)絡(luò)接口所有虛擬網(wǎng)絡(luò)策略通過控制下發(fā)到 DPUDPU 內(nèi)核對來自虛擬機(jī)的數(shù)據(jù)包執(zhí)行 VXLAN 封裝解封裝、隧道頭處理、安全檢測和負(fù)載均衡然后直接轉(zhuǎn)發(fā)到物理網(wǎng)絡(luò)。傳統(tǒng)軟件交換機(jī)最耗 CPU 的部分被移出主機(jī)網(wǎng)絡(luò)吞吐變得可預(yù)測。這里要提醒一句網(wǎng)絡(luò)加速的收益最容易被高估也最容易被低估。高估的人以為任何網(wǎng)絡(luò)流量都能跑滿 200G 線速低估的人覺得網(wǎng)絡(luò)卸載只是讓測試好看。實際部署中收益取決于流表規(guī)模和流量模型流表規(guī)則少、大包吞吐多的場景卸載收益明顯規(guī)則多、小包密集的場景DPU 的控制面和逐包處理邏輯會影響延遲。方案文檔把網(wǎng)絡(luò)加速列為獨立章節(jié)說明它在整個 DPU 架構(gòu)里是數(shù)據(jù)面的骨架但不是萬能加速器。選型時最務(wù)實的做法是先把自己環(huán)境的流量鏡像出來在 DPU 上跑一遍真實測試。4. 裸金屬與虛擬化DPU 如何補(bǔ)上云主機(jī)的最后一層隔墻4.1 裸金屬云DPU 是那堵看不見的“虛擬機(jī)隔離墻”裸金屬云的業(yè)務(wù)邏輯很簡單租戶需要獨占物理機(jī)的 CPU、內(nèi)存和網(wǎng)卡不想要 Hypervisor 的性能損耗也不能容忍鄰居租戶的干擾。但性能直通換來的是安全隔離的缺失——虛擬機(jī)時代由 Hypervisor 提供的網(wǎng)絡(luò)隔離、存儲加密和快照能力在裸金屬環(huán)境下全部需要重新解決。過去最常見的方案是把裸金屬服務(wù)器放進(jìn)獨立 VLAN用物理防火墻做粗粒度隔離但租戶內(nèi)部的微隔離完全做不了。DPU 改變了這個等式。裸金屬主機(jī)插入 DPU 后網(wǎng)絡(luò)流量從物理網(wǎng)卡進(jìn)入 DPU由 DPU 執(zhí)行虛擬網(wǎng)絡(luò)策略和安全規(guī)則再交給主機(jī)操作系統(tǒng)。租戶看到的是一塊完全直通的網(wǎng)絡(luò)設(shè)備實際上數(shù)據(jù)已經(jīng)經(jīng)過了一層硬件隔離墻。文檔里關(guān)于裸金屬與虛擬化的說明用的正是這個邏輯裸金屬 Linux 和 Windows 都能被隔離網(wǎng)絡(luò)和安全策略可以在同一套編排體系中管理。這意味著裸金屬云不必再犧牲精細(xì)的安全控制云服務(wù)商可以用一套統(tǒng)一的策略管理虛擬機(jī)和裸金屬主機(jī)。從成本角度看裸金屬云最大的成本項是服務(wù)器閑置。沒有 DPU 時租戶買了裸金屬實例后基礎(chǔ)設(shè)施軟件云監(jiān)控、安全代理、虛擬網(wǎng)絡(luò)只能占用租戶的 CPU 周期有 DPU 后這些全部跑到 DPU 上租戶拿到的 CPU 資源更干凈云廠商的超賣計算也更準(zhǔn)確。文檔在存儲部分提到的“OS 無關(guān)、支持舊系統(tǒng)”同樣適用于裸金屬只要操作系統(tǒng)能識別標(biāo)準(zhǔn) NVMe 和網(wǎng)絡(luò)設(shè)備就能無縫接入 DPU 管控的環(huán)境。4.2 虛擬化Hypervisor 只管計算網(wǎng)絡(luò)與存儲交給 DPU 之后發(fā)生了什么方案文檔里用了一整頁來描述 DPU 與主流虛擬化平臺的聯(lián)合方案核心思路是重新劃分 Hypervisor 的職責(zé)。在傳統(tǒng)架構(gòu)中Hypervisor 要管 CPU 調(diào)度、內(nèi)存虛擬化、虛擬網(wǎng)絡(luò)、虛擬存儲和安全策略前兩項是它擅長的后三項在云規(guī)模下會消耗大量資源。引入 DPU 后虛擬網(wǎng)絡(luò)、安全服務(wù)和存儲訪問全部卸載到 DPUHypervisor 只保留計算調(diào)度功能。這個改動對性能和運維都有深遠(yuǎn)影響。性能上虛擬機(jī)發(fā)送數(shù)據(jù)包時不再需要 Hypervisor 陷入處理而是直接把 I/O 請求推到 DPU由 DPU 完成策略匹配和轉(zhuǎn)發(fā)延遲路徑變短。運維上網(wǎng)絡(luò)和安全策略的配置不再依賴 Hypervisor 的插件生態(tài)而是在 DPU 上以獨立服務(wù)形式運行即使 Hypervisor 本身崩潰或需要升級DPU 上的安全策略仍然生效。文檔提到的主機(jī)管理通道獨立走 1GbE 帶外端口正是為了讓管理面與數(shù)據(jù)面徹底隔離。更值得關(guān)注的是這個設(shè)計為虛擬機(jī)提供了一種“物理級”的隔離。傳統(tǒng)虛擬化安全依賴 Hypervisor 自身不被攻破而 DPU 的安全控制面與主機(jī)完全隔離虛擬機(jī)即使越獄逃逸到 Hypervisor也無法觸碰 DPU 上的策略。這種“信任根下沉”的架構(gòu)正在成為混合云環(huán)境中高安全合規(guī)需求的默認(rèn)選項。對運維團(tuán)隊來說未來做虛擬化排障時可能要習(xí)慣一個新的邊界虛擬機(jī)內(nèi)看網(wǎng)絡(luò)DPU 外看路徑兩層分開查。4.3 生態(tài)SDK 和參考應(yīng)用決定 DPU 不是“一次性硬件”整套方案的最后一層是軟件生態(tài)。文檔特別強(qiáng)調(diào)DPU 配套的開發(fā)者平臺提供開放 API包括 DPDK、SPDK、P4 等標(biāo)準(zhǔn)接口同時提供認(rèn)證過的參考應(yīng)用和第三方解決方案支持多種操作系統(tǒng)。這里的信號很清楚硬件只是載體真正的護(hù)城河在于圍繞基礎(chǔ)設(shè)施應(yīng)用建立的軟件生態(tài)。從開發(fā)者的視角看DPDK 解決了高性能包處理框架的問題SPDK 解決了存儲數(shù)據(jù)面用戶態(tài)驅(qū)動的問題P4 解決了網(wǎng)絡(luò)流水線可編程的問題。DPU 把這三者整合進(jìn)一套 SDK并給出基礎(chǔ)設(shè)施組件包處理加速、加密與信任根、RDMA、存儲模擬、管理和遙測。這意味著一個團(tuán)隊不需要分別調(diào)網(wǎng)卡驅(qū)動、存儲驅(qū)動和安全引擎大部分基礎(chǔ)設(shè)施功能都可以在 SDK 的框架內(nèi)完成開發(fā)。文檔里提到“認(rèn)證參考應(yīng)用”等于告訴集成商常見場景已經(jīng)有人跑通不需要從零踩坑。對于采購方生態(tài)成熟度比硬件參數(shù)更重要。一顆 DPU 的硬件生命周期可能是五年但軟件生態(tài)決定了五年里你能在上面跑多少新功能。文檔結(jié)尾把生態(tài)列為單獨篇幅而不是只講芯片規(guī)格說明方案方已經(jīng)把“開發(fā)者平臺”當(dāng)作與硬件同等重要的產(chǎn)品。評估 DPU 時除了看參數(shù)表還應(yīng)該看配套 SDK 的文檔質(zhì)量、社區(qū)活躍度和參考案例是否貼近自己的業(yè)務(wù)。沒有軟件可跑的高速芯片最后只能變成昂貴的數(shù)據(jù)通路加速器。5. 常見誤判別把 DPU 方案當(dāng)成“高檔網(wǎng)卡”來選型5.1 誤判一DPU 只是“更快的網(wǎng)卡”誤判點看到 200Gbps 帶寬和 PCIe Gen4就認(rèn)為這是一塊性能更高的智能網(wǎng)卡用傳統(tǒng)網(wǎng)卡的選型方法比較速率和隊列數(shù)。為什么這是誤判DPU 與網(wǎng)卡最大的區(qū)別在于板載 CPU 子系統(tǒng)和可編程流水線。網(wǎng)卡是固定功能設(shè)備DPU 是能運行自定義軟件的計算節(jié)點。如果只按網(wǎng)卡思路選型你會忽略它真正能卸載什么任務(wù)也無法判斷基礎(chǔ)設(shè)施服務(wù)能不能從 CPU 遷到 DPU 上。怎么看選型時不要問“速率跑多高”而是問三件事第一主機(jī)上哪些 CPU 周期能被 DPU 接管第二DPU 上能運行誰的代碼、控制面是否開放第三網(wǎng)絡(luò)、存儲、安全是否共享同一套可編程框架。如果三個答案都明確它才是 DPU否則只是普通網(wǎng)卡。拿著網(wǎng)卡的框架去套 DPU是團(tuán)隊最容易犯的第一個錯。5.2 誤判二只看網(wǎng)絡(luò)速度不看內(nèi)存子系統(tǒng)與 PCIe 拓?fù)湔`判點把 200Gbps 當(dāng)作衡量 DPU 性能的唯一標(biāo)準(zhǔn)忽略了 CPU 核心、緩存容量、PCIe 通道數(shù)和 Root Complex/Endpoint 模式。為什么這是誤判DPU 本質(zhì)上是一臺微型服務(wù)器它的吞吐上限由網(wǎng)絡(luò)接口、CPU 子系統(tǒng)、內(nèi)存帶寬、PCIe 拓?fù)涔餐瑳Q定。緩存不夠會導(dǎo)致命中率下降PCIe 通道不足會導(dǎo)致掛載 NVMe 盤的數(shù)量受限Root Complex 模式不可用則意味著存儲組合方案無法落地。這些參數(shù)里任何一項太弱都會成為整個數(shù)據(jù)路徑的瓶頸。怎么看把 DPU 當(dāng)作“一臺擁有 8 個核心、8MB L2、6MB L3 的小型服務(wù)器”來評估。先畫一張數(shù)據(jù)路徑圖流量從網(wǎng)卡進(jìn)入后哪些字段會被 CPU 核心處理哪些走專用加速引擎I/O 請求如何到達(dá) PCIe switch。路徑上任何一環(huán)不滿足性能目標(biāo)都不能錄取。只看帶寬宣傳頁等到 PoC 時發(fā)現(xiàn) CPU 子系統(tǒng)跟不上那就是選型上最典型的翻車點。5.3 誤判三以為裝上 DPU現(xiàn)有軟件棧不用改誤判點認(rèn)為 DPU 是透明加速設(shè)備插上去之后虛擬機(jī)、容器、存儲協(xié)議和安全策略全部照舊性能自動提升若干倍。為什么這是誤判DPU 的收益依賴軟件棧配合。想用 SNAP 框架需要把存儲路徑從主機(jī)的內(nèi)核驅(qū)動切換為 virtio-blk 或 NVMe 模擬設(shè)備想卸載安全策略需要把防火墻規(guī)則從 Hypervisor 遷移到 DPU 的控制面想優(yōu)化網(wǎng)絡(luò)數(shù)據(jù)面需要把流程表項下放到 DPU 可編程流水線。文檔專門用一整章講 SDK 和參考應(yīng)用已經(jīng)暗示這不是即插即用。怎么看在規(guī)劃階段把改造范圍列清楚。先選一個負(fù)載做試點比如把 IPsec 終端遷移到 DPU 上或者把某類虛擬機(jī)的存儲路徑切換到 SNAP。觀察試點前后的數(shù)據(jù)路徑變化確認(rèn)哪些組件需要升級哪些代碼需要重寫。不要指望一次接入全部卸載DPU 更適合分階段交付每交付一個場景都做一次完整驗證。5.4 誤判四把 150 倍、替代 125 個 x86 核心當(dāng)成通用收益誤判點把方案文檔里的效率倍數(shù)寫進(jìn)項目收益測算推斷一臺服務(wù)器可以少買 125 個 CPU 核心或者任何安全負(fù)載都能獲得 150 倍加速。為什么這是誤判文檔中 150X 是對 NG 有狀態(tài)防火墻這一特定負(fù)載的對照值云覆蓋網(wǎng)絡(luò)場景只有 2.5X。實際收益高度依賴報文大小、連接數(shù)、規(guī)則條數(shù)和 CPU 型號。廠商在大流量、大包、規(guī)則數(shù)量適中的環(huán)境下測試出的倍數(shù)換到你的生產(chǎn)環(huán)境未必成立。把未經(jīng)驗證的倍數(shù)當(dāng)成投資回報依據(jù)項目立項時很激進(jìn)驗收時很尷尬。怎么看把文檔里的數(shù)字當(dāng)作“上限參考”而不是“保底承諾”。具體做法是用真實流量鏡像在 DPU 和純 CPU 環(huán)境各跑一輪記錄相同負(fù)載下的 CPU 占用率、吞吐和延遲。如果 PoC 測出的收益與官方倍數(shù)差距在可接受范圍再按這個數(shù)據(jù)做規(guī)?;扑?。任何跳過 PoC 的效率測算都是黑匣子黑匣子里的數(shù)字不能用于采購決策。6. 接下來怎么走三個趨勢信號與一份選型行動清單從這份方案往后看DPU 正在從“新硬件品類”變成“云基礎(chǔ)設(shè)施的默認(rèn)底座”。第一個信號是裸金屬云和容器實例會加速采用 DPU 來補(bǔ)齊隔離短板。過去裸金屬的賣點是性能代價是粗放的安全管控DPU 讓裸金屬獲得接近虛擬機(jī)的策略隔離能力后高安全合規(guī)的客戶也會開始接受裸金屬形態(tài)云廠商可以因此提高裸金屬占比和資源利用率。第二個信號是存儲組合與超融合的邊界會繼續(xù)模糊。SNAP 類技術(shù)讓遠(yuǎn)程存儲看起來像本地 NVMe 盤存儲資源池與計算節(jié)點可以獨立擴(kuò)容。未來服務(wù)器本地盤可能只是緩存真正的持久化數(shù)據(jù)全部落在由 DPU 加速的遠(yuǎn)端存儲池里。這會讓超融合架構(gòu)從“軟件定義存儲”轉(zhuǎn)向“硬件加速存儲組合”存儲性能的衡量標(biāo)準(zhǔn)也會從單一節(jié)點 IOPS 變成端到端數(shù)據(jù)路徑延遲。第三個信號是安全信任根遷移。當(dāng)信任根從 CPU 和 Hypervisor 轉(zhuǎn)移到 DPU合規(guī)審計的關(guān)注點也會變化。以前審計虛擬機(jī)鏡像、Hypervisor 安全補(bǔ)丁、主機(jī)防火墻規(guī)則未來還要審計 DPU 上運行的策略版本、信任鏈狀態(tài)和帶外管理日志。安全團(tuán)隊需要提前構(gòu)建一套能觀測 DPU 狀態(tài)的管理面不然等合規(guī)檢查再補(bǔ)時間完全不夠。行動上建議按下面這張清單評估 DPU 方案比直接看廠商 PPT 實用得多評估維度要確認(rèn)的具體問題網(wǎng)絡(luò)數(shù)據(jù)面流表規(guī)模和大小包混合場景下吞吐與延遲是否達(dá)標(biāo)CPU 子系統(tǒng)板載核心數(shù)、緩存容量是否滿足控制面軟件運行需求存儲協(xié)議是否原生支持 NVMe-oF、iSCSI、NFS、Ceph 等混合存儲路徑安全能力信任根是否獨立、FW 規(guī)則能否熱更新、隔離粒度到主機(jī)還是工作負(fù)載軟件生態(tài)SDK 文檔和參考應(yīng)用是否貼近自己的業(yè)務(wù)場景支持哪些操作系統(tǒng)版本帶外管理管理口是否獨立、能否在主機(jī)宕機(jī)時完成遠(yuǎn)程固件升級與狀態(tài)采集我自己的經(jīng)驗是兩年前第一次接觸同類 DPU 方案時我也被 150X 的倍數(shù)吸引覺得這是基礎(chǔ)設(shè)施性能的終極答案。結(jié)果在真實環(huán)境里跑了一圈發(fā)現(xiàn)收益集中在安全加解密和塊存儲轉(zhuǎn)發(fā)普通網(wǎng)絡(luò)轉(zhuǎn)發(fā)提升并不夸張。從那以后我每次看這類方案都會強(qiáng)制走一遍流程先確認(rèn)目標(biāo)負(fù)載再核對板載 CPU 與 PCIe 拓?fù)渥詈笥?PoC 驗證數(shù)據(jù)路徑而不是直接信宣傳頁。希望這份拆解能幫你在評估 DPU 時少走一段彎路把每一分投資都花在真正能落地的加速場景上。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲免费婷婷| 综合色七七| 亚洲色爽| 婷婷五月精品中文| 免费无码毛片一区二区A片| 丁香激情婷婷网| 五月天久久网站| 激情五月婷婷网| 人人爽人人爽人人爽人人爽| 久久五月婷婷电影| 久久婷婷五月天蜜桃| 丁香婷婷网| 国产毛片精品一区二区色欲黄A片| 五月丁香在线综合| 中文字幕簧片| 日本本土色网第一区| 大香蕉伊然在亚洲90| 亚洲无码色色| 丁香六月激情| 欧美黄色AA片哗啦啦啦| 99热99这里有免费的精品| 人妻视频在线| 国产毛片操B| 色综合久久44| 丁香五月先锋| 色五月 五月婷婷| 99热香港| 婷婷丁香色五月天久久88| 色色五月天com| 色婷婷成人做爰A片免费看网站| 婷婷人人操| 人妻熟妇六区| 九月婷婷丁香| 99ri视频在线观看| www.婷婷com| 热久久99热欧美国产亚洲| 99热这里只有精品18| 五月久久五月激情| 久久人人看| 人操人| 另类少妇人与禽zOZZ0性伦| 亚洲精品色色色| 网色99| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 99热综合| 秋霞免费视频| 成人国产欧美大片一区| 内射人妻视频国内| 影音先锋自拍网| 丁香五月久久| 双性美人被调教到喷水A片| 激情小说五月天| 久久WW| 五月婷婷六月激情在线| 这里只有视频精品| 丁香五月婷婷动漫视频| 激情五月婷婷啪啪| 丁香六月无码| 婷婷99狠狠躁| 色婷婷激情四射视频| 激情五月,色播五月| 精品人妻久久久| 九九这里只有精品在线视频| 99热香港| 岛国资源站| 99久99久| AV网在线观看| 五月丁香激| 五月开心啪啪| 夜夜大香蕉婷婷丁香| www.com任你艹| 9久热在线精品| 色婷婷精| 69久久99精品久久久久婷婷| 丁香六月婷婷综情欧美| 亚洲女婷婷五月基地综合久久久| 日本在线噜噜| 深爱激情综合| 亚洲无码99| www.狠狠操| 久久五月视频| 99青青草99| 中文字幕91,综合| 97久久精品视频| 影音先锋男人AV资源站| 91精品无码久久久久久五月天| 丁香五月123| 99偷拍视频在线日本| 精品爆操| 九九艹女| 性生活视频98791| 超碰99资源站| 青青热久精品视频在线观看| 欧美啄木乌丝袜人妻系列| 亚洲第一精品网站| 婷婷色导航| av色色国产| 五月色网| 9999热在线观看| 久久网日本| 天天射影| 亚洲激情婷婷| 丁香六月综合激情| 丁香五月最新网址| 26uuu色噜噜精品一区| 五月色欧洲| 热无码A∨| 九九婷婷五月天影视| 就爱射中文字幕资源网| 五月天激情影院| 九九热超碰| 中文字幕日产A片在线看| 丁香五月天AV在线 | 五月花亭亭| 久久婷婷六月综合| 天天操天天插| 精品少妇人妻AV无码专区偷人| 91在线观看www| 丝袜激情网| 人人草成人视频| 色狠狠色狠狠| 丁香六月在线| 国产在线自| 激情婷婷内射| 婷婷亚洲综合| 国产精品电| 五月精品99综合| 99ri久久| 老司机日日夜夜青草| 91九色精品熟女内射| 激情综合色五月丁香| 国产无人区大片| 一本道综合网| 五月丁香六月激情综合| 五月丁香六月婷| 黄色激情网站在线观看| 免费精品66| 色婷五月天| 男女啪啪做爰高潮无遮挡| 成人免费视频一区| 久久人妻系列| 精品人妻伦九区久久AAA片| 热久久色| 婷婷五月天高清无码| 九九99久久| 五月婷久久综合| 色五月天天在线观看资源站| 中文字幕永久免费| 丁香激情五月| 可以直接看的av| 一本大道伊人AV久久综合| 色九月婷婷综合| 色色色.COM| 天天爽天天干| 俺也去婷婷五月天第五色| 久久婷婷五月天蜜桃| 超碰99在线| 操人精品| 激情五月天网| 色婷婷五月天无码视频| 能直接看的AV网站| 9色婷婷| 思思热闹这里只有精品| 五月丁香六月婷婷久久| 婷婷色综合| 香焦网五月天| 蜜桃婷婷狠狠久久| 五月婷婷AV| 国产AV国片偷人妻麻豆| 五月丁香六月婷婷综合免| 色婷婷天堂| 婷婷五月丁香激情图片| 夜夜操天天爽| 成人片在线免费看| 婷婷丁香六月| 五月婷婷综合久久| 天天色色天天| 丁香五月综合色婷婷| 丁香五月中文字幕| 日韩成人电影AV| 亚洲成人av在线| 五月丁香婷婷99| 色狠狠综合| 婷婷五月天性色| 国产精品久久在线观看技巧| 99国产精品白浆在线观看免费| 美女亚洲五月丁香| 少妇被下春药玩弄A片| 久热这里只有精品3| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 91超级碰| 嫩草AV久久伊人妇女超级A| 五月丁香婷婷啪啪综合| 亚洲永久四色| 99热欧| 超碰在线99| 亭亭丁香久久五月| 99在线看视频| 丁香五月成人| 九九这里只有精品在线视频| 国产精品久久久久久久久久免费| 天天爽天天透天天爱| 日本熟女啪啪| 丁香五月首页| 天堂婷婷五月色| 天天狠天天叉| 丁香五月婷婷成人网| 就爱日五月天| 91日本在线观看| 黄网网站在线播放| 在线观看免费视频| 婷婷五月情| 激情九月天天天天婷婷| 亚洲色五月婷婷| 激情欧美婷五月| 色VA| AV中文字幕夜夜操b天天摸bb| 婷婷射丁香| 中文字幕97超级碰| 日本欧美成人片AAAA| 五月天激情AAAA| 国产人人操| 亚洲综合另类| 丁香五月天婷婷久久综合| 色五月丁香com| 五月丁香色婷婷综合| 久色大香蕉| 人妻aV在线| 亚洲性受XXXX五月丁香| 嫩草视频| 99这里只有精品视频| 婷婷色五月天综合网| 久久丁香社| 大香蕉手机视频| 玖操97| 伊人激情网| 九九综合伊人| 99精品22| 伊人丁香六月婷婷| 99久操| 啪啪啪综合网| 在线观看免费狠狠色丁香香综合| 婷婷激情五月天色| 狼友视频在线观看18| 中文字幕日本最新乱码视频| 婷婷黄色| 天天操天天操天天操天天操天天操| 99在线观看视频| 影音先锋自拍网| 五月天啪啪| 天天日天天做天天舔| 丁香五月天大香蕉啪啪| 亚洲色视频| 丁香五月激情啪啪| 桃色五月婷婷| 99re久热只有精品6在线直播.com| 精品无码久久久久久久久| 狠狠色狠狠操| 亚洲色A| 亚洲综合网区| 成人国产综合| 中文字幕人妻一区二区| 操一区| 中文网av| 天天日人人| www.久久爱.com| 五月激情四射网站| 人人播| 五月天婷婷激情在线色图| 啊V视频在线观看| 碰99在线| 香蕉久久av一区二区三区| 99re免费精品视频| 婷婷五月丁香五月| 亚洲最大五月六月丁香婷婷| 天天撸夜夜爽| 婷婷亚洲丁香五月| 蜜臀av无码久久久久久久久| 九九99免费理论| 91激情五月开心| 日日做夜夜爱| 久热视频这里只有精品68| 久色网| 欧美日韩成人一区二区| 九九热在线99| 超碰在线免费9| 第四色色色色色丁香五月天| 五月激情婷婷偷拍| 国产精产国品一二三在观看| 激情五月天丁香| 91操操| 五月婷激情影院| 人妻久久久久久久| 婷婷狠狠操| 五月天色婷婷网| 午夜无码精品色综合久久| 亚洲中文无码成人| 天天天天天色| 99热精品综合| 狠狠操狠狠做| 五月丁香六月婷婷激情视频在线观看免费 | 逼逼AV| 婷婷五月蜜桃成人桃色丁香| 午夜理论片最新午夜理论剧| 色婷婷99| 色综合久久五月| 色情性爱视频网址| 怕怕av| 就是色婷婷五月亚洲色| 综合欧美五月婷婷| 亚洲五月丁| 天天综合天天做天天综合| 久久 这里只有精品1| 婷婷五月丁香激情色情| 狠狠操狠狠做| 激情丁香九九五月综合网| 99热天堂| 激情小说五月天| 国产偷人爽久久久久久老妇APP| 97超碰婷婷五月天| 91嫩草久久| 六月婷婷av| 色亚洲无码| 九月丁香婷婷综合激情| 日日狠夜夜狠| 日本熟女一区二区| 婷婷五月天激情影片| 五月婷婷五月天亚洲无码| 狠狠撸激情综合丁香五月天俺来啦| 丁香六月成人网| 色欲AV导航| 五月天天天天天天天天天天天天天天天婷婷婷| 99视频久久| 国产激情av| 久久精品性爱| 色色婷婷综合| 久久精品91视频| 婷婷六月丁香激情| 激情综合色婷婷啪啪六月天| 五月丁香综合激情网| 99人人干| 婷婷五月在线影院| 99人人干人人| 影音先锋激情网| 婷婷综合爱| 中文成人在线| 日韩成人精品中文字幕| 精品国产AV色一区二区深夜久久| 91岛国片| 99色啊| 丁香月六月| av九九| 婷婷的五月天另类视频| 色色色999| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 久久狠狠干| 九九99精品视品| 五月丁香婷婷色色色| 色欲一区二区三区精品A片| 97啪在线观看视频| www.五月天婷婷.com| 天天日天天干天天天| 日日夜夜婷婷| 丁香婷婷超碰 | 婷婷色五月天色| 天天综合亚洲综合网天天αⅴ| 欧美va欧美va差| 色五月色五天色情网| 婷婷婷狠狠| 五月丁香激情啪啪| 天天射影院| 婷婷香草网| 天天爽人人综合免费7799| 丁香五月婷婷俺也要去| 九九这里只有精品| 色色五月婷婷| 亚洲免费观看高清完整版AV线| 在线看九一V图片| www五月| 色玖玖玖| 色情五月婷婷| 色吧网综合| 26uuu国产色| 天天爱天天秀天天做| 五月天丁香色色| 人妻人人操| 天天日 天天草| 99天堂在线观看免费视频| 亚洲午夜AV| 天天操比比| www.9操| 五月激情日本在线| 天天干天天操天天拍| 青996青| 丁香五月天啪啪激情综和网| 亚洲精品V天堂中文字幕| www98日本小时间到了| 色久五月天| 四季8848精品成人免费网站| 五月社区丁香| 色婷婷成人做爰A片免费看网站| 天天射美女| 國語久久婷| 激情婷婷九月| www.久久综合| 亚洲综合在线播放| 91操熟女| 亚洲中文字幕在线观看| 激情五月天之六月婷婷| 99精品国产在热久久| 天天色月| 欧美日韩91| 丁香六月婷婷一区| 国产精品久久久久久亚洲毛片| 久久综合婷婷| 亚洲成人网站在线观看| 天天爱天天做综合| 人妻无码视频网| 99这里只有精品在线| 天堂成人A片永久免费网站| 免费99情趣网视频| 丁香五月婷婷社区| 五月天综合激情网| 日韩高清久久| 久久停停超碰| 激情涩涩网| 嫩草AV久久伊人妇女超级A | 99九九精品| 密臀久久| 中文字幕操比影片| 色五月婷婷九月| 中文字幕网站在线观看| 中文字幕在线观看视频www| 九九色精品| 婷婷中文字幕| 开心五月婷婷在线| 91九色中文| 五月丁香操婷逼| 色9999日韩国产| 久久激情五月婷婷| 99爱免费在线视频| 五月天色丁香| 色五月婷婷天天操夜夜操| 亚韩精品视频1区| av狠狠操| 亚洲 综合中文| 久久久国产精品黄毛片| 天天碰夜夜爽| 99色色爰| av在线免费播放观看| se99视频| 天天玩夜夜操天天爽| 国自产拍偷拍精品啪啪一区二区| 丁香婷婷婷五月| 婷婷五月天网址| 五月丁香啪| 五月五丁香婷婷| 99热99思午夜精品| 操操碰| 丁香伊人综合| 日本三级毛片| 色五月综合| 六月婷婷激情图片| 久久99人人| 亚洲综合另类| 综合狠狠干| 综合九九中文字幕| 最近韩国日本免费高清观看| 五月欧美丁香在线观看| 91精品熟女| 日韩美女在线视频19| 婷婷综合久久| 丁香六月婷婷综合欧美| 台湾综合丁香五月蜜桃| 九九人人看| 丁香九月激情| 婷婷丁香五月激情密臀av| 狠狠五月婷婷| 操人91| 色五月婷婷五月丁香五月| 99riAv1国产在线观看| 办公室少妇激情呻吟A片在线观看| 亚洲色五月婷婷| 99在线观看视频免费| 亚洲韩国日产综合AV| 色欲色香综合网| 色婷五月天激情| 久久婷婷成人视频| 丁香六月激情| 777久久久| 成人免费120分钟啪啪| 五月婷婷九九热| 思思热再线视频| 成人av免费观看| 丁香五月综合激情久久潮喷| 成人无码精品1区2区3区免费看| 综合性爱网| 99色最新在线视频网站| 激情五月网站| 五月婷婷激情四季| 中文字幕在线播放视频| 婷婷综合网性| 色久一| 国精产品一区一区三区免费视频| 日本色色网| 日本丁香五月| 激情五月六月婷婷| 狠狠撸激情综合丁香五月天俺来啦| 国产激情久久| a在线观看| 玖玖五月| 密乳Va| 伊人久久大香线蕉亚洲五月天,| 无码少妇高潮喷水A片免费| 久久综合五月天| 五月天色婷婷激情| www.成人婷婷综合| 五月丁香婷婷啪啪综合网| 婷婷久久午夜网| 色婷婷亚洲| 草榴视频网| 五月天激情日色在线| 亚洲日韩成人三级av| 久9热| 中文字幕 中文字幕明步| 久久久大香蕉| 欧美影院婷婷| 久久婷色| 饮料下药迷倒漂亮女同事强干| 啪啪激情综合| 超碰人人在线| 51国精产品自偷自偷综合 | 久婷婷五月丁香在线观看| 五月天开心色情网| 欧美日韩成人在线| 天堂AV三级| 色久播播| 日日干夜夜撸夜夜骑| 亚洲 25P| 99aese| 午夜无码精品色综合久久| 激情五月com| 色婷婷亚洲在线| 色色色色色色综合| 看国产探花操逼三级片| 亚洲综合五月天| 色婷婷色99国产综合精品| 丁香五月天啪啪| 天天操夜夜操| 99色综合| 99热在线观看| 欧美婷婷综合| 五月天色色婷婷| 日本在线视频www色| 91日本在线| 天天日天天插天天操| 六月婷婷五月丁香首页| 丁香五月久久综合| 婷婷五月激情六月| 婷婷色播婷婷| 亚洲爆乳无码精品AAA片蜜桃| 免费看欧美成人A片无码| 亚洲第一成人无码A片| 99久99久| 毛片新网地| 一起草av| 丁香六月天婷婷开心综合| 色五月婷婷丁香五月| 中文av网| 可以看的av| 人与禽A片啪啪| 91seAV| 99色网站| 99精品视频免费观看,| 噜噜噜久久亚洲精品国产品91| 五月天综合色| 久碰视频| 激情婷婷网| 丁香五月性| 婷婷中文字幕版| 99久热这里只有精品| 成人精品在线| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 天天日天天舔| 九月婷婷人人操人人舔人人爱| 精品亚洲国产成AV人片传媒| 色五月丁香一区在线| 亚洲色无码| 丁香花五月天激情| 综合在线观看99| 97精品自拍| 色婷五月| 五月丁香啪| 四色五月婷婷| 99热免费网站| 五月婷婷六月丁香| 成人做爰A片免费看视频| 婷婷五月激情五月丁香五月| 五月丁香婷婷AV天堂| 色五月婷婷一二| 超碰免费人人| 久久98热re| 精品网站99| 成人在线99| 香蕉人妻AV久久久久天天| 偷偷操99| 久久免费婷婷视频| 99精品成人无码A片观看金桔| 男人視頻站| 五月社区丁香| 九月色婷婷| yiqicaoav| 深爱激情网婷婷| 99九色视频在线观看| 激情5月婷婷| 激情丁香五月天综合| 日本人人xxx| 国产毛片欧美毛片久久久| 成人精品人妻| 色婷狠狠| yirenjiqingshiping| 国产激情综合五月| 久久丁香五月天| 婷婷五月综合网激情| 五月天婷婷激情干干| 色区久久| 精品成人在线观看| 欧美综合激情丁香五月六月婷| 艳妇野外情欲放荡HD| 99精品在线| 97色啪| 92久操视频| 午夜婷婷五月天在线| 成人av免费观看| 欧洲亚洲免费视频9| 久久久精品人妻| 99riAV成人在线视频| 婷婷黄色五月天在线视频| 99爱在线精品视频免费观看| 综合久久9| 99视频在线播放大全| 六月婷婷AV| 少妇人妻综合色6699| 青柠影视免费高清电视剧| 亚洲精品欧洲精品| 成功精品影院| 婷婷丁香成人在线视频| 噼里啪啦在线观看免费完整版视频| 色婷婷网| 天天日夜夜拍| 久久五月天大美女| 九九久久精品| 婷婷色无码| www.狠狠| 五月天婷婷色播在线网| 日本一級黃色一級片| 六月丁香五月亭亭| 激情四射亚洲| 国产精品日韩十五区| yw国产AV| 日日爽日日| 色五月婷婷影视| 久久人人妻| 天堂爱啪啪| xx久久| 日韩无码成人电影| 五月天激情婷婷| 第二色AⅤ| 日本精品人妻无码77777| 人人看人人草人人摸| 九九久久9 9在线观看| 99热久草| 综合网狠狠| 亚洲成人在线综合| 7月婷婷六月丁香| 色色无码| 男人的天堂五月丁香| 亚洲欧洲小视频9| 色色无码| 久久精品性爱视频,| 青青青在线视频国产| 小视频一区 | 国产激情久久久| 婷婷色激情网| 久久色大香蕉| 噜噜色婷婷| 琪琪色热色色| 网站免费一站二站| 五月WWW| 99综合熟女| 色色色无码| xxx综合在线| 亚洲无码AV片| 夜夜干夜夜操| 激情久久综合网| 五月丁香久久综合色| 色综合激情| www.操逼comm| 超碰人人99| 99爱视频在线观看| 26uuu欧美宗合| 爽极品色| 青青草伊人婷婷| 丁香五月六月婷婷综合| 丁香六月婷婷缴情欧美| 激情婷婷22月间| 日韩成人综合网| www激情网| 96精品久久久久久久久| 国产真实乱了老女人视频 | www,色婷婷| 色综合色综合色综合高潮| 东京热人妻一区二区三区在线| 色五月色五天色情网| 婷婷激情五月综合基地| AV动漫不卡无码免费| 大地资源色婷婷视频在线| 婷婷社区五月天| 九九热这里有精品23| 五月亭大香蕉| 97人妻超级碰碰碰碰碰| 97在线精品视频| 精久久色| 色性综合| 超碰色女| 丁香五月激情图片婷婷| 人妻中文在线| 婷婷五月天综合在线| 婷婷五月天在线观看av| AV操逼网| 91jiuseshunv| 丁香五月花| 丁香五月婷婷啪| 人人操人人爱丁香五月| 开心五月激情| 97影院一级片| 九九美女视频| 丁香婷婷欧美综合| 激情六月婷婷| 久久久99视频| 在线观看中文字幕| 丁香五月激情六月综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 激情久久天天| 婷色人人狠| 黄色片精品| 91n啪啪| 国产精品久久久久9999小说| 五月丁香婷婷啪啪| 国产精品色婷婷99久久精品| 激情婷婷五月社区| 六月婷婷影院| 婷婷六月爽| 第四色婷婷日本| 五月天三级久久| 久久国产高清| 极品嫩草| 99热传媒| 五月开心播播网| 色优久久| 久久激情综合| 五月成人网站| 91啪啪| 婷婷伊人久久| 97资源欧美日韩大香蕉超碰一区| nvrentiantang av| 五月天婷久精视频| 婷婷激情五月综合| 久热视频这里只有精品| 九九亚洲小视频| 啪啪干伊人婷婷| 色五月无码| 日日夜夜狠狠婷婷色| 色噜噜狠狠色综合无码久久欧美| 九九色色网| 另类精品视频在线观看| 五月婷婷天堂| 久久人人九九| 深夜男女福利刺激影院一区完整| 中文字幕AV网址| 99久超碰| 欧美婷婷日本| 99视频精品| 开心五月婷婷激情| 丁香五月天在线观看视频| 99在线观看| 色综天天综合| caobi四区| 我爱宗和色| 丁香激情六月天婷婷| 人妻尝试久久久久久久久久久久| 色欲五月婷婷| 五月婷婷性| 五月丁香五月综合欧美| 欧美久久网| 色色色999| 日本九九九九| 全部老头和老太XXXXX| 97人人干视频| 成人免费视频一区| 九月婷婷激情| 国产成人网| 天天人人天天爽| 狠狠狠狠狠草| 丁香婷婷五月天在线视频| 97五月天| 九九热最新视频| 国产精品第一国产精品| 在线综合亚洲欧美65| 久久五月天 91| 九九色之九九色88| 噜综合| 婷婷五月激情欧美大胆视频| 伊人啪啪网| 97婷婷狠狠| 天天做天天爱天天高潮| 五月婷婷色色爱| 五月婷综合激情| 91性高潮久久久久久久久| 五月丁香好婷婷姑娘综合网| 。久久久久久久久久久久久久人妻| 丁香六月激情国产| 五月香婷婷| 国产婷婷色综合AV蜜臀AV| 天天久久九九| 91chinese在线| 色婷丨日丨天丨综合久久| 色播五月婷婷五月| 婷婷五月丁香五月| 欧美三9久九观看| 色婷婷在线影院| 五月婷婷高清| 婷婷精品性视频| 可以免费观看的AV| 日本97在线看片| 色九网| 人妻精品久久久久久久| 婷婷99视频精品| 国产午夜精品一区二区三区四区| 99久久久久久久| 婷婷五月天av网| 激情VA视频| www.色综合| 亚洲第一影院高清无码网站| 婷婷五月丁香综合亚洲 | 小香蕉av| 色五月天丁香| 亚洲夜夜操| 99在线精品免费视频| 色色999三级片| 久久五月丁香婷婷| 成人精品亚洲性爱| 亚洲第一综合| 一级性感黄色内射视频| 六月五月婷婷| 天天干天天做| 吊色AV男人的天堂| 天天天摸夜夜夜玩| 婷婷激情小说| 99久在线精品99re8热| 久在热99| 色五月激情问网站| 丁香五月激情网| 久久9情免费| 9er热在线精品视频| 婷婷五月在线观看| 九九综合九| 久热这里只精品| 丁香婷婷色五月激情综合| 狠狠CAO日日穞夜夜穞AV| 日本三级中文字幕| 五月花激情| 亚洲12p| 婷婷六月丁香激情| 91狠狠色色丁香婷婷综合久久| 激情五月天婷婷播播久久综合91| 色情性爱视频网址| 大香蕉婷婷久久| 婷婷五月欧美AA片免费| 久久香蕉婷婷五月天| 色五月在线播放| 五月天丁香成人社| 日本五月婷| 狠狠婷婷色综合| 千人斩操逼| 婷婷六月综合激情| 成人av在线网站| 五月天亚洲综合网| 人人操婷婷| 五月丁香婷中文字幕 | 丁香五月天婷婷中文字幕| 婷婷伊人综合| 色欲资源网| 亚洲亚洲人成综合网络| 日日干日日色| 丁香五月六月| 亚洲成人在线播放| 国産精品| 久久女人天堂| 久久人人九九| 第五婷婷伊人丁香色| 丁香婷婷激情| 九九色区| 色色com| 九九99在线视频| 婷婷五月成人| 日亚二欧美| 婷婷丁香五月综合| 成人视频在线免费播放| 91无码高清| 天天综合五月| 激情AV| 九九色精品| 久久黄A片| 亚洲综合五月| Av性爱网站| 五月丁香亭亭| 国产丁香五月天婷婷| 成人做爰高潮A片免费视频| 伊人成人宗合网| 日本欧美成人片AAAA| 五月婷婷综合色啪首页| 亚洲av| 天天橾夜夜爽| 色色丁香五月天社区| 久久五月天综合| 99ri精品在线| 婷婷五月天激情四射| 五月天婷婷久久日| 亚州美女| 天天干、天天日日| 性爱五月婷| 蜜臀99精品| 超碰人人干| 天天射影院| 婷婷五月激情欧美大胆视频| 91丨九色丨首页| 久久丁香五月| 久久九九爽| 丁香成人五月天| 久久这里只有精品视频26| 色啪久 | 亚洲欧洲一二| 色久女| 亚洲成人色五月天| 婷婷D区| 人妻久久人妻久久第一区| wWW九九在线播放| 伊人婷婷五月天| 天天操天天谢| 五月间天堂综合| 高清无码视频网址| 五月丁香色五月| 91熟妇大香蕉| 色婷婷在线播放| 深情六月婷婷综合久久| 婷婷五月综合丁香久久| 五月丁香激情四射| 丁香六月婷婷综合麻豆| 丁香五月 无码| 亚洲天堂99| 99re热久久| 中文字幕激情综合| 婷婷五月天基地| 丁香五月五月婷婷五月天激情四射| 九九九九大香蕉| 欧美色五月| 99热这里只有精品22| 丁香五月久久| 另类丁香五月天区图| 极品另类| 人人爱天天摸摸天天爱| 黄久久久| 无码激情AAAAA片-区区| 亚洲五月天另类小说图片| ss五月天激情| 99日视频在线| 亚洲五月婷婷| 丁香五月天激情综合| 九九这里有精品视频| 久久 中文 日本| JAPANRCEP老熟妇乱子伦视频| 六月婷婷综合激情| 色色欧美。| 性爱网五月天| 草做免费在线观看| 日本综合色图| 色婷婷色综合| 色婷婷小说| 中文字幕激情综合| 久久成人综合五月天| 超碰色综合| 伊人大香蕉毛片| 九九色热| 激情婷婷丁香| 伊人色欲五月天| 成人网站在线观看视频| 偷偷操九九| 性做久久久久久久免费看| 六月丁香五月婷婷| 五月丁香六月综合激情网| 九九精品视频免费在线| 久艹伊| 丁香婷婷九月在线| 五月色亚洲| 国产精品国产| 天天天天天天噜| 777久久综合视频| 99热综合在线| 国产探花一片区| 99精品国产在热久久| 色婷婷香蕉| 五月亭亭狠狠| 激情六月一二| 婷婷丁香五另类网站| 大香蕉啪啪| 国产操肏网站| 久久九九99.www| 亚洲最大成人综合网720P| 久久婷婷五月| 第四色大香蕉| 久久激情五月婷婷| 婷婷五月噜噜| 丁香五月网| 人妻内射麻豆视频| 五月婷婷干干干| 国产精典视频在线观看| 久久色午夜在线导航| 五月丁小婷婷激情四射| 国产精品人人做人人爽人人添 | 五月天堂婷婷| 亚洲色夜| 99热热热国产超碰| 39视频第二区| 五月婷婷婷色| 在线看AV| www,setingting| 亚洲无码影音| 婷婷五月天免费99| 九九综合九| 黄急一级视频| 国产做爰视频免费播放| 国产人妻人伦精品一区二区| www色色色com| 六月丁香五月婷婷| 9色在线| 色~性~乱~伦~噜| 99热主页日本| 亚洲精品国产成人AV在线| 婷婷五月激情图片| WWW.99热| 婷婷五月天激情文学小说| 天天日日夜夜爽| 精品婷婷五| 77799热| 66久久视频在线| 五月婷婷丁香伦理网| 婷婷丁香成人在线视频| 天天激情夜夜干| 五月丁香婷婷成人伊人网| 啄木鸟黑丝一区二区| 襙比视频| 色婷婷五月天天天干天天操天天爽| 丁香五月天成人| 丁香五月激情在线| 丁香六月婷| 激情AV在线| 色啪综合| 久久色情| 桃色成人网| 丁香操逼| 亚洲午夜一区二区| 91超碰在线观看| 激情六月丁香综合| 激情婷婷丁香色情五月天| 热的无码综合视频| 第四色首页| 91久久九久久九久久九久久九久久| 99自拍视频网站| 涩涩五月天| 7EzOBIhNq85TO| 97碰超级人人看| 色综合婷婷| 色六月天天激情综合网| 丁香五月天天日| 丁香五月激情婷婷| 精品人妻一区二区三区四区不卡在| 色婷婷精品视频| 激情久久久| 精品一二三区久久AAA片| 久久综合55| 插逼综合网| 色五月xxx| 久久久五月婷婷| 婷婷久久综合| 久久婷婷色| 九九热视频精品999| 99人妻碰碰碰久久久久视| 91久操| 狠狠干青青草| 久色| 丁香五月社区| Caoporn公开| 成人在线网| 日韩久久这里只有精品| 午夜成人网站在线观看| 久久杏爱视频| 五月色影院| 久久五月婷| 免看黄大片AA | 91啪啪啪啪| 久热这里只有精品6官网亚洲| 亚州精品久久久久AV无码| 波多野结衣AV无码Porn| CHINESE熟女老女人HD视频| 狠狠色噜噜色狠狠狠综合色| 99er6免费视频热播| 丁香美女主播视频在线观看 | 激情伊人五月婷婷久久| 五月丁香综合在线| 久久激情五月| bukadeavzaixian| 五月丁香网视频| 久久婷婷综合五月趴| 99热这里只有精品在线观看| 91干99| 久久五月天婷婷视频| 丰满熟女人妻一区二区三| 久热免费视频| 五月天AV大香蕉| 狠狠色情婷婷| 秋霞成人毛片一级A片| 久久久91精品| 婷婷五月69| 久久人妻乱| 香蕉久久国产AV一区二区| 干一干xxxx| 先锋av性爱成人电影| 五月天社区| 久久精品五月| 五月丁香六月激情狠狠| 丁香六月啪| 99综合成人视频在线观看| 都市激情蜜桃婷婷五月天| 99这里只有精品| 久久五月天激情| 狠狠色丁香五月婷巨| 激情五月天偷拍综合网| 超碰国产在线播放| 久久综合这里只有精品1| 日韩综合久| 婷婷五月综合中文字幕| 国产永久一二一起草| 91碰碰视频| 4438全国最大视频成人网站在线观看| 丁香五月花婷婷开心| 婷婷丁香九月| 婷婷色一二三区波多野结衣| 五月婷丁香久久久| www.久热| 玖玖在线视| 99热8| 欧美色必爱| 天天色五月| 色五月丁香五月| 日本久久高清| 日本婷婷| www色哟哟| 国产精品久久7777777精品无码| 性做久久久久久久免费看| 婷婷丁香成人| 婷婷五月天Av| 丁香婷婷性久久| 激情五月,婷婷五月,丁香五月| 天天久综合网永久入口18| 一區四區歐美日韓| 九九热最新| 丁香五月精品视频| 色婷丁香| 丁香五月首页| 婷婷97碰碰| 青青草色在线视频观看| 69色婷婷| 天天综合网~91| 婷婷深爱五月丁香| 欧美人人草草| 天天爽夜夜爽天天爽夜夜爽| 激情性爱五月天网页| 五月色天五月色| 97久久久久久久久久久| 丁香五月天婷婷中文| 激情五月婷婷| 天天色,天天操,天天射| 国产黄大片在线观看画质优化| 天天噜天天爱| 一本色道久久88综合日韩精品| 色吧婷婷五月亚洲| 26UUU成人网| 婷婷五月天av| 五月丁香亭亭成人电影| 狠狠干,狠狠操| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 无码色| 色五月色图| 婷婷激情综合网| 99在线精品观看99| 色综合五月天| 日本婷婷综合精品| 国产麻豆视频| www色婷婷com| 婷婷 伊人 久久| 婷婷伊人久久| 激情综合5| 色婷婷六月| 色婷婷狠狠色| 五月天大香蕉视频| 亚洲第一综合| 级情九色| 伊人色综合网| 婷婷五月综合在线视频| 亚洲av电影网站| 99综合视频一体| 99综合视频一体| 婷婷激情六月中文| 99久视频| 婷五月天天| 五月色情| 五月丁香成人视频| 熟女激情网| 九九久久99| 五月婷综合网| 91九色 熟| 久热亚洲| 激情亚洲婷婷| 国产午夜精品一区二区三区嫩草| 久久看婷婷| 色婷婷激情五月天在线观看| 亚州精品色情无码A片| 大香伊人婷婷| 国产露脸150部国语对白| 色色色国产| 欧美xx激情视频在线观看| 夜夜www| 五月丁香欧美综合| 狠狠色综合久久久久| 天天干,夜夜爽| www99精品| 亚洲va在线∨a天堂va欧美va| 五月激情精品视频| 五月天综合久久| 97在线干| 超碰熟女农村在线69| www.zbzhongsen.com| 另类激情五月| 欧美日韩AAAA| 婷婷丁香成人网址| 天天人人综合| 久久久.COM| 激情久久综合网| 久热A片| 天天做天天爱天天高潮| 精品久热| 91九色在线视频| 天天色视频| 思思精品热在线|