網(wǎng)卡多隊(duì)列 RSS 與 CPU 軟中斷親和性綁定實(shí)戰(zhàn)徹底解決單核中斷打滿瓶頸在很多配置了萬(wàn)兆網(wǎng)卡與上百物理核心的高性能服務(wù)器上經(jīng)常上演一幕極其荒誕的性能災(zāi)難用監(jiān)控工具查看整機(jī)平均 CPU 利用率只有微不足道的 3% 到 5%上游服務(wù)卻頻繁報(bào)警“連接超時(shí)、TCP 丟包嚴(yán)重”敲下ifconfig或ethtool -S網(wǎng)卡的rx_dropped與rx_discards計(jì)數(shù)器正在瘋狂暴漲。敲下命令mpstat -P ALL 1查看每個(gè) CPU 核心的實(shí)時(shí)分工真相瞬間令人哭笑不得全服務(wù)器除了CPU 0的軟中斷負(fù)載%soft死死定在 100% 滿負(fù)荷轉(zhuǎn)動(dòng)外其余幾十個(gè) CPU 核心全部都在悠閑地閑逛。這就是經(jīng)典的高并發(fā)網(wǎng)絡(luò)災(zāi)難——網(wǎng)卡中斷傾斜與“單核累死、眾核圍觀”。如果不深入網(wǎng)卡硬件控制器與內(nèi)核中斷分發(fā)鏈路把 RSS 多隊(duì)列與 CPU 軟中斷親和性Affinity徹底理順再頂級(jí)的千核服務(wù)器也會(huì)被一個(gè)被累癱的單核心活活卡死。一、網(wǎng)絡(luò)報(bào)文進(jìn)入 CPU 的中斷路由拓?fù)湟鉀Q中斷傾斜必須弄清楚一個(gè)物理網(wǎng)卡數(shù)據(jù)包從網(wǎng)線到達(dá) CPU經(jīng)歷了怎樣的硬件調(diào)度邏輯網(wǎng)線物理光電信號(hào) │ ▼ [萬(wàn)兆物理網(wǎng)卡 NIC] │ ├── 硬件 RSS 模塊: 對(duì)報(bào)文五元組執(zhí)行 Toeplitz 快速哈希 ▼ ┌─────────────────────────────────────────────────────────────┐ │ 網(wǎng)卡硬件多隊(duì)列 (Rx Queue 0 ~ Rx Queue N) │ ├──────────────┬──────────────┬──────────────┬────────────────┤ │ Queue 0 │ Queue 1 │ Queue 2 │ Queue N │ │ (觸發(fā) IRQ 121)│ (觸發(fā) IRQ 122)│ (觸發(fā) IRQ 123)│ (觸發(fā) IRQ 124) │ └──────────────┴──────────────┴──────────────┴────────────────┘ │ │ │ │ ▼ ▼ ▼ ▼ [未配置親和性時(shí)的內(nèi)核默認(rèn)路由: 全部一股腦砸給 CPU 0 處理] ── 單核軟中斷被打爆現(xiàn)代網(wǎng)卡普遍支持RSSReceive Side Scaling接收端縮放技術(shù)。網(wǎng)卡硬件內(nèi)部集成了哈希計(jì)算單元根據(jù)數(shù)據(jù)包的“源 IP、目的 IP、源端口、目的端口、傳輸協(xié)議”五元組通過(guò) Toeplitz 算法算出一個(gè)哈希值并將報(bào)文分散投遞進(jìn)不同的硬件環(huán)形接收隊(duì)列Rx Queue。每一個(gè)硬件隊(duì)列擁有一個(gè)獨(dú)立的MSI-X 硬件中斷號(hào)IRQ。然而如果操作系統(tǒng)沒(méi)有精細(xì)化配置中斷親和性默認(rèn)的irqbalance守護(hù)進(jìn)程或者粗暴的內(nèi)核路由經(jīng)常會(huì)把所有隊(duì)列的中斷號(hào)全部綁在同一個(gè) CPU 核心上導(dǎo)致無(wú)論你配備了多么先進(jìn)的多隊(duì)列網(wǎng)卡所有的網(wǎng)絡(luò)軟中斷處理依然在單核獨(dú)木橋上艱難爬行。二、生產(chǎn)級(jí)硬核排查與多隊(duì)列調(diào)優(yōu)全鏈路把萬(wàn)兆網(wǎng)卡的所有隊(duì)列均勻打散到所有 CPU 核心上必須經(jīng)過(guò)以下四步嚴(yán)密配置1. 檢查并拉滿網(wǎng)卡硬件隊(duì)列上限使用ethtool -l檢查網(wǎng)卡當(dāng)前開啟的隊(duì)列數(shù)量是否與硬件支持的最大數(shù)量匹配# 查看硬件最大支持通道數(shù)與當(dāng)前生效通道數(shù) ethtool -l eth0 # 輸出示例: # Channel parameters for eth0: # Pre-set maximums: # RX: 0 # TX: 0 # Combined: 32 -- 硬件最大支持 32 隊(duì)列 # Current hardware settings: # Combined: 4 -- 致命隱患: 默認(rèn)竟然只開了 4 個(gè)隊(duì)列 # 立即將網(wǎng)絡(luò)通道數(shù)打滿至硬件上限 ethtool -L eth0 combined 322. 徹底停用添亂的 irqbalance 守護(hù)進(jìn)程在追求極致低延遲的高性能服務(wù)器上Linux 自帶的irqbalance服務(wù)往往是個(gè)災(zāi)難。它經(jīng)常在各個(gè)核心之間胡亂遷移中斷號(hào)導(dǎo)致 CPU L1/L2 緩存行被頻繁沖刷Cache Invalidation。必須將其強(qiáng)制關(guān)閉轉(zhuǎn)為手工靜態(tài)綁定systemctl stop irqbalance systemctl disable irqbalance三、生產(chǎn)級(jí)自動(dòng)化中斷親和性靜態(tài)綁定腳本以下是在生產(chǎn)服務(wù)器初始化時(shí)自動(dòng)化提取網(wǎng)卡中斷號(hào)并與同一 NUMA 節(jié)點(diǎn)的 CPU 核心執(zhí)行一一綁定的工業(yè)級(jí)腳本#!/bin/bash INTERFACEeth0 # 1. 獲取網(wǎng)卡所在的物理 NUMA 節(jié)點(diǎn) NUMA_NODE$(cat /sys/class/net/$INTERFACE/device/numa_node) if [ $NUMA_NODE -lt 0 ]; then NUMA_NODE0 fi # 2. 提取屬于該 NUMA 節(jié)點(diǎn)的專屬 CPU 核心列表 CPUS($(lscpu | grep NUMA node$NUMA_NODE CPU(s) | awk {print $4} | tr , )) echo [*] 網(wǎng)卡 $INTERFACE 掛載在 NUMA 節(jié)點(diǎn) $NUMA_NODE分配綁定核心: ${CPUS[]} # 3. 提取網(wǎng)卡所有的 MSI-X 中斷號(hào)并按順序綁定至各 CPU IRQS($(grep $INTERFACE /proc/interrupts | awk -F: {print $1} | tr -d )) CPU_COUNT${#CPUS[]} INDEX0 for irq in ${IRQS[]}; do TARGET_CPU${CPUS[$((INDEX % CPU_COUNT))]} # 將中斷號(hào)綁定至指定 CPU 核心 (寫入 smp_affinity_list) echo $TARGET_CPU /proc/irq/$irq/smp_affinity_list echo [] 成功綁定中斷 IRQ $irq - CPU $TARGET_CPU INDEX$((INDEX 1)) done執(zhí)行完畢后每個(gè)網(wǎng)卡接收隊(duì)列的中斷處理被死死錨定在專屬的 CPU 核心上且與網(wǎng)卡物理插槽處于同一個(gè) NUMA 內(nèi)存節(jié)點(diǎn)內(nèi)跨 Socket 遠(yuǎn)程總線訪存開銷徹底歸零。四、生產(chǎn)壓測(cè)成效從單核暴斃到全核線速在 32 核物理服務(wù)器上使用發(fā)包機(jī)以 64 字節(jié)高頻網(wǎng)絡(luò)小包模擬 10 萬(wàn) QPS 突發(fā)流量對(duì)比中斷綁定前后的系統(tǒng)表現(xiàn)[網(wǎng)卡中斷親和性綁定前后生產(chǎn)壓測(cè)基準(zhǔn)對(duì)比] 性能評(píng)估指標(biāo) 綁定前狀態(tài) (默認(rèn)配置) 完成 NUMA 親和綁定后 優(yōu)化改善幅度 整機(jī)網(wǎng)絡(luò)丟包率 (Drop) 14.8% (網(wǎng)卡劇烈丟包!) 0.00% (絕對(duì)零丟包) 網(wǎng)絡(luò)徹底穩(wěn)健 CPU 0 軟中斷 (%soft) 100% (單核暴斃卡死) 14.2% (平穩(wěn)輕量) 徹底解套 全核軟中斷負(fù)載分布 嚴(yán)重畸形 (1核忙,31核閑) 各核心完全均衡 (12%~15%) 完美負(fù)載均衡 單機(jī)最大穩(wěn)定轉(zhuǎn)發(fā) QPS 28,500 QPS 186,000 QPS 吞吐狂飆 6.5 倍 P999 響應(yīng)延遲 245 ms (嚴(yán)重積壓) 2.1 ms 長(zhǎng)尾毛刺歸零數(shù)據(jù)給出了極其震撼的性能躍遷綁定前單核被打滿導(dǎo)致網(wǎng)卡緩沖區(qū)迅速溢出14.8% 的請(qǐng)求直接在網(wǎng)絡(luò)入口被強(qiáng)行丟棄綁定后32 個(gè)中斷號(hào)均勻落在 32 個(gè) CPU 核心上原本累癱的 CPU 0 負(fù)載驟降至 14%整機(jī)吞吐直接暴漲6.5 倍單機(jī)承載能力飆升至接近 19 萬(wàn) QPS丟包率瞬間清零。五、高性能網(wǎng)絡(luò)老兵的親和性避坑守則在實(shí)施網(wǎng)卡與 CPU 綁定工程時(shí)切記守住以下兩條紅線絕對(duì)不要跨越物理 NUMA 節(jié)點(diǎn)綁定在雙路 CPUSocket 0 與 Socket 1服務(wù)器上如果網(wǎng)卡插在 Socket 0 的 PCIe 插槽中卻把中斷綁定到 Socket 1 的 CPU 核心上每次網(wǎng)卡 DMA 讀寫都必須跨越主板 QPI/UPI 互聯(lián)總線延遲會(huì)直接翻倍必須使用cat /sys/class/net/dev/device/numa_node嚴(yán)格確保同源綁定低端單隊(duì)列網(wǎng)卡開啟 RPS/RFS 兜底如果某些老舊服務(wù)器的網(wǎng)卡硬件只支持 1 個(gè)或 2 個(gè)隊(duì)列單純改中斷號(hào)無(wú)濟(jì)于事。此時(shí)必須在操作系統(tǒng)層面開啟RPSReceive Packet Steering由內(nèi)核軟件將單隊(duì)列的數(shù)據(jù)包通過(guò)計(jì)算哈希分發(fā)給其他 CPU 核心以軟件開銷換取多核算力均衡。