Linux下的網絡基礎說真的屬于那種你覺得自己會了但一到生產環(huán)境就露怯的主題。干運維這些年我最大的體會是網絡不通的根因絕大多數(shù)不是命令不夠炫而是沒把底層的數(shù)據(jù)流轉、協(xié)議分層、路由決策這些基本功串起來。這篇文章不談那些花哨的框架就老老實實把這些基礎鋪開從內核收包到ip命令從配置文件到防火墻NAT再到真實排障時該怎么一步步追問題。適合剛接觸Linux的開發(fā)者也適合已經寫了一年腳本但遇到網絡問題就懵的系統(tǒng)管理員。保證你看完能少踩幾個我當年踩過的坑。1. 先把Linux網絡這件事的輪廓描清楚1.1 一次收包請求在內核里走了多遠我記得第一次獨自排查服務器“網絡全部不通”時第一反應是重啟網卡。后來問題依舊才知道自己連最基礎的數(shù)據(jù)包走向都模糊。理解Linux網絡基礎應該從網卡收到數(shù)據(jù)的那一刻開始。當網卡接收到一段電平信號先做CRC校驗確認幀沒壞再通過DMA直接寫進內存里的環(huán)形緩沖區(qū)這一步基本不消耗CPU。接著硬中斷觸發(fā)內核會注冊一個軟中斷NET_RX_SOFTIRQ把數(shù)據(jù)包封裝成一個叫sk_buff的結構體。這個結構體是整個協(xié)議棧的“快遞包裹”從鏈路層一路傳到傳輸層都靠它。隨后包進入協(xié)議棧鏈路層去掉以太網頭根據(jù)頭里的協(xié)議字段判斷是IPv40x0800、ARP0x0806還是IPv60x86DD。網絡層拿到IP頭后第一件事是查路由表搞清楚這個包是給本機的還是需要轉發(fā)出去的。如果是給本機的再根據(jù)TCP或UDP頭里的端口號去找對應的socket最終放進socket接收隊列應用層通過read、epoll這些系統(tǒng)調用拿到數(shù)據(jù)。這趟鏈路聽起來不復雜但每一步都可能出問題。比如MTU不匹配導致包被分片或者被丟棄路由表策略不對導致包繞了遠路socket接收隊列滿了導致內核丟棄數(shù)據(jù)。如果你一上來就抓包看到現(xiàn)象卻解釋不了根因那大概率就是沒把這條鏈路吃透。1.2 分層的意義以及排障為什么容易錯位TCP/IP模型分四層鏈路層、網絡層、傳輸層、應用層。每層各司其職但排障時最容易犯的錯是拿高層工具去測低層故障或者反過來。拿寄快遞打比方鏈路層是快遞貨車網絡層是分揀中心決定包裹去哪個城市傳輸層是快遞單號衣服柜子應用層是收件人簽收。全鏈路暢通收件人才拿得到貨。網絡問題雖然表現(xiàn)為應用層“連不上”根因卻可能出在任何一層。我見過不少人遇到“網絡不通”就拼命檢查業(yè)務端口結果真正原因是物理網線松了。更有意思的是反向場景ping通就以為網絡沒問題結果業(yè)務端口被防火墻擋在INPUT鏈上。分層思維的價值在于排障順序永遠不會亂。先鏈路再IP再路由再傳輸再應用。每層都有專屬工具和專屬查看命令后面幾節(jié)我會按這個順序展開。2. 用ip命令把網絡狀態(tài)摸透2.1 ip link先確認接口活著而且狀態(tài)是UP現(xiàn)在很多Linux發(fā)行版仍然保留ifconfig命令但它早已不是主流。現(xiàn)代系統(tǒng)上ip命令是標準操作入口。排查第一步永遠應該先看接口狀態(tài)ip link show ip -s link show ens3第一條輸出能看到每個接口的名稱、MAC地址、狀態(tài)和MTU。尤其要關注state UP還是state DOWN。如果接口處于DOWNip addr里配置再漂亮的IP也是白搭。第二條加-s參數(shù)能看到收發(fā)統(tǒng)計。重點看errors、dropped、overruns這幾列。errors大幅上漲多半是物理層問題比如網線松動、交換機端口協(xié)商異常。dropped上漲可能是接收緩沖區(qū)不夠或者防火墻策略丟包。overruns說明內核處理不過來常見于小包沖擊或者CPU軟中斷被綁核。提到MTU很多人忽略。默認1500字節(jié)在絕大多數(shù)場景沒問題但用VXLAN、隧道或者巨型幀環(huán)境就很容易出現(xiàn)黑洞。怎么驗證MTU可以用帶DF標志的pingping -M do -s 1472 192.0.2.1默認ping payload是64字節(jié)以太網總幀大小大約1500所以payloadIP頭20ICMP頭81472剛好不超。如果這個能通說明網絡路徑支持1500MTU。如果再往上加字節(jié)ping不通那就是某個中間設備MTU太小并且ICMP不可達消息又被防火墻吞了。2.2 ip addrIP地址、CIDR和scope別只記命令接口正常后第二步檢查地址ip addr show ip addr add 192.0.2.10/24 dev ens3 ip addr del 192.0.2.10/24 dev ens3我一直強調要理解CIDR。/24不是隨便寫上去的它代表子網掩碼是255.255.255.0。192.0.2.10/24意味著網絡地址192.0.2.0廣播地址192.0.2.255有效可用主機地址是192.0.2.1到192.0.2.254?？吹健?24”如果不能立刻反應出掩碼和廣播地址說明還需要補基礎。ip addr輸出里還有個容易被忽略的scope字段。常見的global表示這個地址對外可見host表示只屬于本機。比如lo接口上的127.0.0.1/8就是scope host。有些服務監(jiān)聽在127.0.0.1上外部永遠無法訪問本質就是地址scope限定的。檢查地址時還要警惕一個現(xiàn)象接口上有多個IP并不奇怪但同一個IP出現(xiàn)在兩個接口上會出事。Linux對地址沖突不是特別敏感兩個接口廣播同一個IP會導致后續(xù)收到數(shù)據(jù)的arp緩存來回跳。如果你發(fā)現(xiàn)ip addr里出現(xiàn)兩處相同地址這通常比防火墻問題更隱蔽也更致命。2.3 ip route路由表決定數(shù)據(jù)包去向默認網關別亂配地址有了怎么知道數(shù)據(jù)包走哪個口出去看路由ip route show ip route add default via 192.0.2.1 dev ens3 ip route add 10.10.0.0/16 via 192.0.2.1 ip route del 10.10.0.0/16路由表的核心規(guī)則是“最長前綴匹配”。比如有一條default路由也有一條10.10.0.0/16路由那么去10.10.1.5的數(shù)據(jù)包會選擇后面這條因為它前綴更長、更精確。理解這個規(guī)則解決“為什么走了奇怪網關”就很容易。ip route show輸出里經常有一行proto kernel scope link src 192.0.2.10這是內核因為接口配置了地址而自動生成的直連路由。它保證了同網段的包可以直接出去不需要網關。有些人手動刪掉這類路由結果同網段通信立刻斷開就是這個原因。默認網關配置也常見一個坑一個網卡配了多個IP或者系統(tǒng)有多個網卡如果把默認網關指向一個并不存在的下一跳外部流量全都會消失。我習慣配置完地址后立刻ip route show確認默認路由的dev接口真的是通往外部的那張網卡。3. 從臨時配置到永久生效Linux網絡配置的三種姿勢3.1 NetworkManager與nmcli適合桌面也適合大部分云主機ip命令改的配置只對當前運行生效重啟后一切還原。要持久化繞不開網絡管理服務。目前最常見的管理者是NetworkManager。雖然很多人對它有成見但它對動態(tài)網絡環(huán)境處理確實好尤其適合云主機。常用命令nmcli device status nmcli connection show nmcli con mod ens3 ipv4.method manual ipv4.addresses 192.0.2.10/24 ipv4.gateway 192.0.2.1 nmcli con up ens3nmcli con mod不會立即生效需要up或者重啟網絡服務。這也經常讓人誤會改了配置沒重啟查半天發(fā)現(xiàn)運行時的配置還是舊的。NetworkManager強大的地方在于可以統(tǒng)一管理bond、vlan、bridge。比如多網卡綁定鏈路聚合用nmcli可以一步到位。如果只用腳本跪多個配置文件遇到bond或者vlan會非常痛苦。我碰到過生產環(huán)境為了做bond手寫了半天ifcfg文件最后發(fā)現(xiàn)NetworkManager根本不讀原因是沒有設置NM_CONTROLLEDyes。這類問題在純NetworkManager環(huán)境里反而不會發(fā)生。但NetworkManager也不是萬能。如果你是一個極簡容器或者輕量虛擬機不需要復雜連接管理那么它反而是累贅。所以下面這個選擇很關鍵。3.2 systemd-networkd適合輕量服務器和容器場景凡是看NetworkManager不順眼的多半會喜歡systemd-networkd。它通過文本文件直接描述“哪個網卡用哪個地址”規(guī)則簡單粗暴。靜態(tài)配置示例寫入/etc/systemd/network/10-static.network[Match] Nameens3 [Network] Address192.0.2.10/24 Gateway192.0.2.1 DNS1.1.1.1使用這個配置要先把NetworkManager停掉systemctl stop NetworkManager systemctl disable NetworkManager systemctl enable --now systemd-networkd注意/etc/systemd/network/下文件的命名順序系統(tǒng)按字典序加載文件名。如果兩個文件匹配同一網卡配置就可能相互覆蓋。養(yǎng)成以數(shù)字開頭命名的習慣比如10-ens3.network這樣優(yōu)先級一目了然。DHCP配置更簡單[Match] Nameens3 [Network] DHCPyessystemd-networkd還有個好處沒有NetworkManager那么在意的配置文件緩存干擾改文件后執(zhí)行networkctl reload出錯就是白紙黑字報錯沒有那么多“玄學”。我在需要跑容器的小機上基本都會把網絡管理切到它。3.3 ifcfg傳統(tǒng)腳本遇到舊系統(tǒng)照樣得會讀還沒完全淘汰的CentOS 6、7時代?？?etc/sysconfig/network-scripts/ifcfg-ens3BOOTPROTOnone ONBOOTyes IPADDR192.0.2.10 NETMASK255.255.255.0 GATEWAY192.0.2.1 DNS11.1.1.1后來即使CentOS 7也逐步被NetworkManager接管但如果系統(tǒng)配置變了還是要能讀懂這些字段。最常見的坑是ONBOOTno網卡地址配了卻沒法自啟。還有BOOTPROTOdhcp和靜態(tài)IP混用導致啟動時先搶了DHCP地址后來靜態(tài)地址才覆蓋上去。遇到這類舊系統(tǒng)我建議在改配置前先備份然后執(zhí)行systemctl restart network重啟后立即看ip addr。如果不如預期立刻查journalctl -u network和message日志。配置文件差一個下劃線、少一個引號都可能讓整個服務起不來。4. 排障工具箱從ping到tcpdump4.1 ping真的能通不代表一切正常排查連通性大家第一個想到ping。但我要潑盆冷水ping通只能說明ICMP和鏈路層通了不代表TCP、UDP端口通也不代表DNS正常。反之ping不通也不能立刻斷定網絡掛了因為很多設備主動丟棄ICMP。遇到“ping不通但業(yè)務好像還正?！钡那闆r先確認是不是策略問題。用arping看看二層鄰居在不在arping -I ens3 192.0.2.1這個命令直接在數(shù)據(jù)鏈路層發(fā)送ARP請求不依賴IP轉發(fā)。如果arping有響應而ping沒有那問題多半在中間路由器的防火墻或ICMP配置上。ping的主要價值在于測丟包和延遲。比如ping -c 100 -i 0.2 192.0.2.1穩(wěn)定的內網延遲應該在1ms以內。如果延遲忽高忽低還能觀察到dup重復響應多半是網卡bond配置錯誤或者交換機環(huán)路。4.2 traceroute看的是路徑不是終點網絡路徑變長、延遲變大需要找出卡在哪一跳這時候上traceroutetraceroute -n 203.0.113.5 traceroute -T -p 443 203.0.113.5原理是每次發(fā)送TTL遞增的數(shù)據(jù)包從1開始每過一個路由器TTL減1減到0時路由器返回ICMP超時這樣就能記錄每一跳。-n關閉反解速度快很多。-T -p 443表示用TCP協(xié)議探測443端口很多防火墻允許HTTP端口出去這個方法常能穿透普通ICMP被攔的路徑。輸出里出現(xiàn)*不要慌它只代表這一跳沒有回復ICMP超時有可能是該設備禁了ICMP并不是鏈路斷。真正要關心的是在某一跳之后所有后續(xù)跳全部超時那才說明路徑從這里開始出問題。我根據(jù)自己經驗排障少看中間節(jié)點只看首跳、末跳和延遲突變點就夠了。4.3 ss端口有沒有在聽連接處于什么狀態(tài)查端口監(jiān)聽和連接狀態(tài)用ss。它比老舊的netstat快信息也更準確ss -lntp ss -s ss -tan state established第一條列出所有監(jiān)聽中的TCP端口-n表示不做域名解析-p顯示進程名和PID排障時立刻能知道某個端口到底是哪個程序在監(jiān)聽。第二條查看系統(tǒng)socket統(tǒng)計比如TIME_WAIT、CLOSE_WAIT總量這個數(shù)字突然暴漲往往預示應用異常。第三條篩出已建立的連接方便排查大量連接堆積的情況。一個經典誤判程序報“端口被占用”ss -lntp卻怎么都看不到。為什么會這樣多半是程序監(jiān)聽在IPv6的::地址而ss沒加-6參數(shù)被誤導為沒監(jiān)聽。加上-6再看立刻真相大白。還有一種情況服務監(jiān)聽在127.0.0.1同機器可以通過外部連接卻失敗ss -lntp里還是能看到監(jiān)聽但地址決定了它只對本機開放。4.4 DNS排查先從系統(tǒng)的角度看再談digDNS問題真的很容易和網絡問題混在一起。先確認系統(tǒng)解析行為getent hosts example.com cat /etc/resolv.conf系統(tǒng)里很多程序不是直接用DNS協(xié)議而是走libc的getaddrinfo它受/etc/nsswitch.conf控制。比如nsswitch里配置了files dns表示先查/etc/hosts再查DNS。如果你往/etc/hosts里寫了一條解析記錄即使DNS正常解析結果也會優(yōu)先用hosts里的值。排障時一定要先getent hosts再決定要不要看dig。看DNS查詢本身用digdig 1.1.1.1 example.com short dig trace example.com指定上游DNS服務器可以跳過本地緩存直接測公共解析。trace能展示從根域到最終目標的完整解析鏈路。如果你發(fā)現(xiàn)本地程序解析異常但dig 公共DNS正常問題大概率出在本地DNS服務器或/etc/resolv.conf配置順序上。注意/etc/resolv.conf經常被NetworkManager偷偷重寫。很多人在里面手寫了DNS重啟后就剩一行127.0.0.53那是systemd-resolved在接管。不要直接編輯后等著重啟要檢查是不是被某個管理服務給覆蓋了。4.5 tcpdump抓包最后用證據(jù)說話前面所有工具都只是間接推斷只有抓包能看到最原始的網絡交互。tcpdump是最終的“呈堂證供”tcpdump -i ens3 -nn port 53 tcpdump -i any -nn tcp port 8080 -w /tmp/http.pcap第一條監(jiān)聽53端口-nn不解析主機名和端口避免干擾自己。第二條把8080端口包存入pcap文件方便后續(xù)用圖形化工具慢速分析。抓包時如果流量很大建議先加上-c 100限制抓包數(shù)量不然文件膨脹得嚇人。我舉一個用tcpdump定位的真實場景應用日志大量報“上游連接超時”ping網關正常端口也能連通就是業(yè)務整體變慢。我抓包后發(fā)現(xiàn)TCP重傳率居高不下連續(xù)看到TCP Dup ACK和Retransmission。順著重傳下去定位到這臺機器與核心交換機之間有大量錯包最后查清楚是網卡驅動固件太老導致協(xié)商速率不穩(wěn)定。如果不抓包這件事怎么查都像是“玄學”。抓包務必注意權限普通用戶跑需要root或者賦予CAP_NET_RAW。另外抓包本身會影響性能生產環(huán)境別長時間全量抓條件盡量選精確。5. 防火墻與NATnetfilter體系其實很樸素5.1 從iptables到nftables規(guī)則鏈里發(fā)生了什么Linux防火墻的本質是內核里的netfilter框架。它對數(shù)據(jù)包設置了幾道關口管理員可以往關口上追加規(guī)則。以前用iptables現(xiàn)在更推薦nftables但概念一脈相承表和鏈。記住這張表就夠了鏈觸發(fā)時機用途PREROUTING包到達本機路由決策之前DNAT、地址偽裝前處理INPUT目標地址是本機過濾發(fā)往本機的流量FORWARD目標地址非本機需要轉發(fā)過濾經本機轉發(fā)的流量OUTPUT本機發(fā)出包路由決策之后過濾本機外發(fā)流量POSTROUTING包即將離開網卡SNAT、MASQUERADE為什么要理解這個順序因為你做的每條規(guī)則放在不同鏈生效點完全不一樣。舉個典型困惑做端口轉發(fā)時為什么DNAT規(guī)則寫在PREROUTING而通常必須配合SNAT規(guī)則因為PREROUTING先改了目標地址讓數(shù)據(jù)包知道該往哪轉發(fā)但如果源地址還是外部客戶端地址回包就會直接發(fā)給客戶端而不是回到我們的服務器所以必須再在POSTROUTING做SNAT讓回包先經過我們這臺機器。5.2 最小防火墻規(guī)則集與動態(tài)加載用nftables配一個基礎規(guī)則集示例寫入/etc/nftables.conftable inet filter { chain input { type filter hook input priority 0; policy drop; ct state established,related accept iif lo accept tcp dport 22 accept tcp dport 80 accept tcp dport 443 accept } chain forward { type filter hook forward priority 0; policy drop; } chain output { type filter hook output priority 0; policy accept; } }這里policy drop表示默認丟棄所有包。最保險的順序是先把放行規(guī)則寫好再提policy drop。如果你正在遠程操作服務器大膽設置了drop又忘記放行22端口那么恭喜你只能去機房或帶外管理口“救火”了。我自己的經驗是任何防火墻改動都先操作后檢查并且給自己留一條回滾路徑。比如iptables可以先iptables-save /tmp/fw.backupnftables先nft list ruleset /tmp/nft.backup。改動完立刻從另一個會話測試通斷一旦斷掉馬上回滾別抱僥幸心理。5.3 DNAT端口映射與MASQUERADE經典內外網穿透需求很常見內網一臺服務器192.0.2.20只跑在80端口但是外部訪問入口應該是192.0.2.10的8080端口。你可以在網關這臺Linux上做轉發(fā)。開啟內核轉發(fā)先sysctl -w net.ipv4.ip_forward1 echo net.ipv4.ip_forward1 /etc/sysctl.conf然后用nftables配置nft add rule ip nat prerouting tcp dport 8080 dnat to 192.0.2.20:80 nft add rule ip nat postrouting ip saddr 192.0.2.0/24 masquerade第一條將外部訪問本機8080的流量改寫成目標192.0.2.20:80。第二條讓轉發(fā)出去的內網源地址被偽裝成本機地址。如果少了第二條回包路徑很可能不對稱內網服務器看到源地址是外部IP自己回包時會嘗試直接發(fā)給外部IP而我們這臺網關根本沒有做路連接自然失敗。MASQUERADE跟SNAT的區(qū)別在于會動態(tài)獲取出口IP適合出口地址不固定的情況。如果系統(tǒng)開啟了firewalld也能完成類似操作firewall-cmd --add-forward-portport8080:prototcp:toport80:toaddr192.0.2.20 --permanent firewall-cmd --reload這類NAT配置在生產中經常和容器、虛擬化重疊使用。哪怕你現(xiàn)在不做網關掌握了DNAT和SNAT的配合關系看容器里端口映射的手冊也會輕松很多。6. 常見網絡故障與排查流程6.1 一條完整的排查路徑不管多復雜的網絡問題我都按這條路徑走基本沒有走偏過。先看接口鏈路ip link檢查UPethtool ens3確認協(xié)商速率。鏈路層沒問題再看IP層ip addr確認地址ip route確認默認網關。通了之后測DNS解析getent hosts判斷系統(tǒng)側解析是否正常。解析正常再測端口ss -lntp看服務監(jiān)聽nc -vz 192.0.2.20 80測遠程端口可達性。如果還是不通直接抓包找證據(jù)。有人會問是不是一上來就抓包更省事我的回答是不要。無差別抓包容易讓人陷入海量信息中反而找不到重點。先通過分層排查把范圍縮到最小再抓包就是精準打擊。舉個例子某臺服務器上的應用偶爾連接慢直觀感覺是網絡故障。我按路徑走下來接口、地址、路由都正常但getent hosts返回結果時快時慢。這時直接dig 本地DNS域名發(fā)現(xiàn)響應時間抖動最后定位到DNS服務器性能問題。整個排查沒抓包就定位得明明白白。6.2 高頻問題速查表現(xiàn)象候選原因先做什么網卡顯示DOWN物理鏈路或接口未啟用ip link set ens3 up有地址但ping不通網關路由問題或網關側防火墻ip route檢查默認路由ping通但SSH連不上防火墻端口攔截 / SSH監(jiān)聽地址ss -lntp看22端口監(jiān)聽檢查INPUT鏈域名解析失敗resolv.conf被篡改 / 上游DNS不可達cat /etc/resolv.confdig 8.8.8.8連接頻繁重置并發(fā)過高 / 連接數(shù)限制dmesg查連接跟蹤表滿ss -s看狀態(tài)偶發(fā)重傳網卡協(xié)商 / 中間鏈路丟包ethtool -S ens3查錯誤計數(shù)tcpdump看重傳老手和新手的區(qū)別往往不在知道多少命令而在出問題時能不能按表索驥快速縮小范圍。這張表幫我在值班時省下大量無效操作你完全可以照著自己的環(huán)境維護一張更細的版本。6.3 幾條越早明白越好的實戰(zhàn)心得先說改動前留退路。網絡配置不像改代碼可以提交后重啟驗證配置改錯可能直接連不上機器。我每次遠程改網絡都先把當前配置導出并開一條“保命”會話防止改完自己連工具窗都關不掉。再說謹慎對待一切自動重寫的服務。Cloud-init、NetworkManager、systemd-resolved都會按自己邏輯覆寫配置。如果你的靜態(tài)配置總是莫名其妙消失別懷疑同事先排查這些管理服務的狀態(tài)。還有一個容易翻車的地方IPv6。很多問題表現(xiàn)為“偶爾連不上”最后發(fā)現(xiàn)是應用只監(jiān)聽了IPv4而客戶端優(yōu)先走了IPv6。排查時ss -lntp6和ping6都要會用。你的網絡基礎有沒有真正過關就看能不能在同一臺機器上把v4、v6、路由、防火墻這些因素同時理順。最后一個小小的建議是每次排完一個網絡問題把過程和結論記下來。不用寫多長關鍵命令加結果即可。下次遇到類似case翻看自己的筆記比重新翻文檔快十倍。網絡基礎就是在一輪輪實踐中越變越扎實的沒有人能跳過這一步。