器CPU占用過高排查與優(yōu)化實(shí)戰(zhàn)指南)
1. Linux服務(wù)器CPU占用過高排查指南作為一名運(yùn)維老兵我處理過的服務(wù)器CPU爆滿問題不下百次。每次半夜被報(bào)警短信吵醒看著監(jiān)控圖上那條直沖100%的紅線都得迅速定位問題根源。本文將分享我多年實(shí)戰(zhàn)中總結(jié)的CPU問題排查方法論從快速止血到深度分析手把手帶你掌握這套望聞問切的排查流程。2. 核心排查思路與工具選型2.1 診斷工具全景圖Linux系統(tǒng)自帶的性能分析工具鏈堪稱運(yùn)維人員的瑞士軍刀。根據(jù)問題場景不同我會(huì)分層使用這些工具全局監(jiān)控層top/htop實(shí)時(shí)、vmstat系統(tǒng)級(jí)、dstat增強(qiáng)版進(jìn)程分析層pidstat細(xì)粒度、ps aux --sort-%cpu排序線程級(jí)分析top -H -p 、pstree -p調(diào)用鏈追蹤strace系統(tǒng)調(diào)用、perf性能熱點(diǎn)高級(jí)診斷sar歷史數(shù)據(jù)、bpftrace內(nèi)核級(jí)經(jīng)驗(yàn)安裝sysstat包后使用pidstat 1比單純用top更能看清瞬時(shí)CPU波動(dòng)2.2 快速定位問題方向通過幾個(gè)關(guān)鍵指標(biāo)可以快速判斷問題類型CPU負(fù)載與使用率關(guān)系load average CPU核心數(shù)且%us高 → 應(yīng)用層問題%sy過高 → 內(nèi)核或系統(tǒng)調(diào)用頻繁%wa高 → I/O等待導(dǎo)致CPU閑置用戶態(tài)/內(nèi)核態(tài)占比# 查看CPU模式分布 mpstat -P ALL 1輸出示例08:30:01 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 08:30:02 AM all 85.23 0.00 12.31 0.25 0.00 0.21 0.00 0.00 0.00 2.00典型問題特征速查表現(xiàn)象組合可能原因下一步動(dòng)作%us高 load高業(yè)務(wù)代碼問題分析Java/Python進(jìn)程%sy高 上下文切換頻繁鎖競爭/進(jìn)程調(diào)度檢查mutex和線程數(shù)%wa高 iowait高磁盤IO瓶頸檢查await和%util軟中斷高網(wǎng)絡(luò)包處理檢查網(wǎng)絡(luò)流量和網(wǎng)卡隊(duì)列3. 詳細(xì)排查實(shí)戰(zhàn)流程3.1 第一響應(yīng)快速止血當(dāng)CPU持續(xù)滿載時(shí)首先要防止系統(tǒng)雪崩隔離問題節(jié)點(diǎn)如果是集群# 從負(fù)載均衡池摘除節(jié)點(diǎn) echo 0 /proc/sys/net/ipv4/ip_forward限制異常進(jìn)程# 臨時(shí)限制CPU使用 cpulimit -l 50 -p PID # 或使用cgroups cgcreate -g cpu:/limit_group echo 100000 /cpu/limit_group/cpu.cfs_quota_us echo PID /cpu/limit_group/tasks保留現(xiàn)場證據(jù)# 抓取進(jìn)程快照 ps auxf /tmp/ps_$(date %s).log # 保存JVM線程棧如果是Java應(yīng)用 jstack PID /tmp/jstack_$(date %s).log3.2 深度分析五步定位法步驟1定位問題進(jìn)程# 按CPU排序顯示進(jìn)程 top -c -o %CPU # 或使用更直觀的htop F6 - PERCENT_CPU - 回車步驟2分析進(jìn)程內(nèi)部# 查看進(jìn)程的線程CPU占用 top -H -p PID # 統(tǒng)計(jì)系統(tǒng)調(diào)用 strace -cp PID # 采樣調(diào)用棧30秒 perf record -F 99 -p PID -g -- sleep 30 perf report步驟3檢查關(guān)聯(lián)資源# 查看文件打開數(shù) ls -l /proc/PID/fd | wc -l # 檢查內(nèi)存使用 pmap -x PID # 網(wǎng)絡(luò)連接統(tǒng)計(jì) ss -tunap | grep PID步驟4驗(yàn)證配置參數(shù)# 檢查進(jìn)程限制 cat /proc/PID/limits # 查看內(nèi)核參數(shù) sysctl -a | grep sched\|timer步驟5歷史對(duì)比分析# 查看sar歷史數(shù)據(jù) sar -u -f /var/log/sa/sa$(date %d -d yesterday) # 對(duì)比正常時(shí)段的CPU使用模式4. 典型場景案例庫4.1 Java應(yīng)用CPU飆升特征%us高大量RUNNABLE線程可能存在鎖競爭排查步驟獲取線程棧jstack PID jstack.log轉(zhuǎn)換線程IDprintf %x\n 十進(jìn)制線程ID分析熱點(diǎn)代碼# 采樣Java方法調(diào)用 perf record -e cpu-clock -g -p PID perf report常見原因死循環(huán)如while(true)空轉(zhuǎn)鎖競爭查看BLOCKED狀態(tài)線程頻繁GC配合jstat -gcutil分析4.2 內(nèi)核態(tài)CPU占用高特征%sy 30%上下文切換頻繁cs/sec高排查命令# 查看系統(tǒng)調(diào)用統(tǒng)計(jì) perf top -e raw_syscalls:sys_enter # 檢查軟中斷 watch -d -n 1 cat /proc/softirqs解決方案調(diào)整內(nèi)核參數(shù)echo net.ipv4.tcp_max_tw_buckets20000 /etc/sysctl.conf sysctl -p優(yōu)化進(jìn)程調(diào)度chrt -f -p 99 PID4.3 定時(shí)任務(wù)風(fēng)暴現(xiàn)象CPU使用率周期性飆升存在大量sh或cron進(jìn)程定位方法# 查看最近執(zhí)行的命令 grep CRON /var/log/cron | tail -20 # 檢查anacron任務(wù) ls -l /etc/cron.*/處理方案# 臨時(shí)禁用cron systemctl stop crond # 調(diào)整任務(wù)時(shí)間分布 for i in {0..59}; do echo $i * * * * sleep $(($RANDOM % 30)); /path/to/job /etc/crontab done5. 高級(jí)診斷技巧5.1 使用BPF深度分析# 跟蹤C(jī)PU使用最高的函數(shù) bpftrace -e profile:hz:99 { [ustack] count(); } # 統(tǒng)計(jì)進(jìn)程調(diào)度延遲 bpftrace -e tracepoint:sched:sched_switch { [kstack] hist(args-prev-prio); }5.2 性能熱點(diǎn)火焰圖生成步驟采集數(shù)據(jù)perf record -F 99 -a -g -- sleep 60生成SVGperf script | stackcollapse-perf.pl | flamegraph.pl flame.svg分析要點(diǎn)看最寬的火苗注意平頂部分檢查調(diào)用鏈深度5.3 容器環(huán)境特殊處理在Docker中需要額外注意# 進(jìn)入容器namespace nsenter -t PID -m -u -i -n -p # 查看cgroups限制 cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us6. 長效防護(hù)機(jī)制6.1 監(jiān)控告警配置推薦Prometheus監(jiān)控指標(biāo)node_cpu_seconds_total{modeuser}process_cpu_seconds_totalrate(node_cpu_seconds_total[1m])告警規(guī)則示例- alert: HighCPUUsage expr: 100 - (avg by(instance)(rate(node_cpu_seconds_total{modeidle}[5m])) * 100) 85 for: 10m6.2 自動(dòng)化排查腳本保存以下為cpu_diag.sh#!/bin/bash LOG_DIR/tmp/cpu_diag_$(date %s) mkdir $LOG_DIR # 基礎(chǔ)信息 top -b -n 1 $LOG_DIR/top.log ps aux --sort-%cpu $LOG_DIR/ps.log vmstat 1 10 $LOG_DIR/vmstat.log # 深度診斷 for pid in $(ps -eo pid,%cpu --sort-%cpu | awk $230 NR1 {print $1}); do echo PID $pid $LOG_DIR/deep.log cat /proc/$pid/cmdline $LOG_DIR/deep.log echo $LOG_DIR/deep.log strace -cp $pid $LOG_DIR/deep.log 21 done tar czf $LOG_DIR.tar.gz $LOG_DIR echo 診斷包已保存到 $LOG_DIR.tar.gz6.3 內(nèi)核參數(shù)調(diào)優(yōu)建議# 調(diào)整進(jìn)程調(diào)度 echo kernel.sched_min_granularity_ns 10000000 /etc/sysctl.conf echo kernel.sched_wakeup_granularity_ns 15000000 /etc/sysctl.conf # 減少上下文切換 echo vm.dirty_ratio 10 /etc/sysctl.conf echo vm.dirty_background_ratio 5 /etc/sysctl.conf sysctl -p7. 避坑指南與經(jīng)驗(yàn)總結(jié)不要立即kill進(jìn)程先保留現(xiàn)場證據(jù)避免問題復(fù)現(xiàn)困難注意觀察間隔top默認(rèn)3秒刷新可能錯(cuò)過瞬時(shí)峰值建議用top -d 0.5 -c警惕監(jiān)控盲區(qū)某些CPU密集型操作可能在采樣間隔之間完成容器環(huán)境差異容器內(nèi)看到的CPU是宿主機(jī)的使用docker stats看到的才是容器真實(shí)的CPU限制多核CPU陷阱# 查看CPU親和性 taskset -pc PID # 綁定到特定核心可能提升緩存命中率 taskset -c 0,1 command歷史數(shù)據(jù)分析技巧# 查看過去24小時(shí)的CPU峰值時(shí)刻 sar -u -f /var/log/sa/sa$(date %d) | awk $NF 40 {print $1,$3}硬件因素排查# 檢查CPU頻率 cat /proc/cpuinfo | grep MHz # 查看CPU節(jié)流適用于云環(huán)境 grep -E thermal_throttle|clock_limiting /var/log/messages終極排查思路用戶態(tài)問題 → 分析應(yīng)用代碼/配置內(nèi)核態(tài)問題 → 檢查系統(tǒng)調(diào)用/驅(qū)動(dòng)硬件問題 → 查看dmesg/溫度傳感器 Linux服務(wù)器CPU占用過高排查與優(yōu)化實(shí)戰(zhàn)指南
1. Linux服務(wù)器CPU占用過高排查指南作為一名運(yùn)維老兵我處理過的服務(wù)器CPU爆滿問題不下百次。每次半夜被報(bào)警短信吵醒看著監(jiān)控圖上那條直沖100%的紅線都得迅速定位問題根源。本文將分享我多年實(shí)戰(zhàn)中總結(jié)的CPU問題排查方法論從快速止血到深度分析手把手帶你掌握這套望聞問切的排查流程。2. 核心排查思路與工具選型2.1 診斷工具全景圖Linux系統(tǒng)自帶的性能分析工具鏈堪稱運(yùn)維人員的瑞士軍刀。根據(jù)問題場景不同我會(huì)分層使用這些工具全局監(jiān)控層top/htop實(shí)時(shí)、vmstat系統(tǒng)級(jí)、dstat增強(qiáng)版進(jìn)程分析層pidstat細(xì)粒度、ps aux --sort-%cpu排序線程級(jí)分析top -H -p 、pstree -p調(diào)用鏈追蹤strace系統(tǒng)調(diào)用、perf性能熱點(diǎn)高級(jí)診斷sar歷史數(shù)據(jù)、bpftrace內(nèi)核級(jí)經(jīng)驗(yàn)安裝sysstat包后使用pidstat 1比單純用top更能看清瞬時(shí)CPU波動(dòng)2.2 快速定位問題方向通過幾個(gè)關(guān)鍵指標(biāo)可以快速判斷問題類型CPU負(fù)載與使用率關(guān)系load average CPU核心數(shù)且%us高 → 應(yīng)用層問題%sy過高 → 內(nèi)核或系統(tǒng)調(diào)用頻繁%wa高 → I/O等待導(dǎo)致CPU閑置用戶態(tài)/內(nèi)核態(tài)占比# 查看CPU模式分布 mpstat -P ALL 1輸出示例08:30:01 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 08:30:02 AM all 85.23 0.00 12.31 0.25 0.00 0.21 0.00 0.00 0.00 2.00典型問題特征速查表現(xiàn)象組合可能原因下一步動(dòng)作%us高 load高業(yè)務(wù)代碼問題分析Java/Python進(jìn)程%sy高 上下文切換頻繁鎖競爭/進(jìn)程調(diào)度檢查mutex和線程數(shù)%wa高 iowait高磁盤IO瓶頸檢查await和%util軟中斷高網(wǎng)絡(luò)包處理檢查網(wǎng)絡(luò)流量和網(wǎng)卡隊(duì)列3. 詳細(xì)排查實(shí)戰(zhàn)流程3.1 第一響應(yīng)快速止血當(dāng)CPU持續(xù)滿載時(shí)首先要防止系統(tǒng)雪崩隔離問題節(jié)點(diǎn)如果是集群# 從負(fù)載均衡池摘除節(jié)點(diǎn) echo 0 /proc/sys/net/ipv4/ip_forward限制異常進(jìn)程# 臨時(shí)限制CPU使用 cpulimit -l 50 -p PID # 或使用cgroups cgcreate -g cpu:/limit_group echo 100000 /cpu/limit_group/cpu.cfs_quota_us echo PID /cpu/limit_group/tasks保留現(xiàn)場證據(jù)# 抓取進(jìn)程快照 ps auxf /tmp/ps_$(date %s).log # 保存JVM線程棧如果是Java應(yīng)用 jstack PID /tmp/jstack_$(date %s).log3.2 深度分析五步定位法步驟1定位問題進(jìn)程# 按CPU排序顯示進(jìn)程 top -c -o %CPU # 或使用更直觀的htop F6 - PERCENT_CPU - 回車步驟2分析進(jìn)程內(nèi)部# 查看進(jìn)程的線程CPU占用 top -H -p PID # 統(tǒng)計(jì)系統(tǒng)調(diào)用 strace -cp PID # 采樣調(diào)用棧30秒 perf record -F 99 -p PID -g -- sleep 30 perf report步驟3檢查關(guān)聯(lián)資源# 查看文件打開數(shù) ls -l /proc/PID/fd | wc -l # 檢查內(nèi)存使用 pmap -x PID # 網(wǎng)絡(luò)連接統(tǒng)計(jì) ss -tunap | grep PID步驟4驗(yàn)證配置參數(shù)# 檢查進(jìn)程限制 cat /proc/PID/limits # 查看內(nèi)核參數(shù) sysctl -a | grep sched\|timer步驟5歷史對(duì)比分析# 查看sar歷史數(shù)據(jù) sar -u -f /var/log/sa/sa$(date %d -d yesterday) # 對(duì)比正常時(shí)段的CPU使用模式4. 典型場景案例庫4.1 Java應(yīng)用CPU飆升特征%us高大量RUNNABLE線程可能存在鎖競爭排查步驟獲取線程棧jstack PID jstack.log轉(zhuǎn)換線程IDprintf %x\n 十進(jìn)制線程ID分析熱點(diǎn)代碼# 采樣Java方法調(diào)用 perf record -e cpu-clock -g -p PID perf report常見原因死循環(huán)如while(true)空轉(zhuǎn)鎖競爭查看BLOCKED狀態(tài)線程頻繁GC配合jstat -gcutil分析4.2 內(nèi)核態(tài)CPU占用高特征%sy 30%上下文切換頻繁cs/sec高排查命令# 查看系統(tǒng)調(diào)用統(tǒng)計(jì) perf top -e raw_syscalls:sys_enter # 檢查軟中斷 watch -d -n 1 cat /proc/softirqs解決方案調(diào)整內(nèi)核參數(shù)echo net.ipv4.tcp_max_tw_buckets20000 /etc/sysctl.conf sysctl -p優(yōu)化進(jìn)程調(diào)度chrt -f -p 99 PID4.3 定時(shí)任務(wù)風(fēng)暴現(xiàn)象CPU使用率周期性飆升存在大量sh或cron進(jìn)程定位方法# 查看最近執(zhí)行的命令 grep CRON /var/log/cron | tail -20 # 檢查anacron任務(wù) ls -l /etc/cron.*/處理方案# 臨時(shí)禁用cron systemctl stop crond # 調(diào)整任務(wù)時(shí)間分布 for i in {0..59}; do echo $i * * * * sleep $(($RANDOM % 30)); /path/to/job /etc/crontab done5. 高級(jí)診斷技巧5.1 使用BPF深度分析# 跟蹤C(jī)PU使用最高的函數(shù) bpftrace -e profile:hz:99 { [ustack] count(); } # 統(tǒng)計(jì)進(jìn)程調(diào)度延遲 bpftrace -e tracepoint:sched:sched_switch { [kstack] hist(args-prev-prio); }5.2 性能熱點(diǎn)火焰圖生成步驟采集數(shù)據(jù)perf record -F 99 -a -g -- sleep 60生成SVGperf script | stackcollapse-perf.pl | flamegraph.pl flame.svg分析要點(diǎn)看最寬的火苗注意平頂部分檢查調(diào)用鏈深度5.3 容器環(huán)境特殊處理在Docker中需要額外注意# 進(jìn)入容器namespace nsenter -t PID -m -u -i -n -p # 查看cgroups限制 cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us6. 長效防護(hù)機(jī)制6.1 監(jiān)控告警配置推薦Prometheus監(jiān)控指標(biāo)node_cpu_seconds_total{modeuser}process_cpu_seconds_totalrate(node_cpu_seconds_total[1m])告警規(guī)則示例- alert: HighCPUUsage expr: 100 - (avg by(instance)(rate(node_cpu_seconds_total{modeidle}[5m])) * 100) 85 for: 10m6.2 自動(dòng)化排查腳本保存以下為cpu_diag.sh#!/bin/bash LOG_DIR/tmp/cpu_diag_$(date %s) mkdir $LOG_DIR # 基礎(chǔ)信息 top -b -n 1 $LOG_DIR/top.log ps aux --sort-%cpu $LOG_DIR/ps.log vmstat 1 10 $LOG_DIR/vmstat.log # 深度診斷 for pid in $(ps -eo pid,%cpu --sort-%cpu | awk $230 NR1 {print $1}); do echo PID $pid $LOG_DIR/deep.log cat /proc/$pid/cmdline $LOG_DIR/deep.log echo $LOG_DIR/deep.log strace -cp $pid $LOG_DIR/deep.log 21 done tar czf $LOG_DIR.tar.gz $LOG_DIR echo 診斷包已保存到 $LOG_DIR.tar.gz6.3 內(nèi)核參數(shù)調(diào)優(yōu)建議# 調(diào)整進(jìn)程調(diào)度 echo kernel.sched_min_granularity_ns 10000000 /etc/sysctl.conf echo kernel.sched_wakeup_granularity_ns 15000000 /etc/sysctl.conf # 減少上下文切換 echo vm.dirty_ratio 10 /etc/sysctl.conf echo vm.dirty_background_ratio 5 /etc/sysctl.conf sysctl -p7. 避坑指南與經(jīng)驗(yàn)總結(jié)不要立即kill進(jìn)程先保留現(xiàn)場證據(jù)避免問題復(fù)現(xiàn)困難注意觀察間隔top默認(rèn)3秒刷新可能錯(cuò)過瞬時(shí)峰值建議用top -d 0.5 -c警惕監(jiān)控盲區(qū)某些CPU密集型操作可能在采樣間隔之間完成容器環(huán)境差異容器內(nèi)看到的CPU是宿主機(jī)的使用docker stats看到的才是容器真實(shí)的CPU限制多核CPU陷阱# 查看CPU親和性 taskset -pc PID # 綁定到特定核心可能提升緩存命中率 taskset -c 0,1 command歷史數(shù)據(jù)分析技巧# 查看過去24小時(shí)的CPU峰值時(shí)刻 sar -u -f /var/log/sa/sa$(date %d) | awk $NF 40 {print $1,$3}硬件因素排查# 檢查CPU頻率 cat /proc/cpuinfo | grep MHz # 查看CPU節(jié)流適用于云環(huán)境 grep -E thermal_throttle|clock_limiting /var/log/messages終極排查思路用戶態(tài)問題 → 分析應(yīng)用代碼/配置內(nèi)核態(tài)問題 → 檢查系統(tǒng)調(diào)用/驅(qū)動(dòng)硬件問題 → 查看dmesg/溫度傳感器