一文帶你掌握 Zabbix從入門(mén)到實(shí)戰(zhàn)部署Rocky Linux 9.6 Zabbix 6.0 LTS作者zhang-hub-dd環(huán)境Rocky Linux 9.6x86_64/ Zabbix 6.0 LTS / MySQL 8.0聲明本文為實(shí)戰(zhàn)部署記錄所有命令均經(jīng)過(guò)驗(yàn)證可直接上手。目錄一、為什么要做監(jiān)控二、Zabbix 是什么三、Zabbix 核心特性四、Zabbix 系統(tǒng)架構(gòu)五、數(shù)據(jù)是怎么被采集上來(lái)的六、版本怎么選七、部署前環(huán)境準(zhǔn)備八、部署 Zabbix Server九、部署 Zabbix Agent十、Web 前端初始化十一、添加監(jiān)控主機(jī)與監(jiān)控項(xiàng)十二、配置告警十三、分布式監(jiān)控十四、grafana可視化十五、常見(jiàn)問(wèn)題排查一、為什么要做監(jiān)控運(yùn)維的本質(zhì)是讓業(yè)務(wù)穩(wěn)定運(yùn)行。但在真實(shí)的生產(chǎn)環(huán)境中服務(wù)器少則幾十臺(tái)、多則上千臺(tái)靠人肉盯top、df -h、ping顯然不現(xiàn)實(shí)。等到業(yè)務(wù)方反饋?lái)?yè)面打不開(kāi)了才發(fā)現(xiàn)問(wèn)題往往損失已經(jīng)造成。監(jiān)控要解決的核心問(wèn)題就三個(gè)先知先覺(jué)—— 在故障發(fā)生之前預(yù)警如磁盤(pán)快滿(mǎn)了、內(nèi)存持續(xù)飆高快速定位—— 故障發(fā)生后第一時(shí)間縮小故障范圍是網(wǎng)絡(luò)、主機(jī)、還是應(yīng)用數(shù)據(jù)支撐—— 用歷史趨勢(shì)數(shù)據(jù)做容量規(guī)劃什么時(shí)候該擴(kuò)容。而 Zabbix就是業(yè)內(nèi)最流行的開(kāi)源監(jiān)控解決方案之一。二、Zabbix 是什么Zabbix是一個(gè)基于GPL v2協(xié)議的開(kāi)源分布式監(jiān)控系統(tǒng)由拉脫維亞的 Alexei Vladishev 于 2001 年創(chuàng)建現(xiàn)由 Zabbix SIA 維護(hù)至今已有 20 余年歷史。它具備監(jiān)控、采集、告警、可視化、報(bào)表等一整套能力官方宣稱(chēng)可以支持?jǐn)?shù)十萬(wàn)監(jiān)控項(xiàng)的采集上千臺(tái)甚至更多的設(shè)備納管覆蓋服務(wù)器 / 虛擬機(jī) / 網(wǎng)絡(luò)設(shè)備 / 數(shù)據(jù)庫(kù) / 中間件 / 云資源 / 容器等多種對(duì)象一句話(huà)概括Zabbix 是一個(gè)采、存、算、顯、告一體化的開(kāi)源監(jiān)控平臺(tái)。三、Zabbix 核心特性特性說(shuō)明數(shù)據(jù)采集支持 Agent、SNMP、IPMI、JMX、SSH、Telnet、HTTP、ODBC、自定義腳本等十幾種方式實(shí)時(shí)監(jiān)控秒級(jí)、分鐘級(jí)采集周期可自由配置強(qiáng)大告警觸發(fā)器Trigger表達(dá)式靈活支持郵件、釘釘、企業(yè)微信、飛書(shū)、短信、腳本等告警介質(zhì)可視化內(nèi)置儀表盤(pán)、圖形、地圖、幻燈片輪播支持自定義數(shù)據(jù)存儲(chǔ)基于關(guān)系型數(shù)據(jù)庫(kù)MySQL / PostgreSQL / Oracle歷史數(shù)據(jù)可落庫(kù)與歸檔分布式通過(guò) Proxy 實(shí)現(xiàn)分布式監(jiān)控支持大規(guī)模橫向擴(kuò)展高可用支持 Server 集群 數(shù)據(jù)庫(kù)集群實(shí)現(xiàn)高可用部署開(kāi)放 API提供 JSON-RPC 風(fēng)格的 HTTP API方便二次開(kāi)發(fā)與平臺(tái)對(duì)接多語(yǔ)言官方支持中文等多種語(yǔ)言的 Web 界面權(quán)限體系基于用戶(hù)組/角色的細(xì)粒度權(quán)限控制支持多租戶(hù)解析這張表里最值得關(guān)注的是數(shù)據(jù)采集方式多和開(kāi)放 API兩條。采集方式多意味著你幾乎不需要寫(xiě)輪子——網(wǎng)絡(luò)設(shè)備走 SNMP、Java 應(yīng)用走 JMX、老機(jī)器走 SSH都能接進(jìn)來(lái)而 API 則是 Zabbix 能融入現(xiàn)有自動(dòng)化平臺(tái)CMDB、工單系統(tǒng)、發(fā)布系統(tǒng)的關(guān)鍵。四、Zabbix 系統(tǒng)架構(gòu)核心組件及其職責(zé)組件作用Zabbix Server大腦。負(fù)責(zé)數(shù)據(jù)采集調(diào)度、觸發(fā)器計(jì)算、告警發(fā)送、報(bào)表生成常駐進(jìn)程zabbix_serverDatabase數(shù)據(jù)倉(cāng)庫(kù)。存儲(chǔ)配置信息、采集到的歷史數(shù)據(jù)、趨勢(shì)數(shù)據(jù)。生產(chǎn)環(huán)境建議獨(dú)立部署Web Frontend基于 PHP 的 Web 管理界面負(fù)責(zé)可視化展示與操作配置Zabbix Agent安裝在被監(jiān)控主機(jī)上的采集探針支持 Linux/Windows/macOS 等Zabbix Proxy分布式代理替 Server 分?jǐn)偛杉瘔毫m合跨機(jī)房、大并發(fā)場(chǎng)景Zabbix Java Gateway專(zhuān)門(mén)用于采集基于 JMX 的 Java 應(yīng)用如 Tomcat、Kafka指標(biāo)Zabbix Get命令行工具用于從 Agent 手動(dòng)取數(shù)是排障利器端口約定務(wù)必記住防火墻配置要用10050/TCP—— Agent 監(jiān)聽(tīng)供 Server 被動(dòng)拉取數(shù)據(jù)或被 Proxy 拉取10051/TCP—— Server 監(jiān)聽(tīng)接收 Agent 主動(dòng)上報(bào)和 Proxy 轉(zhuǎn)發(fā)80 / 8080/TCP—— Web 前端訪(fǎng)問(wèn)端口解析排障時(shí)只要抓住兩個(gè)端口就夠了——“誰(shuí)拉誰(shuí)的數(shù)據(jù)誰(shuí)就監(jiān)聽(tīng)誰(shuí)”。Server 要被動(dòng)拉數(shù)據(jù) → 它主動(dòng)連 Agent 的10050Agent 主動(dòng)上報(bào) → 它連 Server 的10051。下文排查小節(jié)會(huì)反復(fù)用到這個(gè)思路。五、數(shù)據(jù)是怎么被采集上來(lái)的Zabbix 的采集模型可以用一句話(huà)概括Host主機(jī)→ Item監(jiān)控項(xiàng)→ Trigger觸發(fā)器→ Action動(dòng)作→ 告警/執(zhí)行。Host(主機(jī)) ──定義── Item(監(jiān)控項(xiàng)) ──超過(guò)閾值── Trigger(觸發(fā)器) │ ▼ Media(告警介質(zhì)) ──發(fā)送── Action(動(dòng)作) ──條件匹配──┘兩種核心采集模式被動(dòng)模式默認(rèn)Server 按周期主動(dòng)向 Agent 發(fā)起請(qǐng)求Agent 把結(jié)果回傳。適合主機(jī)數(shù)量不多、Server 壓力可控的場(chǎng)景。主動(dòng)模式Agent 周期主動(dòng)向 Server或 Proxy上報(bào)數(shù)據(jù)。適合大規(guī)模場(chǎng)景能把采集壓力分?jǐn)偟?Agent 端。常見(jiàn)的監(jiān)控項(xiàng)類(lèi)型Item type類(lèi)型適用場(chǎng)景Zabbix agent默認(rèn)探針采集CPU、內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等Zabbix agent (active)主動(dòng)模式采集SNMP agent交換機(jī)、路由器、防火墻等網(wǎng)絡(luò)設(shè)備IPMI服務(wù)器硬件傳感器溫度、風(fēng)扇、電源JMXJava 中間件指標(biāo)HTTP agent網(wǎng)頁(yè)狀態(tài)碼、響應(yīng)時(shí)間、接口可用性Simple checkTCP 端口存活、ICMP ping 等SSH / Telnet無(wú)法裝 Agent 時(shí)的遠(yuǎn)程命令采集DB monitor直接查詢(xún)數(shù)據(jù)庫(kù)性能指標(biāo)External check / Script自定義腳本zabbix 萬(wàn)能擴(kuò)展點(diǎn)解析這條鏈路是 Zabbix 的神經(jīng)反射弧。Item 決定采什么Trigger 決定什么時(shí)候算異常Action 決定異常了通知誰(shuí)、怎么通知。后續(xù)部署你會(huì)親手把這條鏈路走一遍那時(shí)候再回來(lái)看這張圖會(huì)非常清晰。六、版本怎么選Zabbix 的版本節(jié)奏分為兩類(lèi)版本類(lèi)型發(fā)布節(jié)奏支持期適用場(chǎng)景LTS長(zhǎng)期支持約每?jī)赡暌淮?.0、7.0……約 5 年1 年擴(kuò)展支持生產(chǎn)環(huán)境首選標(biāo)準(zhǔn)版約每半年一次6.2、6.4、7.2……發(fā)布至下一個(gè)版本 約 1 個(gè)月嘗鮮新特性、測(cè)試環(huán)境本實(shí)驗(yàn)為什么選 Zabbix 6.0 LTS6.0 是首個(gè)完整支持MySQL 8.0的 LTS 版本與本文環(huán)境Rocky 9.6 MySQL 8.0完全匹配官方標(biāo)準(zhǔn)支持期覆蓋到 2026 年另有擴(kuò)展支持生產(chǎn)環(huán)境可放心用中文資料、模板、社區(qū)討論最豐富遇到問(wèn)題最容易搜到答案。解析判斷該不該升 7.0 LTS只看一件事——你的歷史數(shù)據(jù)、模板、二次開(kāi)發(fā)代碼是否兼容。Zabbix 升級(jí)后zabbix_server.conf和模板基本都是向后兼容的但 API 調(diào)用和自定義腳本要回歸測(cè)試。生產(chǎn)環(huán)境跟著 LTS 走、測(cè)試環(huán)境大膽用新版本是通用策略。七、部署前環(huán)境準(zhǔn)備7.1 環(huán)境要求項(xiàng)目建議操作系統(tǒng)Rocky Linux 9.6 x86_64CPU / 內(nèi)存測(cè)試環(huán)境 2C / 4G 足夠磁盤(pán)50G歷史數(shù)據(jù)很吃磁盤(pán)數(shù)據(jù)庫(kù)MySQL 8.0Rocky 9.6 官方鏡像源版本Zabbix6.0 長(zhǎng)期維護(hù)版本7.2 網(wǎng)絡(luò)規(guī)劃本文規(guī)劃兩臺(tái)機(jī)器主機(jī)名IP角色server1192.168.40.141Zabbix Server MySQL Web 前端server2192.168.40.142被監(jiān)控主機(jī)Agent7.3 基礎(chǔ)環(huán)境初始化兩臺(tái)機(jī)器都執(zhí)行# 1. 關(guān)閉 SELinuxsed-is/^SELINUX.*/SELINUXdisabled//etc/selinux/config# 2. 關(guān)閉并禁用 firewalldsystemctl disable--nowfirewalld# 3. 設(shè)置時(shí)區(qū)與時(shí)間同步監(jiān)控?cái)?shù)據(jù)時(shí)間錯(cuò)亂是很多靈異問(wèn)題的根源timedatectl set-timezone Asia/Shanghai dnfinstall-ychronysystemctlenable--nowchronyd timedatectl set-ntptrue# 4. 設(shè)置主機(jī)名分別設(shè)置hostnamectl set-hostname server1# 141 執(zhí)行hostnamectl set-hostname server2# 142 執(zhí)行解析① 不關(guān) SELinux 的話(huà)Zabbix 官方提供了zabbix-selinux-policy包來(lái)放行但實(shí)驗(yàn)環(huán)境直接關(guān)閉最省事②時(shí)間同步務(wù)必做——Zabbix 觸發(fā)器判斷異?？康氖菚r(shí)間序列Server 和 Agent 時(shí)差過(guò)大會(huì)導(dǎo)致數(shù)據(jù)看起來(lái)斷檔或誤報(bào)。7.4 下載入口Zabbix 官方提供安裝向?qū)нx好6.0 / Rocky Linux / 9 / MySQL / Apache后會(huì)直接給你可復(fù)制的命令zabbix官網(wǎng)安裝地址八、部署 Zabbix Server8.1 添加官方源并安裝組件192.168.40.141選擇合適的下載版本和服務(wù)官方會(huì)提供相應(yīng)的安裝方式在下面執(zhí)行安裝 zabbix 組件步驟對(duì)應(yīng)到命令行就是這幾步# 安裝 zabbix-release 包寫(xiě)入官方 yum 源 導(dǎo)入 GPG 密鑰rpm-Uvhhttps://repo.zabbix.com/zabbix/6.0/rhel/9/x86_64/zabbix-release-latest-6.0.el9.noarch.rpm dnf clean all# 安裝 Server連 MySQL Web 前端PHP Apache 配置 數(shù)據(jù)庫(kù)初始化腳本dnfinstall-yzabbix-server-mysql zabbix-web-mysql zabbix-apache-conf\zabbix-sql-scripts zabbix-selinux-policy zabbix-agent解析逐個(gè)說(shuō)清楚裝了什么——zabbix-server-mysql核心的zabbix_server守護(hù)進(jìn)程zabbix-web-mysqlPHP 編寫(xiě)的 Web 前端程序zabbix-apache-conf自動(dòng)在 httpd 下生成/etc/httpd/conf.d/zabbix.conf虛擬主機(jī)配置zabbix-sql-scripts數(shù)據(jù)庫(kù)初始化腳本server.sql.gz里面是表結(jié)構(gòu)和內(nèi)置模板數(shù)據(jù)zabbix-selinux-policySELinux 放行策略雖然實(shí)驗(yàn)關(guān)了 SELinux裝上無(wú)害zabbix-agent連 Server 自己也要被監(jiān)控順手裝上。8.2 初始化 MySQL 數(shù)據(jù)庫(kù)初始化 mysql 數(shù)據(jù)庫(kù)mysql-uroot-p-- 建庫(kù)字符集必須 utf8mb4支持中文/emoji圖形標(biāo)題中文不亂碼CREATEDATABASEzabbixCHARACTERSETutf8mb4COLLATEutf8mb4_bin;-- 建專(zhuān)用賬號(hào)生產(chǎn)環(huán)境別用 root 連 ZabbixCREATEUSERzabbixlocalhostIDENTIFIEDBYZabbix123;GRANTALLPRIVILEGESONzabbix.*TOzabbixlocalhost;-- 允許導(dǎo)入腳本里創(chuàng)建存儲(chǔ)函數(shù)見(jiàn)下方解析SETGLOBALlog_bin_trust_function_creators1;QUIT;導(dǎo)入官方預(yù)生成的表結(jié)構(gòu)與初始數(shù)據(jù)zcat /usr/share/zabbix-sql-scripts/mysql/server.sql.gz|\mysql --default-character-setutf8mb4-uzabbix-pZabbix123zabbix# 導(dǎo)入完成后立刻關(guān)回安全值mysql-uroot-p-eSET GLOBAL log_bin_trust_function_creators 0;解析為什么一定要log_bin_trust_function_creators 1server.sql.gz里有存儲(chǔ)函數(shù)如nan()。MySQL 為了安全默認(rèn)不允許在未指定DETERMINISTIC等屬性時(shí)創(chuàng)建函數(shù)此時(shí)直接導(dǎo)入會(huì)報(bào)ERROR 1419 (HY000)。臨時(shí)打開(kāi)這個(gè)開(kāi)關(guān)再導(dǎo)入成功后務(wù)必關(guān)回 0避免留下安全敞口。順帶一提server.sql.gz里不止有表結(jié)構(gòu)還預(yù)置了大量官方監(jiān)控模板Linux、MySQL、Nginx……這就是后面模板直接套用的數(shù)據(jù)來(lái)源。8.3 配置 Server 連接數(shù)據(jù)庫(kù)并啟動(dòng)服務(wù)為 zabbix 配置 mysql然后重啟服務(wù)。注rocky9 自帶 php 和 httpd 服務(wù)。# 在 zabbix_server.conf 里寫(xiě)入數(shù)據(jù)庫(kù)密碼默認(rèn)是注釋掉的sed-is/^# DBPassword/DBPasswordZabbix123//etc/zabbix/zabbix_server.confgrep^DBPassword/etc/zabbix/zabbix_server.conf# 確認(rèn)已生效# 啟動(dòng)并開(kāi)機(jī)自啟systemctlenable--nowzabbix-server zabbix-agent httpd php-fpm systemctl status zabbix-server# active (running) 即成功驗(yàn)證監(jiān)聽(tīng)端口ss-lntp|grep-E10051|10050|:80\s# zabbix-server 監(jiān)聽(tīng) 10051zabbix-agent 監(jiān)聽(tīng) 10050httpd 監(jiān)聽(tīng) 80解析Rocky 9 的 httpd 與 php-fpm 由系統(tǒng)自帶無(wú)需再裝 LAMP。改完配置后 Zabbix 首次啟動(dòng)會(huì)自動(dòng)連接 MySQL 做一次版本檢查如果 8.2 里庫(kù)沒(méi)導(dǎo)成功這里zabbix-server會(huì)反復(fù)重啟并報(bào)Cannot connect to database——看到這個(gè)報(bào)錯(cuò)先回 8.2 排查別急著改別處。部署成功九、部署 Zabbix Agent9.1 安裝并配置 Agent192.168.40.142# 與 Server 端相同先加官方源rpm-Uvhhttps://repo.zabbix.com/zabbix/6.0/rhel/9/x86_64/zabbix-release-latest-6.0.el9.noarch.rpm dnfinstall-yzabbix-agent修改配置vim/etc/zabbix/zabbix_agentd.confServer192.168.40.141# 被動(dòng)模式允許哪些 Server 來(lái)拉數(shù)據(jù)白名單ServerActive192.168.40.141# 主動(dòng)模式Agent 主動(dòng)上報(bào)給哪個(gè) ServerHostnameserver2# Agent 自己的主機(jī)名必須與 Web 端創(chuàng)建的主機(jī)名一致Hostname是Agent 自己的主機(jī)名必須與 Web 端創(chuàng)建的主機(jī)名一致sever要依靠這個(gè)連接agentweb網(wǎng)頁(yè)主機(jī)名conf配置文件三者必須一致。啟動(dòng)并驗(yàn)證systemctlenable--nowzabbix-agent.service ss-lntp|grep10050# 確認(rèn) Agent 已監(jiān)聽(tīng)解析很多人分不清Server和ServerActive。其實(shí)它們對(duì)應(yīng)兩種采集模式——Server是被動(dòng)模式的白名單它告訴 Agent允許誰(shuí)來(lái)主動(dòng)連接我。如果配錯(cuò)成 Agent 的 IPServer 來(lái)拉數(shù)據(jù)會(huì)被拒絕ServerActive是主動(dòng)模式的目標(biāo)地址告訴 Agent我主動(dòng)把數(shù)據(jù)報(bào)給誰(shuí)。所以Server 里寫(xiě) Server 的 IP、ServerActive 里也寫(xiě) Server 的 IP通常就對(duì)了。Hostname必須和 Web 端創(chuàng)建主機(jī)時(shí)填的主機(jī)名完全一致這是主動(dòng)模式對(duì)賬的依據(jù)差一個(gè)字符都取不到數(shù)據(jù)。9.2 在 Web 端添加主機(jī)接入 Agent路徑監(jiān)測(cè) → 主機(jī) → 創(chuàng)建主機(jī)填寫(xiě)配置項(xiàng)填寫(xiě)內(nèi)容主機(jī)名稱(chēng)server2必須與 Agent 配置文件里的 Hostname 一致可見(jiàn)的名稱(chēng)Agent02-業(yè)務(wù)機(jī)隨便起用于顯示群組新建或選擇Linux servers接口AgentIP192.168.40.142端口10050添加成功綠色 ZBX 圖標(biāo) Agent 連接正?；疑?暫時(shí)無(wú)數(shù)據(jù)紅色 采集失敗多半是防火墻、端口、Hostname 不一致導(dǎo)致。解析這里最容易踩的坑是接口欄。接口Interface是給被動(dòng)模式用的——Server 要知道去哪個(gè) IP:端口 拉數(shù)據(jù)而主機(jī)名稱(chēng)Host name是給主動(dòng)模式對(duì)賬用的。兩種模式都配的情況下兩個(gè)字段都別省。如果后面發(fā)現(xiàn)灰色 ZBXzabbix_get -s 192.168.40.142 -k agent.ping一下一步就能定位是網(wǎng)絡(luò)不通還是名字對(duì)不上。9.3 agent模式主動(dòng)模式Agent 主動(dòng)發(fā)起連接去找 Zabbix ServerServer 監(jiān)聽(tīng) 10051 端口Server 接收數(shù)據(jù)存入數(shù)據(jù)庫(kù)Server 不會(huì)主動(dòng)連 Agent主動(dòng)模式下Web 界面主機(jī)監(jiān)控項(xiàng)類(lèi)型要改成Zabbix agent(active)不能繼續(xù)用被動(dòng)的 Zabbix agent主動(dòng)模式只需要 agent 出站訪(fǎng)問(wèn) 10051不需要 server 入站訪(fǎng)問(wèn) agent 機(jī)器被動(dòng)模式Server 發(fā)起 TCP 連接訪(fǎng)問(wèn) Agent 的 10050 端口 Agent 收到請(qǐng)求采集本機(jī)數(shù)據(jù)把結(jié)果返回給 ServerAgent 數(shù)量巨大時(shí)Server 會(huì)大量創(chuàng)建連接壓力上漲** 主動(dòng)模式下常常需要搭配被動(dòng)模式模板使用主動(dòng)模式下不會(huì)去檢測(cè)agent的10050端口所以單獨(dú)使用主動(dòng)模板下agent的狀態(tài)會(huì)顯示為未知十、Web 前端初始化10.1 配置 PHP 時(shí)區(qū)sed-is/^; php_value\[date.timezone\].*/php_value[date.timezone] Asia\/Shanghai/\/etc/php-fpm.d/zabbix.conf systemctl restart php-fpm解析Zabbix Web 前端用 PHP 生成PHP 未設(shè)置時(shí)區(qū)會(huì)直接拋date.timezone相關(guān)報(bào)錯(cuò)并且所有圖形的時(shí)間軸都會(huì)偏移。改完必須重啟 php-fpm不是 httpd配置才會(huì)被重新加載。10.2 添加 PHP 頁(yè)面漢化與中文字體添加 php 頁(yè)面漢化安裝中文字體圖形標(biāo)題里的中文才不會(huì)顯示成方塊dnfinstallglibc-langpack-zh-ylocalectl list-locales|grepzh_CN解析Zabbix 的語(yǔ)言包由系統(tǒng) locale 提供。只裝glibc-langpack-zh還不夠直觀(guān)——如果后續(xù)圖形標(biāo)題中文亂碼多半是Web 界面語(yǔ)言沒(méi)切到中文右上角頭像 → 語(yǔ)言或字體缺失需安裝wqy-microhei之類(lèi)的字體到/usr/share/fonts。實(shí)驗(yàn)環(huán)境裝上中文 locale 即可滿(mǎn)足絕大多數(shù)展示。10.3 首次登錄瀏覽器訪(fǎng)問(wèn)http://192.168.40.141默認(rèn)賬號(hào)Admin密碼zabbix解析首次登錄系統(tǒng)會(huì)強(qiáng)制修改 Admin 密碼這是安全基線(xiàn)別跳過(guò)。登錄后建議先去管理 → 一般 → 用戶(hù)界面把默認(rèn)語(yǔ)言切成中文后續(xù)操作體驗(yàn)會(huì)好很多。十一、添加監(jiān)控主機(jī)與監(jiān)控項(xiàng)這一章開(kāi)始把采集→判斷→展示真正落地到 Web 上建議對(duì)照第五節(jié)的數(shù)據(jù)流模型一起看。11.1 添加監(jiān)控項(xiàng)CPU 每分鐘負(fù)載路徑配置 → 主機(jī) → 監(jiān)控項(xiàng) → 創(chuàng)建監(jiān)控項(xiàng)創(chuàng)建一個(gè) cpu 每分鐘負(fù)載的監(jiān)控項(xiàng)測(cè)試消耗 CPU 的命令制造負(fù)載用來(lái)驗(yàn)證采集md5sum /dev/zero# 多開(kāi)幾個(gè)終端并行執(zhí)行能看到 load 立刻飆高解析監(jiān)控項(xiàng)Item是 Zabbix 的最小采集單元核心就兩個(gè)字段——Key 和間隔。Key決定采什么。CPU 負(fù)載的 key 是system.cpu.load[percpu,avg1]中括號(hào)是參數(shù)percpu表示按每核歸一化、avg1表示取 1 分鐘平均。這樣配置的好處是多核機(jī)器 load 不會(huì)虛高8 核 load 8 才算滿(mǎn)。間隔決定多久采一次。CPU 這種秒級(jí)變化的數(shù)據(jù)可以設(shè) 10~30s磁盤(pán)容量這種變化慢的設(shè) 1~5min 就夠別把 Server 和數(shù)據(jù)庫(kù)拖垮。11.2 添加根分區(qū)監(jiān)控項(xiàng)根分區(qū)使用量根分區(qū)剩余空間百分比解析磁盤(pán)類(lèi) key 統(tǒng)一用vfs.fs.size[/,used]這種格式中括號(hào)第一個(gè)參數(shù)是掛載點(diǎn)第二個(gè)是取值維度used已用字節(jié)free剩余字節(jié)pfree剩余百分比total總?cè)萘?。建議同時(shí)監(jiān)控used看絕對(duì)增長(zhǎng)和pfree看相對(duì)水位觸發(fā)器一般掛在pfree上低于 5% 報(bào)警比已用 45G 報(bào)警更有普適性。11.3 為監(jiān)控項(xiàng)添加觸發(fā)器路徑配置 → 主機(jī) → 觸發(fā)器 → 創(chuàng)建觸發(fā)器cpu 負(fù)載過(guò)高觸發(fā)器根分區(qū)空閑空間低于 95% 觸發(fā)器即剩余空間不足 5%解析觸發(fā)器Trigger是異常判定規(guī)則核心就是表達(dá)式last(/主機(jī)名/key) 閾值。幾個(gè)高頻用法last(/server2/system.cpu.load[percpu,avg1]) 3最近一次負(fù)載 3min(/server2/... ,5m) 3最近 5 分鐘最小值仍 3防止瞬時(shí)抖動(dòng)誤報(bào)max(...,1h) 閾值反向用比如CPU 持續(xù)低也可以告警。實(shí)戰(zhàn)建議給表達(dá)式加5m 或 10m 的窗口如min(...,5m)否則 CPU 一瞬間飆高就會(huì)連環(huán)告警刷屏。11.4 添加監(jiān)控圖形路徑配置 → 主機(jī) → 圖形 → 創(chuàng)建圖表cpu 負(fù)載的圖形表示執(zhí)行 cpu 負(fù)載測(cè)試命令后查看圖形解析圖形Graph是把監(jiān)控項(xiàng)組合展示的層。一個(gè)圖形里可以畫(huà)多條線(xiàn)的多個(gè) item比如把 CPU 的 1/5/15 分鐘負(fù)載畫(huà)在一張圖里對(duì)比。它不產(chǎn)生額外數(shù)據(jù)純粹是查詢(xún)歷史數(shù)據(jù)做可視化。數(shù)據(jù)來(lái)源有兩條**歷史數(shù)據(jù)History**保留原始值、**趨勢(shì)數(shù)據(jù)Trends**是降采樣后的匯總——圖形默認(rèn)用的是趨勢(shì)數(shù)據(jù)所以看大趨勢(shì)很正常要精確到秒級(jí)請(qǐng)切歷史視圖。11.5 添加模板創(chuàng)建新模板路徑配置 → 模板 → 創(chuàng)建模板為新創(chuàng)建的空模板添加配置新模板成功添加三條監(jiān)控項(xiàng)配置解析模板Template是 Zabbix 批量納管的靈魂——一個(gè)模板 一組 Item Trigger 圖形的集合。給主機(jī)掛上模板等于一次性灌入整套監(jiān)控規(guī)則。生產(chǎn)里你不會(huì)給每臺(tái)機(jī)器手敲幾十個(gè) item而是官方模板直接套裝好zabbix-sql-scripts時(shí)自帶的Linux by Zabbix agent等自己建的業(yè)務(wù)模板如MySQL 巡檢“Nginx 狀態(tài)”復(fù)制給同構(gòu)機(jī)器。注意模板修改會(huì)同步到所有掛它的主機(jī)這既是優(yōu)點(diǎn)一處改、處處生效也是風(fēng)險(xiǎn)改壞了全掛改模板前建議先復(fù)制一份再改。11.5 添加發(fā)現(xiàn)動(dòng)作和自動(dòng)注冊(cè)先啟用發(fā)現(xiàn)動(dòng)作再啟動(dòng)自動(dòng)發(fā)現(xiàn)規(guī)則zabbix-server 主動(dòng)掃描規(guī)則內(nèi)的網(wǎng)絡(luò)找存活設(shè)備發(fā)現(xiàn)之后根據(jù)動(dòng)作對(duì)應(yīng)的操作進(jìn)行添加主機(jī)連接模板等相應(yīng)的操作。自動(dòng)注冊(cè)agent主動(dòng)上報(bào)給server申請(qǐng)注冊(cè)主機(jī)。所以需要修改agent的配置文件添加元數(shù)據(jù)配置.這樣agent啟動(dòng)后主動(dòng)向server發(fā)送攜帶元數(shù)據(jù)(主機(jī)名主機(jī)元數(shù)據(jù)的注冊(cè)請(qǐng)求配置agent元數(shù)據(jù)十二、配置告警監(jiān)控只有加上告警才算閉環(huán)12.1 配置告警媒介以郵件為例啟用觸發(fā)器動(dòng)作路徑配置 → 動(dòng)作 → 觸發(fā)器動(dòng)作zabbix自帶的觸發(fā)器動(dòng)作是默認(rèn)向zabbix組中所有用戶(hù)發(fā)送全部問(wèn)題如果需要配置用戶(hù)自己的報(bào)警需要單獨(dú)設(shè)置1觸發(fā)器動(dòng)作。為用戶(hù)配置收件郵箱路徑管理 → 媒介 → Email解析告警介質(zhì)Media是用什么通道發(fā)。默認(rèn)內(nèi)置 Email、腳本、短信等類(lèi)型。Email 類(lèi)型里最關(guān)鍵的是 SMTP 配置服務(wù)器、端口、認(rèn)證、發(fā)件人郵箱配完先點(diǎn)測(cè)試發(fā)送驗(yàn)證一遍別等真出故障才發(fā)現(xiàn)發(fā)不出去。啟用用戶(hù)收件郵箱路徑管理 → 用戶(hù) → 點(diǎn)擊 Admin → 告警媒介 → 添加填入接收郵箱解析介質(zhì)配好 ≠ 用戶(hù)會(huì)收到。每個(gè)用戶(hù)要手動(dòng)綁定介質(zhì)填自己的接收郵箱并且可以設(shè)置啟用時(shí)間段和嚴(yán)重級(jí)別過(guò)濾。很多人配完動(dòng)作沒(méi)反應(yīng)八成是介質(zhì)沒(méi)綁定到用戶(hù)這一步漏了。12.2 為觸發(fā)器添加動(dòng)作為前面配置的 cpu 負(fù)載過(guò)高觸發(fā)器添加動(dòng)作路徑配置 → 動(dòng)作 → 觸發(fā)器動(dòng)作 → 創(chuàng)建動(dòng)作為動(dòng)作添加相應(yīng)操作添加成功解析動(dòng)作Action是條件 操作的規(guī)則條件哪些主機(jī)、哪些觸發(fā)器、什么級(jí)別命中后執(zhí)行操作發(fā)給哪些用戶(hù)/群組、走哪種介質(zhì)、發(fā)什么內(nèi)容。{TRIGGER.NAME}、{HOST.NAME}這些是 Zabbix 內(nèi)置的宏在操作內(nèi)容里直接引用就能自動(dòng)填充實(shí)際值告警內(nèi)容會(huì)專(zhuān)業(yè)很多。12.3 添加用戶(hù)組及用戶(hù)添加用戶(hù)組路徑管理 → 用戶(hù)群組 → 創(chuàng)建用戶(hù)組給新創(chuàng)建的用戶(hù)組添加用戶(hù)路徑管理 → 用戶(hù) → 創(chuàng)建用戶(hù)同時(shí)也可以設(shè)定用戶(hù)的報(bào)警介質(zhì)測(cè)試新用戶(hù)登錄解析用戶(hù)組User Group承載權(quán)限邊界——給組分配只讀 / 讀寫(xiě)的對(duì)象范圍組里的用戶(hù)繼承權(quán)限。生產(chǎn)環(huán)境的做法是監(jiān)控只看圖 → 只讀組要改監(jiān)控項(xiàng) → 運(yùn)維組。新建用戶(hù)默認(rèn)無(wú)任何權(quán)限必須掛到組里才有東西可看。12.4 告警鏈路驗(yàn)證用壓測(cè)制造一次 CPU 告警驗(yàn)證整條鏈路md5sum /dev/zero# 在 server2 上壓 CPU讓負(fù)載飆過(guò)觸發(fā)器閾值解析驗(yàn)證時(shí)建議去報(bào)表 → 動(dòng)作日志看動(dòng)作是否觸發(fā)、發(fā)送是否成功。鏈路是Item 采到高負(fù)載 → Trigger 判定異常 → Action 匹配 → 按用戶(hù)介質(zhì)發(fā)送郵件。哪一環(huán)斷了對(duì)照 12.1~12.3 排查介質(zhì)沒(méi)配通、用戶(hù)沒(méi)綁介質(zhì)、動(dòng)作沒(méi)啟用是三個(gè)最高頻的原因。十三、分布式監(jiān)控再開(kāi)一臺(tái)代理機(jī)器192.168.40.143(server3):根據(jù)這個(gè)選項(xiàng)可以查看官網(wǎng)的proxy安裝方式:根據(jù)這個(gè)步驟安裝完可以查看10051端口是否存在因?yàn)閜roxy的端口也是10051所以一定不能跟server在同一臺(tái)機(jī)器上。修改etc下的zabbix_proxy.conf文件proxy 只保證zabbix_proxy.conf 里面的 Hostname 與 Web【代理】頁(yè)面填寫(xiě)的代理名稱(chēng)嚴(yán)格一致即可。不一定必須是主機(jī)名Server192.168.40.141# zabbix server的ipDBPasswordpassword# 數(shù)據(jù)庫(kù)密碼javaGateway192.168.40.142# JMX服務(wù)主機(jī)IPStartJavaPollers# 啟動(dòng)進(jìn)程數(shù)然后重新i啟動(dòng)proxy服務(wù)systemctl restart zabbix-proxy在server上配置代理proxy的作用就是減輕Server的壓力是Zabbix 代理組件介于 Zabbix Server 和被監(jiān)控設(shè)備之間承擔(dān)監(jiān)控?cái)?shù)據(jù)采集中轉(zhuǎn)agent傳來(lái)的數(shù)據(jù)先存入 Proxy 本地 SQLite 數(shù)據(jù)庫(kù)不直接發(fā)給 Server。所以proxy可以減少 Server 瞬時(shí)連接數(shù)、減少server端 MySQL 瞬間寫(xiě)入壓力多用于跨網(wǎng)段、分布式、異地分支機(jī)構(gòu)場(chǎng)景。但觸發(fā)器和告警計(jì)算仍然由 Server 完成proxy 不處理告警。創(chuàng)建proxy 路徑管理 → proxy → 創(chuàng)建proxy設(shè)置agent主機(jī)使用proxy采集數(shù)據(jù)更新server配置緩存zabbix_server-Rconfig_cache_reload#刷新server配置緩存systemctl restart zabbix_server# 重啟proxy服務(wù)zabbix_server -R config_cache_reload 刷新server配置緩存,web配置后只是寫(xiě)入數(shù)據(jù)庫(kù)還沒(méi)有刷新到內(nèi)存不手動(dòng)刷新內(nèi)存需要等待默認(rèn)時(shí)間刷新。并且proxy一定要在刷新server配置緩存后啟動(dòng)否則會(huì)報(bào)錯(cuò)。正常重啟server后會(huì)在日志中出現(xiàn)3. 現(xiàn)在zabbix_agent要向proxy上報(bào)核心數(shù)據(jù)所以修改server2上的agent配置。修改etc下的zabbix_agentd.conf文件Server192.168.40.143# 指向proxy主機(jī)IPServerActive192.168.40.143重啟agent服務(wù)。4. 代理成功十四、grafana可視化Grafana 是開(kāi)源可視化儀表盤(pán)工具 是 Go 寫(xiě)的程序內(nèi)置完整 http web 服務(wù)默認(rèn)監(jiān)聽(tīng) 3000 端口。本身不采集數(shù)據(jù)只做讀時(shí)序數(shù)據(jù)庫(kù) → 畫(huà)圖、做監(jiān)控大屏、告警。grafana官網(wǎng)入口安裝grafana-enterprise_12.4.8_31135008312_linux_amd64.rpm版本安裝完后直接啟動(dòng)查看3000端口是否監(jiān)聽(tīng)成功。直接登錄grafana:192,168.40.100:3000,默認(rèn)賬戶(hù)名和密碼都是admingrafana通過(guò)插件化來(lái)完成不同的可視化需求安裝zabbix插件。連接我們的zabbix_server獲取監(jiān)控?cái)?shù)據(jù)測(cè)試是否連接成功使用樣例十五、常見(jiàn)問(wèn)題排查癥狀排查思路Web 打開(kāi) 404 / 打不開(kāi)檢查httpd是否啟動(dòng)、防火墻 80 端口、/etc/httpd/conf.d/zabbix.conf是否加載數(shù)據(jù)庫(kù)初始化報(bào)ERROR 1419沒(méi)設(shè)log_bin_trust_function_creators1重新設(shè)置后再導(dǎo)一次主機(jī)顯示紅色 ZBX① Server→Agent 的 10050 端口不通telnet 192.168.100.20 10050② Agent 的Server未配置③ Hostname 不一致④ SELinux/防火墻攔截頁(yè)面報(bào) PHP 時(shí)區(qū)錯(cuò)誤檢查/etc/php-fpm.d/zabbix.conf的date.timezone后重啟php-fpm取不到自定義數(shù)據(jù)用zabbix_get -s agentIP -k key在 Server 端手動(dòng)驗(yàn)證 key 是否返回告警沒(méi)發(fā)出去① 介質(zhì)類(lèi)型測(cè)試發(fā)送是否成功② 用戶(hù)是否綁定介質(zhì)③ 動(dòng)作條件和操作是否配置正確④ 郵件服務(wù)商是否攔截萬(wàn)能排查三件套zabbix_get-s192.168.100.20-kagent.ping# 驗(yàn)證取數(shù)tail-f/var/log/zabbix/zabbix_server.log# Server 日志tail-f/var/log/zabbix/zabbix_agentd.log# Agent 日志解析這三個(gè)命令按順序用基本能解決 90% 的問(wèn)題——zabbix_get告訴你數(shù)據(jù)鏈路通不通返回值對(duì)不對(duì)zabbix_server.log告訴你Server 側(cè)發(fā)生了什么數(shù)據(jù)庫(kù)連不上、觸發(fā)器計(jì)算錯(cuò)誤都會(huì)在這里zabbix_agentd.log告訴你Agent 側(cè)發(fā)生了什么Server 主動(dòng)連接被拒、主動(dòng)上報(bào)失敗都會(huì)在這里。從數(shù)據(jù)流向Server ? Agent兩頭各看一邊日志問(wèn)題就能被切得很小。