99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文乱子伦视频| www狠狠| 色黄啪啪| 玖玖爱伊人| 99在线精品视频观看免费下载| 五月丁香久久| 日韩人妻无码精品| 婷婷精品性性性性性性性| 婷婷成人AV| 色色A| 五月婷六月天| 色五月天天在线观看资源站| www,色婷婷| 国产精品第一国产精品| 五月丁香狠狠爱| 影音先锋人妻出差| 婷婷五月激情丁香激情| 婷婷精品视频| 久久婷婷五月综合色奶水99啪| 国产黄大片在线观看画质优化| 操操操Av| 呦呦视频无码播放| va中文资源在线观看| 日韩无码91| 五月婷婷基地| 涩综合婷婷| 婷婷六月激情| 欧美日韩AAAA| 丁香五月婷婷色| 亚洲激情免费久久| 九九热这里精品| 婷婷亚洲久久| 小色小蛇伊人婷婷色香五月| 一婬一伦一区二区三区| 八戒青柠影视剧在线观看 | 色九月欧美| 色婷婷视频在线| 婷婷丁香在线播放| 久久五月综合| 色导航色婷婷五月天在线观看| 色婷婷婷av| 色五月天本日| 美女主播野战视步页| 久久精品99| 91色吧网| 亚洲第一成人无码A片| 夜夜AVV| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷丁香色五月| 婷婷五月激情欧美| 天天色播| 久久综合热17c| 五月婷啪| 欧韩性爱| 免費亭亭成人| 色婷婷色人人射| 91九色中文字幕女在线观看| 日本色图综合| 狠狠五月激情在线| 色五月丁香激情视频| 亭亭五月丁香综合欧美| 亚洲精品亚洲人成人网| 久久久国产精品黄毛片| 久久激丁香| 六月色婷婷| 天天弄天天操| 亚州欧美黄色电影| 激情综合网色五月| 99超级碰免费视频| 色五月婷婷少妇人妻| 丁香女人五月天| 国产色色在线| 日日操,夜夜爽| 久久成人综合五月天| 亚洲性爱干干| 色综合天天天天做夜夜| 亚洲成人高清在线| 欧美S码亚洲码精品M码| 在线sebiav精品视频| 色五月婷婷91在线| 99日本黄站| 99碰碰| 国产精品久久久久久白浆色欲| 亚洲综合婷婷五月| 这里只有国产精品在线| 日日操夜夜撸| 大香蕉久| 色久一| 伊人大香蕉在线视频| 黄网在线观看免费| 婷五月丁香| 久久久人人人妻丝丝丝| 九色PORNY自拍成人精彩视频| 五月婷婷色影院| 久久激情视频| 久草x色在线观看99| 天天透天天干| Se.婷婷五月天| 激情六月五月婷婷综合网| 青青福利网| 九九热内射| 9精品一区| 亚洲AV中文在线| 色欲九区| 久久丁香五月| 无码毛片992367| 婷婷五月天亚洲图片| 操操操AV| AA片在线观看视频在线播放 | 天堂资源欧日浪女在线播放| 色五月aV| 99九九综合久久九九| 99在线精品视频| 第五色婷婷| 超碰在线观看三级片| 欧美日本97| 激情综合网五月婷婷| 久热这里只有精品在线观看 | 五月丁香花激情啪啪网| www.99热最新视频8| 天天日天天日天天搞| 成人在线视频一区| 好叼操在线观看| 五月丁香六月激情综合| 99乱视频| 五月天天丁香婷婷| 五月丁香爱婷婷深深| 黄色AAAAA| 97人人草| 国产精品扒开腿做爽爽爽A片唱戏| 精品久久久中文字幕大豆网推荐理由| 男女99免费视频| 五月天激情色色| 97碰成超视频免费视频| 丁香五月冃欧美| 色婷丁香| 女人天堂久久| 综合五月天婷婷色| 国产精品久久久久久久久久| 97色在线观看视频| 99亚洲无码| 狠狠狠狠狠干| 黄色三级日本| 99热综合网| 在线播放 精品| 79精品在线视频| 狠狠穞A片一區二區三區| 专区无日本视频高清8| h亚洲| 色六月天| 色五月婷婷操逼| 69堂午夜视频最新地址| 婷婷五月天影院| 亚洲精品视频在线播放| 亚洲午夜av| 亚洲综合色色| 天天搞天天爽| 五月丁香少妇A| 天天爽天天操| 六月五月久久丁香| 日日夜夜九九| 无码区婷婷五月花开| 黄色录像网点| 人人爱国产| 九一牛视频探花| 婷婷色激情五月天| 五月综合丁| 狠狠色噜噜| 色婷婷很很丝袜| 狠狠色激情综合| 五月天网址在线刘玥| 国产亚洲99久久| 五月丁香婷爱在线| 9有码中文| 亚洲欧美丁香五月天亚洲欧美| 青青草原爱爱网| 六月婷婷在线| 97久久人人| 婷婷中文字幕| 亚洲激情色色| 久久婷婷草| 99亚州综合精品成人网| 久久香蕉丁香| 日韩久久日| 爱婷婷五月| 日本在线观看99| 丁香网五月网| 99啪在线| 97色婷婷| 凹凸探花电影| 日日干日日| 久久五月天综合视频网站| 99色在线| 欧美毛片www| 亚洲精品又粗又大又爽A片| 激情五月丁香综合蜜桃| 婷婷五月天淫荡| 美国天天日天天操| 99色日本| 久久538| 99热这里只有99| 五月丁香免费看| 99久久99久久综合| 久久99热网| www.夜夜騎夜夜狠| 99精品高潮| 猫咪伊人久久| 99亚洲精品| 亚洲综合色丁香婷婷六月| 亚洲免费综合一区| 五月天激情小说网| 涩涩五月天综合| 免费做A爰片77777| 99在线精品视频在线观看| 色色色色色色色五月| 五月婷婷天| 婷婷五月天精品| 久久久网站| 色五月丁香五月五月婷婷| 亚洲精品白浆高清久久久久久| 色婷婷五月综合网| 99ri国产在线| 九月婷婷在线视频| 婷婷99中文字幕| 五月丁香婷婷婷激情爱爱| 无码动漫av| 久久视频这里都是精品| 91婷婷| 午夜丁香久久久久久| 五月婷婷激情视频| 色 五月婷婷基地| 天堂A∨在线| 伊人九九九久| 激情五月天天| 亚洲乱码日产精品BD在线观看| 婷婷五月天六月丁香| 丁六月激情| 欧美大香蕉视频| 婷婷色色综合| 东京热免费视频| 91免费看片| 91艹人| 黄色片精品| 久草五月丁香婷婷综合| 玖久久网站| 99久久婷婷| 成人网站免费在线播放| 色五月婷婷网| VA婷婷亚洲| 丁香婷婷综合精品六月初| 久久加勒比| 国产暴力强伦轩1区二区小说| 91ncom.色| 妻久久人久久| 丁香综合伊人AV| 色婷婷婷av| 大香蕉五月婷婷| 2022人人操人人看| 怡春院久操| 九月婷婷人人操人人舔人人爱| 欧美成人AAA片一区国产精品| 色色网站| 国产日韩欧美| 丁香综合| 久久五月天免费网站| 日本高清不卡免费一区二区三区| 日本熟妇乱妇熟色A片蜜桃| 另类激情中文| 国产精品久久久久久久久久| 少妇出轨做爰高潮A片| 久久久ww| 中文AV在线播放| 强壮的公次次弄得我高潮A片日本 | 操逼巨乳91| Www.狠狠| 色噜噜狠狠插综合| 色欲天天综合| 色综合色色色色色| 艾小青av| 亚洲成色综合网站免费观看| 九九人人看| 丁香五月色情| 色色丁香婷婷综合| 天堂久久精品| 中文字幕,综合,91| 激情伊人五月天| 激情五月天无码| 99免费视频久久| 99热精品观看| 欧美 日韩 成人 在线| 9 9 9色色| 丁香六月成人| 丁香五月婷婷综合啪啪| 综合福利网| 欧美日韩中文国产一区发布| 色一情一乱一伦一区二区三区| 色播五月| 色婷婷五月综合| 九九自拍网| 99热国内精品| 性综合网| 超碰成人黄色网| 久久色六月| 婷婷色色亚洲| 五月丁香婷婷五月| 激情五月天小说网| 99综合久久| 日韩成人中文字幕| 狠狠狠狠狠狠色| 国产.亚洲.欧洲视频在线| 色婷婷激情| 丁香五月天综合| 俺去也综合| 五月婷婷片| 26uuu亚洲| 久久丁香五月| 97色片| 综合激情五月天| 色婷婷视频| 色五月婷婷五月| 亚洲色婷婷五月天| 五月天久久婷| 久久精彩视频18| 婷婷日韩| 99啪啪视频| 九九精品在线视频观看| 天天干天天操天天干天天操天天干天天操| www.26uuu.com亚洲电影| 99热色在线精品| 婷婷开心久久| 超碰av在线| 99re在线播放| 九九偷拍网| 综合亚洲六月婷婷在线| 丁香五月亚洲天堂| 中文字幕婷婷| 婷婷的五月天另类视频| 久久丁香五月| 99热这里只有精品50| 亚洲色五月婷婷| 久操操| 91丁香综合| 色五月中文字幕| 婷婷五月天久久久| 99精品视频推荐| 狠狠搞五月天| 色色色色综合| 最近中文字幕大全免费版在线 | 中日韩狠狠色| 中文字幕簧片| 级情九色| 天天肏天天肏| 天天添天天摸天天天天做| 色婷婷的五月天| 91啪啪视频| 高清国产一级婬片a免费| 婷婷五月天激情四射五月天激情| 久久精品这里只有精品免费首页| 国产精品久久久久久亚洲毛片| 丁香色影院| 久月丁香爱婷婷综合| 亚洲av骚货| 另类视频在线| 玖玖婷婷五月天| 开心五月婷婷99| 久久一热| 久久久婷丁香五月天激情综合| 狠狠另类视频| 精品久久久人妻| 日本丰满久久| 欧美综合在线五月天色婷婷| 五月丁香六月激情综合| 丁香婷婷五月激情| 婷婷久月| 97婷婷久久丁香| 婷婷成人在线| 国产激情视频在线观看| 亭亭色色五月天| 深爱激情丁香五月| 激情五月婷婷色综合| 九九日本视频| 久9视频| 日hao1区| 天天色天天爱天天爱天天爱y| 一级黄色影片| 国产精品久久久99视频| 伊人久久大香网| 亚洲AV电影美洲AV电影| 深夜激情网| 99色免费视频| 激情小说色五月| 久久只有这里精品免费| 亚洲色综合| 伊人色综合久久久| 婷婷五月天网址| 天天综合网色欲香| www.狠狠艹| 超碰操日| 久久成人人妻| 91亚洲免费片| 五月天婷婷社区| 色综合网页| 婷婷十月丁香| 亚洲殴洲精品Av在线| 天天综合亚洲综合| 久久久精品婷婷五月天| 日操夜撸| 狠狠色丁香婷婷五月| 丁香六月激情网C0W| 不卡在线视频| 丁香五月天啪啪激情综合网| 婷婷操无码| xfplayav在线| 日本在线观看aaa 99| 这里只有精品69| aV直接看| www,天天干| 欧美在线视频9| 停停五月丁香| 婷色五月天| 91超碰在线观看| 狠狠色噜噜狠狠狠狠综合| 影音先锋一区| 五月丁香综合啪啪啪啪啪| 99热精品在线| 1995年关宝慧版蜘蛛女| 99操不停| 久久总和99| 婷婷五月天综合网| 嫩草AV久久伊人妇女超级A| 色七色九九| 亚洲电影在线观看| 中日韩狠狠色| 97色色综合| 婷婷伊在线| 欧美性猛交XXXX乱大交极品| 婷婷丁香五月综合激情视频| 97干在线观看视频| 久久人人看| 草AV9999| 91视频久久久| 香蕉久久国产AV一区二区| 激情综合婷婷| 97热久久| 欧美美女视频| 久久怕怕视频| 天天做天天爱天天爽夜夜揉| 久久综合婷婷激情| 日本va欧美va欧美精品88| 丁香婷婷九月| 亚洲成av人影院| 特级片神马电影| 日本黄色在线观看| 国产毛片精品一区二区色欲黄A片| 天天操九九插| 天堂五月婷婷| 91色在线| 啪啪啪综合网| 99热这里在线精品| 丁香五月婷婷综合视频| 丁香五月激情欧欧美| 色色综合无码| 丁香月五月天婷婷久久| 午夜性爱影视一区77| 夜夜涩涩涩| 色色色综合视频| 中文字幕丰满乱孑伦无码专区| 激情色色| 婷婷五六日| 国产成人VA| 五月丁香六月婷婷综合免| 亚洲五月丁香综合网| 九九热这里有精品视频| 色五月天天| 五月婷婷熟女| 开心婷婷五月天激情网| 丁香五月天视频| 五月丁香综合| 日韩无码色色| 欧美69久成人做爰视频| 婷婷五月另类网站| 91九色大屁股| 日本熟女三区| 日日舔夜夜操| 97在线视频人妻九色| 久久99网站| 九九这里有精品| 成人无码精品1区2区3区免费看| 99精品国产在热久久| 日逼影音先锋男人AV资源站| 亚洲激情| 久久久97| WWW.色婷婷.COM| 俺去也五月天| 性一交一乱一交A片久久四色| 八戒青柠影视剧在线观看| 丁香婷婷老熟女综合网| 婷婷五月天丁香社区| 激情婷婷色色| 能看的AV网站| 91无码视频| 丁香五月久久| 综合日本婷婷| 青青草搞屄视频网站| 天天舔天天摸天天透| 狠狠色97| 五月Huangsewang| 九九激情视频| 丁香色啪综合| 日亚二欧美| 免费观看的av| 五月婷婷深深爱| 天天操天天爽天天爱| 人人噜天天上| 五月丁香婷婷综合| 色爽九九| 亚洲行行色色| 噜噜视频| 久热69| 人妻在线中文字幕久久| 国产精品成人在线| 99久久婷婷五月| 婷婷八月激情| 天天天在线观看| 国产又粗又大又爽又黄| AV在线资源| www.五月天社区| 思思热精品在线| 激情五月婷婷色色| 婷婷激情欧美| 色欲五月婷婷| 丁香五月综合| 五月婷婷中文字幕| 六月婷婷色综合| 99热精品中文字幕| 久久精品99久久久久久久久| 久久五月婷天天干| 国产午夜精品AV一区二区麻豆| 99色.com| 婷婷五月天免费视频| 色色色色热| 肏屄色播伊人97婷婷| 丁香五月激情图片| 97干干干丁香| 九九九九九无码| 97色在线视频| 五月丁香综合激情网| 国产色五月| 国产精产国品一二三在观看| 五月婷免费视频久久久| 久久免费精彩视频| 久久久人妻久久久| 丁香大香蕉| 影音先锋天天日| 99久久久| 99综合成人视频在线观看| www.五月天婷婷姐姐| 99热这里只有精品4| 婷婷综合亚洲| 97操在线视频| 久久久人妻久久久| 五月丁香六月情| 99久久久久久| 丁香五月性爱| 国产日批视频免费播放| 亚洲操逼网| 五月天国产成人| 9l视频自拍9l九色成人| 99综合网| 丁香六月综合激情| 日批在线看| 欧美内射AAAAAAXXXXX| 日日夜夜狠狠婷婷色| 久久久精品人妻| 亚洲日本激情| 中文字幕 中文字幕明步| 亚洲婷婷丁香五月天激情小说| 五月婷婷六月激情| 五月丁香婷婷激情在线| 五月激情四射网站| 综合久久99| 亚洲一区二区无遮挡A片| 久久怡红院| 久9热视频在线观看| 亚洲99综合| 怕怕視頻| 色网五月婷婷| 丁香五月在线播放| 色综合久久888| 天天爱天天操| 激情综合六月| 欧美三日本三级少妇三99| 色婷婷电影网| 丁香六月毛片| 超碰a女人的天堂| 热久久99热欧美国产亚洲| 婷婷5月色| 丁香五月瑟瑟| 日韩欧美一级大黄网站| 五月www| 亚洲人成网站999综合| 九九热在线视频| 天天做天天爱天天搞| 成人午夜天| 久久婷婷综合五月天| 99热国产精品| 99se丁香| 九九99精品| 九九热99精品| 日韩99视频| 噼里啪啦在线观看免费完整版视频 | 中文在线成人| 久久久久久欧美精品se一二三四| 五月婷婷丁香瑟瑟视频| 九九这里只有精品在线视频| 五月婷婷综合成人| 五月婷六月| 五月婷婷婷婷婷婷艺术| 大香蕉网站,大香蕉综合| 国产精品99久久久久久久女警| 五月天色裸体视频| 婷婷五月天最新综合你懂的 | AA丁香综合激情| 丁香五月婷婷免费视频| 91五月天| 国产在这里只有精品| 他改变了拜占庭| 男女激情久久| 色综合色色| 这里只有精品视频| 色婷婷色人人射| 五月婷婷无码| 色色婷婷丁香五月天| 情欲禁地| 色色色色色色网站| 天天爽天天爽| av五月天婷婷丁香| 日韩黄黄| 五月婷婷在线短视频| 丁香色五月AV在线| 最新国产AV| 婷婷亚洲天堂| 黄网在线免费观看| 五月天成人在线播放| 色情免费视频播放| 热99视频精品| 婷香五月网在线| w婷婷五月婷婷w| 伊人超碰在线| 久久婷婷午夜| 欧洲MV日韩MV国产| 狠狠干综合| 99综合视频| 91精品国产99久久久久久天美| 五月激激激情综合网| 久婷婷久草| 综合五月草| 96丁香六月婷婷蜜桃综合久久| 丁香六月色| 丁香五月婷婷影视先锋| 97色射| 黄桃AV无码免费一区二区三区| 色五月播五月| 99久久久久| 99精品综合视频| AV九九| 狠狠色综合网| 丁香婷婷影院| 丁香五月影院| 婷婷成人五月天| 亚洲操操| 国产一级视频a| www.超碰97| 丰满人妻妇伦又伦精品国产| 男人操女人高潮91视频| co超碰在线观看| 丁香五月之久操视频| 91中文狠狠综合| 久久久全国免费视频| 午夜微拍福利| 午夜成人在线免费视频| 中文字幕,综合,91| 9 1超碰九色| 婷婷五月大| 激情q青青草在线婷婷| 五月丁香婷婷在线综合蜜桃| 色噜噜狠狠色综合日日免费| 99久久综合精品五月天| 国产五月天欧美色| 99爽视频| 99啪啪| 综合六月久久| 久热伊人9| 大香蕉婷婷丁香天堂AV| 久热这里有精品视频| 亚洲XX日本| 这里只有久久精99| 丁香激情网| 激情五月婷婷| 久久久久久99日本| 婷婷丁香亚洲色综合91| 婷香五月网在线| 第四色婷婷色五月| 久久久久久人妻| 婷婷金品综合视频| 久久无码成人| 色情五月天丁香社区| 这里只有精品在线视频精品| 色99综合视频| 在线观看亚洲视频影院| 99精品在线播放| 极品五月天| 天堂A∨在线| xxx综合在线| 丁香婷婷情色五月天| 天天干天天干天天干天天干天| 久久AAAA片一区二区| 激情五月婷婷她| 五月婷色| 五月天婷婷在线观看| 欧美黄色AA片哗啦啦啦| 久久婷婷五月综合网| 亚洲精品无码久久| 五月婷网站| 激情AV| 视频一区二区在线| 夜夜夜天天操| 久热这里只有精品6| 99热国产| 五月天综合激情网| 韩国久久少妇视屏| 激情五月久久| 在线看黄色| 五月丁香六月婷精品视频| 五月丁香综合| 欧美97超碰| 精品99这里有| 激情六月天婷婷| 中文字幕在线视频播放| 26uuu四色| 9久热在线视频精品| 成人婷婷色综合| 狠狠搞五月天| 成人综合视频在线| 大香人妻| 婷婷五月综合在线视频| 精品人妻一区二区| 亚洲婷婷基地| 人人播| 色婷丁香91| 袁子仪视频观看| 在线成人网站| www.91婷婷| 婷婷色激情五月天| 国产日韩欧美性生活| 九九热啪啪| 狠狠色九月| 五月网网站| 三人荫蒂添的好舒服A片| 五月丁香婷婷色色| 91久久九久久九久久九久久九久久| 久久久久久久91| 巴基斯坦粉嫰无码视频| 日本狠狠干| 五月天社区| 婷婷五月情| 婷婷六月天天| 欧美天堂久久| 婷婷色啪| 亚洲av网站在线观看| 高清成人综合| 伊人玖玖精品| 插逼综合网| 91大屁股精品| 婷婷综合视频| 97碰在线| 操操操操操操婷婷五月天| 天天久久狠狠色综合| 国产97色在线| 亚洲天堂久久| 人人草公开操| 激情又色又爽又黄的A片| a69在线视频| 强壮公让我夜夜高潮A片视频| 激情q青青草在线婷婷| 99成人| 久久99热这里只有精品23| 婷婷操逼| 九九热这里只有精品一| 亚洲AV日韩在线观看| 色丁香婷婷| 久久九九囯产| 天堂中文国产| 激情小说五月天| 激情五月天色色| www.狠狠干| 中文字幕操比影片| 深爱五月天| 亚洲综合久| 九月丁香| 99成人小视频| 在线成人视频免费| 丁香五月香蕉| 婷婷五月天99| 五月丁香婷婷啪啪网| 成人 在线 日韩| 综合激情啪啪| 亚洲AV日韩在线观看| 五月丁香在线观看| 婷婷五月天影院| 粉嫩AV久久一区二区三区| 天天天天天天天操| 五月婷婷六月丁香玖玖玫瑰91| 五月丁香精品| 色视五月天婷婷| 丁香五月www| 大香蕉久久| 婷婷狠狠五月综合| 天堂网啪啪| 久久久中文| 蜜乳中文字| 亚洲天堂热| 曰韩五月丁香色婷婷无码| 久久天天| 婷婷在线五月天观看| 五月天婷婷丁香人人操91| 欧美色色色色色色色色色色| 丁香六月综合激情| 思思热在线播放| 午夜一区| 91久女| 色五月综合网| 婷婷五月天免费视频在线观看| 丁香九月综合激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产精品婷婷午夜在线观看| 伊人久久大香网| 综合久久十三| 亚洲色色色| 婷婷激情视频欧美视频自拍视频欧美剧| 色五月激情网| 久久婷婷东京热大香樵| 91欧美| 久久综合影院 | 婷婷五月天影院| 人妻videos人妻高清| 97色色婷婷五月天| 青青久久91| 国产精品久久欧美久久一区| 在线观看av网站| 天天橾日日橾夜夜橾17| 91Chinese在线| 五月丁香亭亭AV女优| 香蕉AV777XXX色综合一区| 99色| 婷婷五月花西瓜| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月香婷婷| 99热精品99| 五月婷婷之综合激情在线| 激情五月婷婷| 97干在线视频| 97影院一级片| 久久人妻精品| 噜噜五月天综合| 99久久er| 最新五月天婷婷影| 亚洲欧洲色色| 激情五月婷黄版| 日本 欧美在线| 免费看无码视频A级| 9l视频自拍九色9l黑人| 亚洲色就是色色色| 青青久在线视频免费观看| 亚洲操B| 国产成人综合网| 天堂中文国产| 九九 激情 网| 色婷久九| 大香线蕉伊人| 五月丁香色婷婷色| 丁香五月开心亚洲| 激情亭亭五月| 日本色久| 99操久久| 色色婷婷丁香| 五月天综合网| 老司机日日夜夜青草| 91色婷婷综合久久中文字幕二区| 男女免费视频999| 久草a片| 日本天堂爱爱| 吊色AV男人的天堂| 91热视频色网站| www.99热在线观看| 五月婷婷99热| 久久精品色| 婷婷五月天 偷拍| WwW天天干| 激情五月天网页| 五月开心深深爱激情综合| 欧美激情综合色综合| 五月天婷婷婷| 丁香五月婷婷AV在线| 色婷婷六月天| 亚洲黄色影视| 久久综合99| 激情九月婷婷九月| 嫩草哈哈操| 婷婷色吧| 日韩九九视频| caopeng97日韩| www一区二区三区| 天天狠狠六月婷丁香影院| 狠狠色丁香婷婷久久综合| 丁香六月激情综合| 狠狠干综合| 伊人网色婷婷五月天| 久婷视频| www免费在线视频| 狠狠 久久| 嫩模aV在线| 99视频精品| 天天日夜夜操五月| 欧美综合激情丁香五月六月婷| A久久| 五月综合视频| 99色综合久久| WWW·色色色·COM| 国产一级片| 2020久久婷婷五月| www.com五月天| 丁香五月天堂| 亚洲V国产V欧美V久久久久久| 97超级碰人人| 中文字幕精品在线观看| 天天摸天天爽| 亚洲VA口| 婷婷五月天综合网| 一起操最新网址| 日韩99视频| 五月婷婷天天色| 婷婷五月天电影网| 欧美操人| 五月婷婷综合色啪首页| 日韩黄黄| 婷婷五月丁香婷婷| www.jiujiujiu| 高清无码网址| 伊人综合色干| 九九热区一区二区三区| 99爱视频| 亚洲第一成人无码A片| 五月天婷婷色色首页| 激情六月丁香综合| 天天日天天操心| 亚洲天堂久久| 丁香五月婷婷av| 婷婷五月丁香久久| 91超碰人人操| 色吊操色妞| 欧美激情丁香五月| 婷婷五月天电影网| 丁香伍月婷电影全集| 91要啪| 五月天久久综合婷婷丁香| 激情婷婷五月天| 伊人五月天久久| 99久久综合网| 婷婷久草| 九九热视频在线观看| 免费视频在线观看的网站| 国产免费一区二区三区三州老师F1F1.CC | www.操.com| 五月天婷婷AV| 狠狠五月激情丁香六月| 99热手机在线精品| 99伊人性爱在线影院| 色婷婷狠狠干芒果TV| 欧美人妻一区二区| 98永久精品| 高清无码中文字幕aVDV| 午夜大香蕉| 色婷久久| 婷婷五月六月丁香| 天天综合区| 这里只有精品视频看看| 天天狠狠夜夜狠狠2023| 99精品人人| 99久久久| 91久久久久| 精久久色| 国产FREESEXVIDEOS性中国 | 五月天天爽| 97夫妻超碰| 2025最新亚洲激情在线| 91丨九色丨43老版熟女| 婷婷激情性爱| 激情五月婷黄版| 亚洲色图在线视频| 天天干天天射综合网| 免费无码毛片一区二区A片 | 亚洲色综合| 91超碰在线观看| 丁香五月婷婷六月丁香| 第五婷婷伊人丁香| 天天日天天草| 超碰永久在线| 色婷婷丁香五月天在线观看| 9色免费网| 深爱激情丁香五月| 亚洲成Av人片乱码色第1集| 亚洲va欧洲va国产va不卡| 久久久99精品免费观看| 欧洲激情五月天| 色婷婷成人做爰A片免费看网站| 99色最新在线视频| 亚洲妇女熟BBW| 日韩抽插操逼| 日本欧美成人片AAAA| 逼逼AV| 中文字幕无线久必| 婷婷五月天首页| 超碰99成人在线| 五月天婷婷丁香社区| 国产永久一黄| 人妻激情在线| 9久精品视频| 99∨VTV| 玖玖资源网站最新站| 四川女人毛多水多A片| 婷婷五月天亚洲综合网| 综合色七七| 久久色情综合免费网站| 日本精品干| 99久久激情视频| 五月天开心成人网| 日韩三级高清无码| 26uuu精品一区二区| 亚洲碰碰碰| WWW,五月| 99 色色吧| 色色热| 婷婷香五月综合激情| 第四色网婷婷| 99视频这里有精品免费观看| 99色日本| 综合婷婷| 激情网 五月天| 伊人激情网| 色婷婷综合网站| 婷婷五月激情的图片| 婷婷天堂站| 熟妇人妻中文字幕无码老熟妇| 天天干天天 亚洲| 色婷婷色| 婷婷色网| 五月丁香婷婷六月天| 久久五月情| 99热97| 五月开心激情| 亚洲中文字幕av| 久久久久久久久久久久久久久久一道本| 日韩五月丁香| 丁香五月天激情| 激情婷婷激情在线不卡| 91婷婷| 六月五月婷婷| 99re久久| 五月婷久久综合| 香蕉综合网| 丁香五月开心五月激情| 婷婷六月色开| 丁香六月丁香婷婷激情| 日韩操人| 天天干天天色综合| 久久婷婷六月| 一级二级色大片| 日韩av一区二区在线/日产精品久久久| 思思热高清在线观看| 五月色视频| 五月99久久| 99热这里是精品| 综合网亚洲| 色狠狠伊人久久五月丁香| 色天堂A| 伊人久久大香线蕉精品| 色综合久久888| 五月丁香偷拍| ji'qing'luan'ren'lun| 大香蕉人妻| 停停综合色色| 欧美三级巜人妻互换| 激情五月丁香五月| 天天插天天爽| 丁香五月激情六月综合| sesesesezonghe| 九九热99视频在线| 五月婷婷色色爱| 日日夜夜天天| 色情五月婷婷| 九色自拍| 人妻久久久久久久| 丁香五月综合在线播放| 少妇丁香婷婷 | 婷婷六月五月天综合| 激情五月天啪啪| 色五月成人婷婷| 第四色激情网| 色色五月激情| 大香久久综合网| seuuu婷婷| 亚洲综合在线视频| 婷婷五月成人| 婷婷色五月天在线| 欧美日韩成人高清在线| 日日夜夜狠狠操| 天天操夜夜爱| 综合网五月天123| 色天天狠狠干| 五月婷婷色男女| 色色色在线免费视频| a在线观看| 亚洲啪啪啪啪| 91色色色| 99碰碰。| 91av色色乱视频| 久久99网| 久久99草五月婷婷| 99九九精品视频推荐| 午夜微拍福利| 国产AV网页| 影音先锋一区二区资源站| 67194中文在线| 亚洲无码猫咪| 日本欧特黄色刺激一区影视久精品无码| 久久久91精品| 香蕉99网| 亚洲午夜Av| 久久99久久久久久久噜噜| 色婷婷综合电影| 中文字幕,综合,91| 天天射综合网站| 丁香六月婷婷综合| 第四色色六月色综合| 五月婷无码| 激情五月婷婷啪啪| 婷婷五月天综合小说网| 这里只有精品1| 9月色婷婷| 亚洲视频二区| 久久丁香五月天| 国产成人AV| www久久99com| 开心六月丁香五月婷婷| 99热热九九| 狠狠草综合网| 这里只有精品9| 色五月婷婷五月| 久婷| 色婷婷电影网| 成人做爰A片免费看网站找不到了 国产露脸150部国语对白 | 色婷大香蕉| 五月天丁香婷婷社区| 亚洲天堂色| 久一网站| 色情·com| 丁香五月婷婷欧美成人色图| 激情五月天无人视频在线| 成人在线99| 丁香六月五月天| www.91av.com| 亚州第一A片| www.99在线| 伊人丁香婷婷东京| 开心激情网在线| 狠狠色婷婷7777久| 亚洲爆乳无码精品AAA片蜜桃 | 婷婷操无码| 色色狼人综合| 好好日激情五月天| 成人开心五月天| YJLZZJLZZ亚洲乱熟无码| 成人无码精品1区2区3区免费看 | 丁香九月婷婷| 五月婷婷co.m| 婷婷欧美激情综合| 99国产精品白浆在线观看免费| 亚洲成人AV高清字幕| 久久天堂精品| 99热 在线观看| 丁香五月天论坛| 久久97| 九九九AAA热视频| 天天日天天做天天舔| www色婷婷com| 婷婷五月天色| 色色色色色日韩午夜激情| 婷婷五月天激情网址| 色婷婷丁香五月天在线观看| 五月色网| 另类图片五月天激情| 亚洲美女婷婷五月天| 五月丁香激情综合网| 九九色婷婷| 色99在线看| 五月涩涩网| 激情五月激情综合网| 99视频啪啪| 色播五月天天| 婷婷精品视频| 色婷婷影音| 色婷婷五月丁香在线观看| 麻豆雪千夏| 激情综合五月丁香六月婷婷| 99免费视频久久| 美女五月天| 丁香五月影| 综合激情五月四射婷婷| 色色五月天婷婷丁香| 丁香五月激情啪啪| 99久久极情精品一区| 欧美性猛交XXXX乱大交极品| 久久新地址| 丁香六月伊人| 久久五月婷婷综合网| 婷婷五月在线综合| 日本不卡中文字幕| 国产伦亲子伦亲子视频观看| 丁香六月激| 99九九99九九九视频精彩| 婷婷激情五月天激情小说| 欧美综合在线五月天色婷婷| av九九| 大香蕉婷婷五月| 日日杆天天| 五月丁香另类网| 丁香六月中文| 五月综合视频| 一起草av| 五月天婷婷色| 久9无码视频| 日韩三级高清无码| 涩玖玖免费视频| 色婷婷五月天视频在线| 久久精彩免费视频| 婷婷综合色色| 色婷婷狠狠| 99久久精| 99精品综合| 五月婷婷久久久| 99久视频| 97在线视频观看| 激情网五月天| 任你操精品免费| 久久香蕉丁香| 久久天堂网| 久热成人| 成人日韩欧美| 丁香五月激情啪啪| 色婷婷影院| 色播五月天激情| 五月天婷婷在线观看精品男人| 538在线精品| 五月丁香av在线| 久99久视频精品|