99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

AI Agent智能運維平臺:即插即用與30秒自愈的架構(gòu)落地拆解

AI Agent智能運維平臺:即插即用與30秒自愈的架構(gòu)落地拆解 我最近在某客戶環(huán)境里實際跑了一輪這類“AI Agent智能運維平臺”標(biāo)題里那個“國內(nèi)最強”我先保留意見但“即插即用、30秒自愈”確實是現(xiàn)在智能運維賽道最能打的兩個賣點。所謂即插即用指的是數(shù)據(jù)接入、告警聯(lián)動、執(zhí)行通道盡量零改造Agent一掛上去就能工作所謂自愈指的是故障從發(fā)現(xiàn)到恢復(fù)希望把時間壓到秒級核心就是那一套閉環(huán)自動化。這篇文章不吹概念直接把這類平臺的架構(gòu)邏輯、落地配置、踩坑過程拆開講適合正在選型或準(zhǔn)備自研智能運維能力的團隊參考。1. 這類平臺到底在解決什么問題1.1 傳統(tǒng)運維的三大痛點先說痛點。傳統(tǒng)運維里最折磨人的三件事告警風(fēng)暴、故障定位慢、變更靠人肉。告警風(fēng)暴不用多解釋監(jiān)控項一多同一故障會觸發(fā)幾十條告警值班人員光是翻告警列表就要翻十分鐘真正根因早就被淹沒。故障定位慢更典型微服務(wù)架構(gòu)下一次線上異??赡苌婕熬W(wǎng)關(guān)、下游服務(wù)、數(shù)據(jù)庫、緩存、消息隊列五六個節(jié)點很多團隊沒有全鏈路Trace定位還是靠一臺臺機器登錄上去看日志。第三件事更麻煩有了告警、定位了問題修復(fù)動作還得人工到執(zhí)行機上敲命令改配置、重啟服務(wù)、摘流量每一步都依賴人的經(jīng)驗和狀態(tài)。傳統(tǒng)運維不是沒有自動化但自動化大多是“腳本機器人”比如寫一個Shell腳本檢測到某個端口不通就重啟進程。這種自動化的問題在于它是死的沒有診斷邏輯不會根據(jù)故障類型選擇不同動作也沒有驗證環(huán)節(jié)。執(zhí)行完就算結(jié)束服務(wù)到底恢復(fù)了沒有沒人確認(rèn)。AI Agent智能運維平臺本質(zhì)上是在這些“腳本自動化”外面加了一個“會思考的大腦”把數(shù)據(jù)感知、根因判斷、動作選擇、執(zhí)行驗證串成一個自治閉環(huán)。這也是為什么它能做到30秒自愈而不是3分鐘手工處理。1.2 “即插即用”和“自愈”的真正含義“即插即用”這四個字容易被理解成“裝個Agent就能用”但真正的含義比這深。它包含三個層面第一是數(shù)據(jù)即插即用平臺能自動發(fā)現(xiàn)主機、容器、中間件和業(yè)務(wù)實例自動識別監(jiān)控指標(biāo)和日志格式不需要人為逐項配置。第二是控制即插即用Agent拿到云的鑒權(quán)信息、執(zhí)行通道、堡壘機權(quán)限后就能調(diào)用重啟、隔離、擴縮容、回滾這些操作不需要開發(fā)額外接口。第三是規(guī)則即插即用平臺內(nèi)置了一批常見故障的自愈劇本比如服務(wù)無響應(yīng)就重啟、磁盤滿就清理、CPU持續(xù)飆高就抓線程棧并擴容用戶可以像裝App一樣一鍵導(dǎo)入這些劇本?!?0秒自愈”也不是簡單的執(zhí)行速度快而是整個“感知-診斷-決策-執(zhí)行-驗證”環(huán)路在秒級完成。感知靠實時指標(biāo)流診斷靠預(yù)置規(guī)則和模型判斷決策靠Playbook匹配執(zhí)行靠并發(fā)批量執(zhí)行通道驗證靠健康檢查自動回環(huán)。真正要做到30秒各環(huán)節(jié)都不能有“人工審批”這種慢節(jié)點只能用預(yù)授權(quán)和防護條件來兜底。1.3 用戶真正該關(guān)心的邊界這類平臺能解決大量重復(fù)性故障但不是銀彈。我見過最夸張的甲方以為接入平臺后運維團隊可以砍掉一半結(jié)果一跑就發(fā)現(xiàn)平臺連“應(yīng)用異常是因為上游數(shù)據(jù)庫連接池被打滿”這種跨服務(wù)依賴都判斷不了。原因是平臺缺少準(zhǔn)確的調(diào)用鏈數(shù)據(jù)和資源依賴關(guān)系A(chǔ)gent再聰明也沒有足夠的上下文。所以選型前要清楚平臺適合處理有明確指標(biāo)特征、有標(biāo)準(zhǔn)化動作可執(zhí)行的故障對于需要跨團隊協(xié)商、涉及業(yè)務(wù)決策、沒有既定預(yù)案的故障平臺只能做到“輔助定位”和“信息聚合”不能完全替代人。邊界清楚了后面落地才不會翻車。2. 整體架構(gòu)與核心設(shè)計拆解2.1 從數(shù)據(jù)接入到自動決策的完整鏈路一套典型的AI Agent智能運維平臺往細了拆是五層結(jié)構(gòu)。第一層是數(shù)據(jù)接入層負(fù)責(zé)收集指標(biāo)、日志、事件、鏈路追蹤數(shù)據(jù)。這里的關(guān)鍵不是簡單的采集而是自動發(fā)現(xiàn)和標(biāo)準(zhǔn)化。平臺會通過云接口或Agent自動枚舉出主機、Kubernetes節(jié)點、Pod、中間件實例然后統(tǒng)一打標(biāo)簽。沒有標(biāo)簽的數(shù)據(jù)對后續(xù)診斷就是廢的比如你采集到CPU 90%但不知道這個指標(biāo)屬于哪個服務(wù)、哪個環(huán)境、哪個負(fù)責(zé)人Agent無法決策。第二層是狀態(tài)感知層負(fù)責(zé)把原始數(shù)據(jù)變成“狀態(tài)描述”。平臺會把指標(biāo)轉(zhuǎn)換成時間序列用“基線漂移”“閾值越界”“趨勢惡化”這類抽象語義描述當(dāng)前狀態(tài)。這一步很反直覺但很重要Agent不是看實時數(shù)值而是看“和過去一小時比錯誤率上漲了3倍”這是故障判斷的基礎(chǔ)。第三層是根因診斷層這是Agent的核心能力所在。平臺會把告警、指標(biāo)異常、日志關(guān)鍵詞、變更事件做關(guān)聯(lián)分析。舉個例子某支付服務(wù)P99延遲飆高Agent會自動檢查這個服務(wù)所在的節(jié)點CPU、下游數(shù)據(jù)庫慢查詢、最近是否有發(fā)布變更然后給出“大概率是數(shù)據(jù)庫連接池耗盡導(dǎo)致”的判斷置信度標(biāo)成0.87。第四層是決策執(zhí)行層Agent根據(jù)診斷結(jié)果匹配Playbook生成具體的恢復(fù)動作包括重啟、限流、擴容、回滾、切換流量。執(zhí)行時會帶上防呆條件比如只允許在業(yè)務(wù)低峰期、只允許操作灰度實例避免誤傷。第五層是驗證反饋層執(zhí)行完動作后平臺會持續(xù)觀察一段時間確認(rèn)關(guān)鍵指標(biāo)是否回到正常范圍。如果沒恢復(fù)再進入下一輪診斷直到恢復(fù)或觸發(fā)“轉(zhuǎn)人工”條件。這里每一層之間都是標(biāo)準(zhǔn)接口所以數(shù)據(jù)接入層換采集源、決策層加新模型都不用動其他層這也是“即插即用”在架構(gòu)層面的基礎(chǔ)。2.2 Agent 自治回路是怎么“閉環(huán)”的自治回路是整個平臺的靈魂我通常叫它“五步閉環(huán)”發(fā)現(xiàn)、診斷、決策、執(zhí)行、驗證。“發(fā)現(xiàn)”不只是發(fā)現(xiàn)故障還包括發(fā)現(xiàn)上下文。Agent會先回答幾個問題出了什么問題影響哪個服務(wù)在哪個環(huán)境有沒有正在進行的變更“診斷”是用規(guī)則、模型或因果圖去定位根因這一步?jīng)Q定自愈準(zhǔn)不準(zhǔn)?!皼Q策”是從預(yù)案庫中選一個動作選的時候不光看技術(shù)可行性還會看這個動作需要什么權(quán)限、有沒有被管理員禁止?!皥?zhí)行”走標(biāo)準(zhǔn)化通道把動作下發(fā)到目標(biāo)主機、K8s集群或云控制臺。“驗證”不是只看一條命令執(zhí)行成功而是要確認(rèn)業(yè)務(wù)指標(biāo)恢復(fù)比如下單成功率回到99.95%以上。這個循環(huán)設(shè)計得好的地方在于每一輪執(zhí)行結(jié)果都會作為下一次診斷的輸入。第一輪診斷認(rèn)為是“緩存熱點”執(zhí)行了緩存擴容驗證發(fā)現(xiàn)錯誤率沒降第二輪就會把“連接池”“慢SQL”這些因素加進來繼續(xù)判斷。這種自愈不是固定劇本執(zhí)行一遍就完事而是帶反饋的自治回路效果會好非常多。但閉環(huán)設(shè)計有個容易被忽略的點必須有“停止條件”。不能讓它無限循環(huán)下去否則故障會變“抖動”。我見過某平臺在K8s環(huán)境里反復(fù)重啟同一個Pod就是因為驗證指標(biāo)選得太寬Pod起來了但進程內(nèi)線程池沒熱身指標(biāo)還沒恢復(fù)平臺又重啟了一次。實際配置時一定要設(shè)最大循環(huán)次數(shù)比如3輪超過后強制轉(zhuǎn)人工并自動創(chuàng)建故障單。2.3 “即插即用”的技術(shù)支點平臺能做到即插即用背后有幾個關(guān)鍵技術(shù)支點值得注意。第一是插件化連接器。不管是Prometheus、Zabbix、云監(jiān)控還是自研監(jiān)控都通過Connector接入統(tǒng)一成內(nèi)部事件模型。連接器只需要實現(xiàn)三個接口發(fā)現(xiàn)資產(chǎn)、拉取指標(biāo)、執(zhí)行動作。有了這套抽象新接一個數(shù)據(jù)源通常一天內(nèi)搞定。第二是標(biāo)準(zhǔn)化的Playbook描述語言。自愈劇本不是寫死代碼而是用類似“事件模型 條件表達式 動作序列”的聲明式配置描述。這樣運維人員可以自己維護劇本不用每次改邏輯都找開發(fā)。以下是一個簡化示例意思是當(dāng)某服務(wù)的錯誤率5分鐘內(nèi)持續(xù)超過1%且實例數(shù)少于2時觸發(fā)摘流量和重啟。trigger: metric: service_error_rate window: 5m condition: 0.01 on_instances: service_nameorder-service min_instances: 2 diagnose: steps: - check: upstream_latency - check: db_slow_query - check: recent_deploy actions: - name: remove_traffic - name: restart_instance - name: healthcheck rollback: - action: restore_traffic - action: rollback_deploy limits: max_loop: 3 notify_on_failure: true第三是安全沙箱。Agent執(zhí)行命令是高風(fēng)險動作所以所有執(zhí)行通道都要經(jīng)過一個沙箱層做命令白名單、參數(shù)校驗、主機范圍限制。只有預(yù)授權(quán)的動作才允許執(zhí)行未預(yù)授權(quán)的操作自動轉(zhuǎn)人工審批。沒有這個約束平臺根本不敢放開自愈。3. 實操落地把平臺接進現(xiàn)有環(huán)境3.1 環(huán)境準(zhǔn)備與前置條件先潑一盆冷水不是所有環(huán)境都適合直接上“即插即用”。我在某客戶那邊遇到過K8s集群版本太老容器指標(biāo)接口變了Agent自帶的關(guān)聯(lián)關(guān)系識別直接失效最后還是手動打了補丁。所以第一步是把前置條件理清楚。環(huán)境層面至少要滿足三件事標(biāo)準(zhǔn)化的工作負(fù)載標(biāo)識。每臺主機、每個Pod、每個數(shù)據(jù)庫實例都最好有統(tǒng)一的標(biāo)簽體系至少要包含“應(yīng)用名”“環(huán)境”“服務(wù)角色”。沒有標(biāo)簽Agent無法做跨指標(biāo)關(guān)聯(lián)??蓤?zhí)行的動作通道。自愈要重啟服務(wù)就要配置好遠程執(zhí)行通道。常見的有Prometheus的relabel、K8s API的scale、云平臺的實例重啟接口、批處理工具等。這些通道在接入前要做權(quán)限最小化只授予自愈Playbook需要的那幾個動作??苫貪L的變更能力。如果是做發(fā)布回滾類自愈一定要確認(rèn)應(yīng)用發(fā)布系統(tǒng)支持一鍵回滾且回滾不會造成數(shù)據(jù)不一致。很多團隊卡在這一步因為他們的發(fā)布流程太原始根本沒有版本回滾接口。準(zhǔn)備完成后建議先在測試環(huán)境跑通一條最簡單規(guī)則比如“某測試服務(wù)5分鐘內(nèi)無心跳自動重啟并通知”再擴大到生產(chǎn)。別一上來就全量接入自愈翻車一次就會把整個項目打進冷宮。3.2 30秒自愈規(guī)則如何配置以“服務(wù)實例無響應(yīng)”為例講一條完整的30秒自愈規(guī)則怎么配。觸發(fā)條件可以定為健康檢查接口連續(xù)3次超時且實例存活數(shù)小于期望副本數(shù)。診斷邏輯是先看本機CPU和內(nèi)存是否異常再看宿主機網(wǎng)絡(luò)連接數(shù)是否打滿最后看依賴數(shù)據(jù)庫的活躍連接數(shù)。這里不需要復(fù)雜模型用預(yù)設(shè)的“條件樹”就夠了。動作序列設(shè)計是核心。要想在30秒內(nèi)恢復(fù)必須并發(fā)執(zhí)行而不是串行。摘流量、重啟實例、健康檢查這三步并行啟動摘流量通過負(fù)載均衡接口立即生效重啟實例通過容器平臺接口觸發(fā)健康檢查則定時輪詢。我們實測下來最耗時的是等待容器重建通常10到15秒而摘流量和通知是毫秒級整體MTTR能控制在20到35秒。關(guān)鍵配置項列一下觸發(fā)評估窗口建議設(shè)置為連續(xù)2到3個周期不要用單點數(shù)據(jù)觸發(fā)避免抖動。并發(fā)度同一批次操作實例數(shù)限制為最多20%防止誤操作放大。執(zhí)行確認(rèn)第一次接入建議開啟“灰度確認(rèn)”讓Agent先處置一臺實例確認(rèn)效果后再自動擴大范圍。失敗處理自愈執(zhí)行失敗立即創(chuàng)建高優(yōu)工單并通知值班人在線介入。我自己偏好用“先摘流量再重啟最后驗證”的順序。很多新手把重啟放在摘流量前面結(jié)果用戶請求還在往這個實例打重啟過程反復(fù)失敗故障時間反而拉長。3.3 驗證自愈效果的關(guān)鍵指標(biāo)配置完規(guī)則不能只看“Agent跑了一輪就完事”要用指標(biāo)量化效果。建議重點盯四個指標(biāo)。MTTR平均恢復(fù)時間。這是最直觀的指標(biāo)就是從故障發(fā)生到業(yè)務(wù)恢復(fù)正常的時間目標(biāo)是低于30秒。但如果故障發(fā)生在凌晨業(yè)務(wù)低峰告警響應(yīng)慢MTTR會變長所以要區(qū)分時段統(tǒng)計。自愈成功率指Agent發(fā)起的自愈流程中最終無需人工干預(yù)就恢復(fù)業(yè)務(wù)的比例。理想情況應(yīng)該大于80%。低于這個值說明診斷規(guī)則或預(yù)案覆蓋度不足需要繼續(xù)沉淀。誤殺率指Agent執(zhí)行了動作但實際沒有故障的占比。這指標(biāo)不能超過5%否則運維團隊會失去安全感。降低誤殺率的方法是提高觸發(fā)的“持續(xù)確認(rèn)”比如連續(xù)3分鐘超過閾值才動作不要單點觸發(fā)?;貪L率指自愈執(zhí)行后因為恢復(fù)失敗、再次操作產(chǎn)生副作用而回滾的比例。如果這個數(shù)字高了說明執(zhí)行動作本身有問題可能是重啟命令不對或擴縮容參數(shù)不合理。每周給這三個指標(biāo)做一次趨勢分析持續(xù)兩周就能看出平臺的真實價值。很多供應(yīng)商演示時只展示MTTR回避誤殺率你選型時一定要追問。4. 常見問題與排查技巧實錄4.1 接入后發(fā)現(xiàn)數(shù)據(jù)斷流接入階段最常遇到的問題就是“Agent裝上了但平臺里看不到數(shù)據(jù)”。著急靠補但更重要的先定位斷在哪個環(huán)節(jié)。我通常按“采集、上報、入庫、展示”四層排查。先看Agent進程是否起來日志有沒有報連接失敗或鑒權(quán)失敗。再看上報的地址是不是配置成了內(nèi)網(wǎng)不可達域名很多環(huán)境里DNS解析問題才是罪魁禍?zhǔn)?。接著看平臺側(cè)的消息隊列積壓情況如果采集量太大而消費能力不足數(shù)據(jù)會延遲十幾分鐘表現(xiàn)就是“看著像斷流”。最后看數(shù)據(jù)格式比如原有主機名帶特殊字符平臺解析失敗整條記錄被丟棄。排查時一定要在數(shù)據(jù)接入層打印關(guān)鍵日志。比如在Agent的連接器模塊里每收到一條指標(biāo)就輸出一行debug日志確認(rèn)數(shù)據(jù)已經(jīng)進入管道。我碰過一次詭異問題數(shù)據(jù)沒有斷流但拓?fù)鋱D上缺了一臺中間件查了半天才發(fā)現(xiàn)是這臺中間件沒有任何請求指標(biāo)為空平臺自動把它當(dāng)“僵尸實例”過濾了。4.2 自愈動作執(zhí)行了但服務(wù)沒恢復(fù)這是上線后用戶吐槽最多的問題平臺提示“重啟完成服務(wù)已恢復(fù)”但業(yè)務(wù)方反饋接口還是超時。這往往不是執(zhí)行失敗而是驗證邏輯太粗糙。我遇到過的典型情況是重啟的是Pod健康檢查也顯示Pod Ready但應(yīng)用內(nèi)部的線程池沒有預(yù)熱完成實際處理能力只有正常的一半。平臺只檢查了“容器存活”和“端口監(jiān)聽”沒有檢查“業(yè)務(wù)就緒”和“響應(yīng)耗時”于是判定恢復(fù)成功但用戶流量一來就打爆了。解決辦法是把健康檢查分成兩個階段。第一階段檢查進程和端口確認(rèn)服務(wù)起來了第二階段用真實的業(yè)務(wù)探針短時間發(fā)10個測試請求確認(rèn)平均響應(yīng)時間和錯誤率都達標(biāo)。只有當(dāng)兩個階段都通過才判定自愈成功。另一個常見原因是操作對象不對。Agent診斷出“支付服務(wù)異?!眻?zhí)行動作時卻重啟了同命名空間下另一個相似命名的服務(wù)。這種情況是在資產(chǎn)識別階段名稱映射錯了只能在故障演練時發(fā)現(xiàn)。我的建議是所有帶破壞性的自愈動作在執(zhí)行前都加一道“實例標(biāo)簽校驗”確認(rèn)目標(biāo)Pod標(biāo)簽和Playbook要求完全匹配。4.3 Agent 誤判高發(fā)場景怎么壓下去誤判是這類平臺最微妙的問題。指標(biāo)正常但Agent認(rèn)為故障或者故障發(fā)生在某個PodAgent卻把關(guān)聯(lián)Pod全重啟了都會讓運維團隊對平臺失去信任。降低誤判我總結(jié)了三個有效手段。第一是加“睡眠期”。觸發(fā)條件要求異常持續(xù)一段時間再動作比如CPU持續(xù)90%以上5分鐘才執(zhí)行避免瞬時毛刺。這個值要按業(yè)務(wù)敏感度調(diào)核心交易系統(tǒng)建議更長比如15分鐘非核心系統(tǒng)可以短一些。第二是加“多維確認(rèn)”。不要只看單一指標(biāo)。比如觸發(fā)“磁盤滿”動作前同時檢查磁盤使用率、inode使用量、刪除文件歷史操作三者聯(lián)合判斷。單一指標(biāo)會誤殺多維確認(rèn)能大幅降低誤殺率。第三是分級放權(quán)。第一周把Agent設(shè)成“建議模式”它只給出處置建議不自動執(zhí)行第二周改成“灰度模式”對非核心服務(wù)自動執(zhí)行第三周再對核心服務(wù)放開自動執(zhí)行。這個分階段放權(quán)不僅是在驗證算法更是在建立團隊的信任感。如果你發(fā)現(xiàn)某個規(guī)則的誤殺率持續(xù)偏高不要急著刪規(guī)則先把觸發(fā)條件調(diào)嚴(yán)格再打開調(diào)試模式逐條回放歷史告警找出是哪一步判斷太激進。我遇到過一條規(guī)則因為基線模型在流量突增時把峰值當(dāng)異常導(dǎo)致頻繁誤報。后來把基線窗口從“最近24小時”改成“最近7天同時段”誤報率立刻降下來。5. 工具選型與二次開發(fā)建議5.1 選型對比的四個維度市場上有不少自稱“AI Agent智能運維”的平臺真實差距其實很大。選型時不要被“國內(nèi)最強”這種說法帶偏我有四個固定維度要做對比。首先要看“執(zhí)行通道覆蓋”。能不能直接對接你現(xiàn)有的一堆系統(tǒng)比agent算法的炫酷程度重要得多。如果連你們用的云平臺、K8s版本、監(jiān)控系統(tǒng)都不支持一切白搭。這個維度直接決定“即插即用”成不成立。其次看“Playbook沉淀”。平臺自帶多少可用的自愈劇本質(zhì)量如何。很多平臺說自己有幾百個劇本細看一半是“重啟大法”和“發(fā)送通知”真正的深度診斷劇本少得可憐。你要重點看它有沒有覆蓋你們核心應(yīng)用的故障類型。再看“安全控制面”。自愈執(zhí)行有四級安全措施嗎操作白名單、命令參數(shù)校驗、執(zhí)行范圍限制、操作審計。這四個缺一個都別在生產(chǎn)上用出一次事就夠你喝一壺了。最后看“擴展開發(fā)成本”。平臺是否提供連接器SDK、劇本編輯器、API接口。很多平臺演示時很漂亮但你在上面做一次自定義劇本開發(fā)文檔不全、接口不開放最后只能求供應(yīng)商這種平臺不適合有自研想法的人。四維對比表整理如下對比維度重點關(guān)注避坑要點執(zhí)行通道覆蓋云平臺、K8s、堡壘機、監(jiān)控系統(tǒng)不支持開放API的平臺慎選Playbook沉淀真實故障劇本數(shù)量和深度別信“幾百個劇本”要現(xiàn)場演練一個核心場景安全控制面白名單、參數(shù)校驗、范圍限制、審計四級缺一不可尤其命令參數(shù)校驗擴展開發(fā)成本SDK、文檔、API、社區(qū)沒有文檔的平臺等于綁架你5.2 二次開發(fā)時的注意點如果你不想完全被廠商綁死二次開發(fā)工作早晚要做。我做集成開發(fā)時踩過的坑可以總結(jié)成四點。連接器抽象一定要做在核心層。就算初期只對接兩個數(shù)據(jù)源也要為第三個預(yù)留接口。我的做法是定義一個Connector統(tǒng)一接口包含asset discovery、metric pull、action execute三個方法后續(xù)所有接入都是實現(xiàn)這個接口核心邏輯不動。權(quán)限模型要有獨立的授權(quán)服務(wù)。自愈執(zhí)行動作是高風(fēng)險操作權(quán)限不能直接寫在Agent腳本里而是放在統(tǒng)一的授權(quán)服務(wù)中。ActionId 目標(biāo)實例 時間窗 執(zhí)行人四元組一起校驗。更關(guān)鍵的是權(quán)限必須能動態(tài)撤銷一旦發(fā)現(xiàn)某條Playbook有風(fēng)險可以立即斷了它的執(zhí)行通道。自愈動作本身也要“可觀測”。Agent執(zhí)行了什么、為什么選這個動作、執(zhí)行結(jié)果如何、驗證證據(jù)是什么全部落到審計日志。這里很多人會忽略“為什么選這個動作”但這是排障時最需要的算法給出的診斷置信度和匹配到的規(guī)則ID必須要記錄。最后一點所有自愈動作都要有配套的手工回滾入口。即使Playbook里已經(jīng)寫了回滾邏輯也要讓值班人能手動執(zhí)行回滾并且這個入口必須比Agent操作更快。我在實際項目里就把回滾入口做成了值班控制臺一個大按鈕點擊后立刻終止當(dāng)前Playbook并復(fù)位流量比在Playbook里翻找action快得多。我個人的體會是這類平臺真正能發(fā)揮多大價值不取決于算法用了多少大模型而取決于診斷規(guī)則是否貼近你的業(yè)務(wù)、執(zhí)行通道是否穩(wěn)定、安全邊界是否清晰。我見過某平臺的Agent模型調(diào)得花里胡哨但連告警去重都沒做好一次磁盤滿能觸發(fā)七八個重復(fù)工單運維反而更忙。所以建議所有準(zhǔn)備上智能運維的團隊從一條最痛、最重復(fù)的故障場景開始跑閉環(huán)把體驗跑順了再逐步擴大范圍。最后再分享一個小技巧配置“30秒自愈”前先手動跑兩輪故障演練把執(zhí)行動作的真實耗時記下來因為每個環(huán)境的容器啟動速度、負(fù)載均衡生效時間差別很大指標(biāo)沒校準(zhǔn)就直接配置上線后大概率會被打臉。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久国产精品黄毛片| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 97在线碰| 婷婷色亚洲| 丁香婷婷激情| 97碰碰人人| 五月丁香六月激情综合| 久久久久久久久久8888| 国产精品久久久久久久久久| 色五月开心五月激情五月| 日韩无码色色| 天天爽—爽| 色色色五月婷| 成人色五月天婷婷| 综合色五月亭亭| www.激情五月天| 99国产精品久久久久久久久久久| 五月丁香性| www久久久久| 激情五月天无人视频在线| 激情五月天婷婷播播久久综合91| 综合网激情| 色日本综合| 婷香五月激情视频| 婷婷激情五月天在线| 91欧美日韩| 欧美激情综合五月色丁香| 丁香影院五月综合| 亚洲综合另类| 五月丁香六月婷婷欧美综合| 久久这里有精品在线观看| 亚洲久艹| 欧美成人AAA片一区国产精品| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色9999日韩国产| 五月熟妇婷婷久久| 婷婷亚洲综合| 五月久久婷婷丁香| 亚洲V国产V欧美V久久久久久| 婷婷五月天综合久久| 操久久精| 丁香五月欧美色综合| 久色网址| 色五月丁香六月欧美综合| 91色噜噜狠狠狠狠色综合| 五月婷免费视频久久久| 99精品爱| 五月天激情婷婷丁香| 五月丁香啪啪啪| 日本婷婷综合精品| 五月熟妇婷婷久久| 人人操人人爱丁香五月| 五月天六月色| 九九热这里只有国产精品| 无码啪啪| 婷婷五月小说色综合| 91丨九色丨高潮丰满日本| ..真实国产乱子伦对白在线_欧| 亚洲精品国产精品乱码不99| 日韩欧美一级大黄网站| 青青草深爱激情网| 综合亚洲六月婷婷在线| 综合激情五月四射婷婷| 婷婷中文在线| renrencaoav| 婷婷五月av| www,色婷婷| 亚洲婷婷丁香五月在线| 开心五月丁香婷婷| 中文无码精品一区二区三区| 啄木鸟黑丝一区二区| 亚洲9久久精品| 婷婷中文字幕欧美| 538在线精品| 成人AV在线电影| 热成人网| 色婷婷免费观看| 日本久久性| 国产av影片| 九九色图| 久久婷婷婷婷伊人| 日日干日日| 无码人妻电影| 婷婷五月花| 婷婷欧美综合| 天天综合网在线| 99re在线视频| 啊V视频在线观看| 五月天综合图片| 五月久视频| 97干综合网| 色色婷婷丁香| 丁香婷婷色色| 综合大香蕉| 夜夜操天天干| 欧美激情 日韩无码 婷婷 五月天| 99国产精品久久久久久久久久久| 日本一级一级一级一级| 欧美日韩欧美| 天天搞天天色综合| 六月婷婷七月丁香| 丁香成人色情五月天| 婷婷丁香色无五月| 激情五月天色色| 99re久久| 亚洲av无码精品色午夜| 婷婷综合五月天| 五月婷五月婷伊人伊人五月婷| 性生活视频98791| 丁香五月激情宗合| 久久综合五月天| 婷婷五月色情天| 超碰1999| 99视频综合| 丁香久月婷| 婷婷五月综合网| 狠色狠色狠色狠色狠色网| 色 色 色综合com| 久久久婷婷婷| 97人人草| 五月丁香久久呀| 久热这里| 99玖玖精品| 五月天伊人久久久久| 久久丁香五月综合六月激情红杏视频 | 大香蕉手机视频| BT综合在线视频观看| 婷婷5月天激情综合| 九九热免费视频| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久草性爱| 成人在线综合| 色五月中文字幕| 婷婷六月丁香色| 99在线69| 99久久婷婷五月综合| 99精品久久久久久久婷婷久久 | 久久全意婷婷| 久热这里只有精品在线观看 | 九九热a| 久久99免费视频| 婷婷六月啪啪| 五月丁香狠狠爱婷婷综合| 91色综合| 99热66| 综合天堂AV久久久久久久| 香焦网五月天| 丁香五月婷婷骚视屏| 99精品久久| 亚洲愉拍99热成人精品| 九九九九九九九热| 99欧美精品99日本精品| 五月婷婷激情刺激| 欧美人妻一区二区| 人操人人| 开心五月婷| 97色色色| 天天开心婷婷丁香五月| 日韩成人无码| 色九月婷婷| 97影院一级片| 91xxxx九色| 欧美情月伍月天| 久久婷丁香五月| 蜜乳人妻一区二区三区| 婷婷五月激情的图片| 亚洲视频久久| 狼友视频在线观看18| 人人插9| 色婷婷的五月天| 婷五月天六| 欧美啄木乌丝袜人妻系列| 这里只有精品视频99| 色色激情网| 综合AV在线| 超碰91人人操| 精品亚洲国产成AV人片传媒| 少妇综合网| 97丁香五月| 久久激情五月天| 亚州男人天堂婷婷五月| 五月婷婷激情久久| 性色播| 天天日人人爽| 久久五月视频| 六月香五月婷| 免费人人操| 色婷久久| 久久色五月天| 婷婷五月综合免费在线| 超碰人人色| 激情综合五月激情17| 国产SUV精品一区二区883| 26uuu欧美亚洲日韩| 亚洲AV成人在线观看| 人妻性操逼中文字幕 国产| 91丨九色丨东北熟女| 五月丁香激情综合啪| 9久久狠狠的| 五月花综合视频| 97热久久五月婷婷| 亚洲无AV在线中文字幕| 天天草天天爽| 五月天小说激情| 青青草原爱爱网| 激情五月婷| 综合综合色色| 熟妇内谢69XXXXXA片| 99秘 在线| 色五月婷婷激情基地| 色停停香蕉视频| 这里只有精品日韩精品| 天天综合网91| 九九色色| 五月丁香成人小说| 青草热视频这里只有精品| 奇米网大香蕉| 天堂美国久久| 色色色热| 玖玖婷婷五月| 激情綜合W W W,激情五月天| se色99| 九一牛视频探花| 九九激情综合| 天天综合五月天| 一起草无码| 公的粗大挺进了我的密道| 日本熟女二区| 五月丁香婷庭在线| 五月婷婷三级| 中文字幕av网站| 中文av网| 丁香五月激情五月| 99精品在线观看| 天天天久久人人人合| www.精品久9| 色色色热热热| 99热在线观看| 99精品久久久| 久99久在线| 99热免费看| A一级操| 原琪琪色影院| 日本97在线视频| 久久综合九色综合88i| 狠狠干狠狠干| 99精品视频播放| 在线日本www| 六月丁AV| 色婷婷a三区麻| 亚洲五月丁香综合网| 97日本在线| 99riAV成人在线视频| 99色在线观看| 野战J办公桌椅H| 婷婷丁香色五月| 久久这里只精品| 久久人人人人妻| 激情婷婷五月女| 狠狠爱深色婷婷综合| 欧美色色色色色色| www.色五月.com| www婷婷| 丁香五月婷婷激情中文| 5五月综合网亚洲| 五月天婷婷人妻| 岛国av电影网站| 亚洲国产成人裸舞| 婷婷综合五月天亚洲综合| xxx综合在线| 色婷婷激情| 狼人久草| 婷婷久草| 久久综合五月天激情小说网站 | 色婷婷丁香五月丁香| 激情婷婷色小说| 精品国产va久久久久| 9久久精品| 天天爽在线视频| 久久XX| 激情视频婷婷五月花| 丁香六月婷婷久久综合| 婷婷5月开心6月| 丁香五月欧美色综合| 人人看人人草人人摸| 五月天成人手机在线视频| 色香五月天| aaa日韩| 99色精品| 色婷婷影| www..999热久| 丁香五月婷婷啪啪啪| 五月天大香蕉| 五月丁香六月激情| 九九色区| 99激情视频热| 熟女激情五月天| 97香蕉碰碰人妻国产欧美| 成人网站免费在线播放| 毛片九九九九九九九九18| www。久久久久一b。Cc| 狠狠干婷婷| 亚洲人妻Av| 五月天综合在线| 亚洲九N| 久久探花91swag| 大香线蕉伊人| 台湾佬天天日丁香婷婷五月天| 婷婷六月色播| 另类激情综合| 久婷自拍视频| 欧洲日韩一区二区三区| aa久久| 久久视频在线视频| www..999热久| 日本成人噜噜| 欧美激情VA永久在线播放| 91人妻人人操| 九九人妻福利| 婷婷成人视频| 天天综合天综合久久网| 久久久com| 欧美日韩婷婷五月天| 五月激情婷婷综合| 99爱这里只有精品免费视频| 91综合在线| 久久丁香婷婷五月| 日韩在线五月天婷婷| 996热| 久久9视频欧美| 五月丁香婷婷婷婷综合网| 人妻少妇色综合| 成人无码髙潮喷水A片| 五月丁香六月成人| 亚洲AV成人无码精品| 久久99久久久久久| 六月99天天婷婷激情综合| 岛国AAAV| 天天干天天干天天干天天干天天干天天干天天 | 天天插天天插天天日| 狠狠干夜夜干| 婷婷性爱五月天| 中文字幕人妻熟女在线| 亚洲激情av| 亚洲va欧美va天堂v国产综合| 精品夜夜澡人妻无码AV| 丁香六月av| 久久激情五月婷婷| 1024人妻| 五月叮香啪| 九九人人精品| 色播五月综合网| 99国产欧美视频| 色五月成人在线| 国产精品18久久久| 欧美激情丁香五月天久久婷婷一区| 欧美六月| 亚洲成人免费在线| 九九激情| 天天色综合色| 夜夜爽天天爽| www.com.色色| 另类综合激情| 99热18| 欧美一级色| 91avse| 激情久久久久久久久久| 九九热欧美| 中美日韩成人在线| AV大香蕉| 久久99久久99精品免视看婷婷| 色综合色综合网| 天天摸天天舔天天爽| 久久九九网| 午夜美女人啪最红院| www.超碰| 天天射色五月天| 日本97在线观看| 欧美啄木乌丝袜人妻系列| 97luluse| 亚洲不卡| 色九月国产| 丁香六月色情| 国产婷婷五月| 99精品久久| 国产噜一噜天天噜| 伊人网色婷婷五月天| 丁香五月五婷| 99riAV国产精品视频| 色久九| 婷婷久久五月| 亚洲色就是色色色| 天天综合久久| 热无码A∨| 国产精品涩涩涩视频网站| 伊人天天色| 人人摸人人摸| 久久丁香| 久久婷婷青青| 色色色9| 亚州日本欧州韩美高青高潮一| 国产真实乱了老女人视频| 五月久久亚洲| 久久久久久久97| 成人精品一区日本无码网| 久久婷婷五月天激情唯美| 一级黄色操B| 欧美丁香五月97色| 另类小说婷婷色| 美女伊人久久| 婷婷色情 | 天天做天天要天天爽| 免费观看的av| 狠狠人人| 超碰高清在线| 日本一级淫| 女人天堂久久| 五月天婷婷影院影院| 美国不卡视频| 激情综合色五月丁香| 日韩啪| 五月天婷婷六月| 五月五月婷婷| 在线观看免费观看在线9久| 9一精品视频观看| 97操操操| 日日天天干| 综合激情网| 综合色影院| 香蕉AV福利精品导航| 综合一区二区三区| 五月开心深深爱激情综合| 99啪啪视频| 婷婷五月天 丁香五月天 裸体| 99久热在线精品| 亚洲综合在线丁香五月| 高清激情av在线观看| 五月天久久网站| 江苏少妇性BBB搡BBB爽爽爽| 久久久久这里只有精品| 五月天丁香久久| 五月天激情婷婷丁香| 国产激情综合五月久久| 色五月婷婷AV| 秋霞网在线免费基地五月婷婷丁香| 超碰精品在线| 精品久久久人妻| 亚洲VA口| 六月丁香啪啪啪| 亚洲综合婷婷五月天| 激情五月天婷婷播播久久综合91| 99久久综合网| 另类图片五月天| 色婷婷9| 天天色激情| 五月情综合| 99综合色色色| 九九色中文| 91色色色18| 婷香狠狠爱五月| 丁香婷婷五月综合欧美另类| 日本www免费九九| 大香蕉AV在线| 精品亚洲国产成人A片在线鸭王 | 狠狠色婷婷777| 午夜成人天堂久久无码日韩久久| 丁香五月色网| 婷婷丁香成人| 久久99热这里只频精品6学生| 色综合久久综合中文综合网| 99热9999| 色欲天天综合网| 九九在线精点品| 色播播五月天| 久久久天堂国产精品女人| 无码日本精品XXXXXXXXX | www99热| 五月天社区| 可以看的av| 激情五月天在线| 丁香色五月直播| 激情五月婷婷欧美极品 | 99热免费精品| 伊人婷婷五月天| 天天操夜夜操| 丁香性爱在线视频| 五月亭久久无码视频| av线电影| 久久这里只精品66| 久热这里只有精品66| 九九久久视频| 欧美视频五区| 99在线精品免费视频| 免费99情趣网视频| 99热婷婷| 99精品这里只有免费视频| 人人爽在线视频综合网| 大香蕉院线| 天天色综合网1| 婷婷五月天社区| 91日本在线观看| 人人色AV| 网色99| 99精品自拍视频| 久久机热/这里只有精品| 色色色色色色色色网站| www.色五月| 色很久综合| 天天综合亚洲| 操91| 亚洲正能量欧美| 丁香五月婷婷av| 99 热| 狠狠干伊人| 五月丁香六月色| 激情六月天| 欧美日韩一区二区三区四区| 超碰人人色| 激情综合网亚洲色图| 九九亚洲| 久久婷婷综合五月| 五月婷在线观看| 九九热婷婷| 激情婷婷六月天| 99热自拍| 成人短视频免费| 精品九九在线观看视频| 国产无套精品一区二区| 激情综合五月婷婷| 久久婷婷五月天激情| a69在线视频| AV色婷婷| 狠狠色综合无线观看| 亚洲Va成人| 天天插综合| 精品一二三区久久AAA片| 婷婷午夜精品久久久| 丁香五月骚喷水视频| 亚洲性爱电影| 性爱五月婷| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 91婷婷搞| 9在线9在线婷婷在线国产| 凹凸探花电影| 色播五月婷婷| 99热99精品| 婷婷五月18永久免费视频| 在线播放中文字幕| 五月丁香| 久久狠狠干| 久热99热| 狠狠色丁香婷婷久久综合| www,99视频| 777丁香六月青青草婷婷综合久月| 99精品自拍| 婷婷色在线播放| 久久色天堂| 操骚货在线| 五月丁香婷婷成人版| 久久久久久丁香五月| 国产精品色| 色九九综合| 欧美性猛交99久久久99| 久热亚洲| 成人综合视频在线| 久久性操| 激情色播| 激情五月综合色| 99久久久免费| 91超级碰碰碰| 亚洲色婷婷| 五月天色婷婷激情综合| 天天更新天天亚洲| 五月婷婷丁香| 丁香六月高清视频| 一本色道久久综合狠狠躁一二三| 婷婷丁香激情| 九九视频在线观看视频在线播放69| 国际国外精品欧洲南美洲专区无码不卡| 欧美日本日韩| 狠狠操性爱av| Www.狠狠| 天天久久狠狠色综合| 丁香五月欧美成人| 中文字幕欧美日韩VA免费视频| 久久这有这里精品| 精品人妻在线免费观看| 夜夜躁爽日| 91九色中文| 婷婷五月在线观看| 婷婷五月天最新综合你懂的| 日韩精品无码一区二区| 99热99热99热99热| 久超超碰| 中文字幕人妻熟女在线| 99热777| www.婷婷五月.com| 九九大香蕉黄色影院| 另类天堂| 90色免费视频| 97亚洲婷婷| 五月丁香六月婷婷,婷| 欧美性生交xXxX久久久| 五月婷婷丁香六月| 丁香无五月网| 丁香婷婷五月天成人| 色色日本欧美| 国产AV影片| 激情婷婷啪啪| 人妻尝试久久久久久久久久久久| 一區四區歐美日韓| 五月天激情色色| 伍月婷婷六月丁香| 欧美色久| 成人超碰网| 婷五月天在线草| 免费看欧美成人A片无码| 日日操,天天操| www.色婷婷.com| 99激情| 婷婷在线免费| 婷婷色亚洲| 丁香五月亚洲综合丝袜| 欧美色色色色色| 激情五月婷婷综合网| 天天操天天曰天天射| av九九| 激情婷婷六月天| 久久狠色噜噜狠狠狠狠97| 中文字幕亚洲-区久久99婷婷| 色色婷婷综合网| www99xxxx五月丁| 五月天婷婷久久视频| 99热精地址| 99视频久久| 婷婷六月激情综合| 人妻久久久久久久久妻久久久久久久久| 亚洲av电影网站| 99这里有精品| 色色狼人综合| 99久久大片| 综合久久综合五月天婷婷| 日本欧美成人片AAAA| 99热成人| 伍月婷丁香花全集| 熟女色专区| 久婷久婷| 久久精品熟女亚洲AV麻豆| 丁香六月婷婷| 97碰碰人人| 九九婷婷网五月天| 五月天色婷婷伊人网| 26uuu国自产精品| 大香蕉人在线65| 六月丁香开心婷婷欧美| 综合色、色综合| 天天色播| 26UUU欧美| 色综合大香蕉| 久碰婷婷视频| 噜啊噜在线| 天天做天天爱天天要| 翔田千里无码| 婷婷五月天激情视频| 26uuu淫色| 五月天婷婷色| 欧美色五月| 一区视频网站| 婷婷综合色图| 久久女人天堂| 五月丁香综合激情网| 综合99视频| Caop在线| 97九色视频| WWW,五月| 欧美婷婷日本| 99热只有精品在线播放| 丁香五月婷婷88在线| 五月丁香久久呀| 99热99操| 五月丁香婷婷久久| 啪啪一区| 久久亚洲色导航| 亚洲欧美另类在线23p| 午夜电影网VA内射| 99免费热视频| 丁香婷婷五月天在线视频| 99在热线免费视频| 天天人人人人人人人人人人人| 天天干天天日天天操| 丁香五月成人av| 九月婷婷激情| 在线另类| 亚洲综合色网| 色啦啦视频| 日日操夜夜操中国无码| 五月叮香啪| 九九热中文| 丁香婷婷激情五月色| 久久66精品| 天天天天天天操| 另类A片| 九九热视频在线观看| 国产无套精品一区二区| 五月色丁香婷婷综合| 天天日夜夜B久久| 人妻熟人中文字幕一区二区| 91碰免费视频| 婷婷射图五月天| 久鲁鲁色网| 精品51XX| 综合久久影院| 日本乱子人伦在线视频| 婷婷五月丁香超碰| 六月丁香五月激情亚洲AV| 男女久久婷婷五月天| 色5月丁香婷婷| 99在线精品视频在线观看| 色婷婷狠狠禁18久久| 日本婷婷在线| 婷婷五月天激情视频| 天天操综合网| 成人无码髙潮喷水A片| 五月丁香六月婷婷激情四射| 99re热视频这里只有综合亚洲| 色五月婷激情| 色婷婷丁香五月| 奇米色大香蕉| 这里只有精品视频国产| 97五月天| 96自拍视频九色在线观看| 五月天丁香婷婷社区| 五月丁香六月婷婷中合网| 开心五月天激情网| 婷婷情色开心五月天99| 亚洲五月婷婷| 99视频精品在线| 禁欲电影完整版在线播放| 99热销国产这里有精品| 五月天精品综合| 五月婷婷丁香五月| 丁乡久久| 亚洲A色| 久色网| 五月天婷婷网站888| 天天爽综合网| 亚洲宗合激情| 第2色五月婷| 九九精品综合| 99丁香五月婷婷在线| 色五月丁香在线| www.夜夜| 99在线精品观看99| 超碰三级片| 4438全国最大视频成人网站在线观看| 久久6这里只有精品| 特黄三级片| 韩国19 主播内部福利vip免费播放| 97色伦另类图片小说视频 | 久久机热这里只有精品| 国产毛片精品一区二区色欲黄A片| 六月婷久久| 日日操日日撸| 婷婷干六月综合旧址| 99这里只有精品在线观看| 伊人婷婷五月天| 久九色| 亚洲在线资源| 日本三级中文字幕| 色色五月天婷婷丁香| www.9色色色| 人人人操97| 激情综合色婷婷啪啪五月天| 亚洲性爱99在线| 99热在线观看| 襙比视频| 国产又色又爽又黄又免费| 久久99热这里只有精品| 激情文学综合婷婷五月天丁香花| 五月熟妇婷婷久久| 午夜精品久久久久久久爽| 丁香五月婷婷呀| 少妇搡BBBB搡BBB搡毛茸茸| 五月婷婷丁香五月亚洲色| 亚洲激情网| 久久精品爱爱| 五月婷婷六月色| 99免费热视频在线| 这里只有精品99www| 天天做天天爱| VA日本视频| CHINESE熟女老女人HD视频| 综合五月天亚洲婷婷| 狠狠爱综合网| 五月丁香婷中文| 97成人操| 欧美色性色好| 狠狠爱激情网| 中文av网| 色综合五月婷婷狠狠干| 大香蕉伊人丁香五月| 性天天中文网| www.综合久久.com| 色五月天堂| 狠狠五月激情在线| 中国女人做爰A片| 99思思热只有在这里看| 久久人操-久草婷婷-成人AV| 欧美精产国品一二三区| 色色色综合网| 国产古装妇女野外A片| 婷婷色网站| 玖玖婷婷精品| 人妻久久久久久久| 五月社区丁香| 青青草五月天| 日本色色网| 四色女婷婷| 婷婷五月网图片区| 天天做天天爱| 亚洲人妻五月丁香婷婷| 久久久久久久久久91| 色激情五月天| 婷婷丁香五月高清| 九九99久久| 欧美熟女视频 色婷婷| 综合网啪| www.狠狠操.con| 天色色综合网| 深爱激情丁香| 欧美草久久五月天91| 久久久五月婷婷| 99热在线播放| 丁香五月六月| 一二三区视频韩国| 91丁香五月| 国产精品激情AV久久久青桔| 五月天婷婷综合网| 狠狠干在线视频| 五月丁香六月激情综合| 久久婷婷五月天丁香| 99热国产精品| 色综合色综合色综合| 久久久婷婷婷| 亚洲啪啪精品| 五月丁香婷婷综合| 婷婷综合精品| 狠色色狠网| 青青操avbb| 热99在线精品| 国产免费一区二区三州老师F1……| 粉嫩av蜜桃av蜜臀av| 激情六月婷| VA国产在线综合网站| 91色在线| 午夜在线成人网站免费观看| 六月丁香婷婷亚洲中文玖玖| 亚洲色综久久五月| 狠狠色婷| 无码免费人妻A片AAA毛片西瓜| 亚洲在线资源| 综合久久99| 婷婷五月噜噜| 色情五月天se| 性爱动图国产麻豆一区二区三区| 9热久久| seav天堂| 婷婷丁香六月| 日韩一级片| 久9久成人精品视频| 天天狠天天叉| 天天操,夜夜骑| 婷婷大美在线| 深爱五月综合网| 国产精品人妻欲求不满| 91互操| 婷婷六月色情| 狠狠爱丁香婷| 五月天激情四射| 激情婷婷综合| 亲子乱AV一区二区三区下载| 五月天丁香婷婷社区| av在线免费播放观看| 国产欧美精品AAAAAA片| 99ER热精品视频| 五月婷婷无码| 桃色五月天| 97干在线视频| 天天操综合网| 欧美性生交XXXXX无码小说| 天天做天天爽| 熟妇无码乱子成人精品| 五月综合色| 欧美成人精品A片免费一区99| 亚洲人妻av| 欧美操人| 99操碰| 在线日韩视频| 丁香六月激情综合| 被男人添B超爽视频| 亚洲妇女熟BBW| 熟女人妻一区二区三区免费看| 天天插天天插| 蜜乳av一级av| 久久99免费视频网站| 极品嫩草| 婷婷色情五月| 天天搡日日搡aaaaⅩ| 91人妻人人做人碰人人爽九色| 五月婷婷基地| 色爱99| 久久99久久99精品免观看软件| aaaa.黄| 五月天婷爱综合| 激情的五月婷婷蜜桃| 丁香六月婷婷激情| 婷婷色情小说| 婷婷丁香人妻久久在线观看| 天天操,夜夜骑| www.99视频| 激情五月天啪啪| 丁香五月色| 亚洲精品又粗又大又爽A片| 变态 另类 在线 | 日韩无码成人电影| 青青夜夜狠狠夜夜狠狠| 亚州视频九九99| 激情综合激情五月一起草| 2020日日干| 99这里都是精品6| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 九九精品丁香花| 原琪琪色影院| 婷婷五月深深的爱| 看国产探花操逼三级片| 婷婷涩涩五月天| 日韩成人综合网| 无码字幕中文| 99久久婷婷国产综合| 深爱激情九九五月天 | 成人Av在线大片| 久久婷婷五月天激情新地址| 婷婷丁香成人网址| 五月婷婷丁香五月| 日本色婷婷| 综合亚洲AV| 99高级会所久久| 五月婷婷六月丁香在线| 亚洲综合99| 久久久久久久,99精品视频| 久久五月丁香| a久久免费视频| 色九月婷婷| 丁香五月伊人| 91丨九色丨熟女高潮| 99热这里只有是亚洲国产| 99久在线精品99re8热| 丁香五月婷婷总啪啪| 色人久久| 久久A V无码视频| 天天日天天色| 成人在线视频男人的天堂4399| 五月天婷婷日日爱| 播五月丁香三月婷婷| 极品少妇高潮啪啪AV无码| 天堂爱啪啪| 丁香婷婷五月综合影院| 天天日夜夜拍| 99er热精品视频| 婷婷激情综合网| 国产激情综合五月久久| 92久久久| 欧美天天干五月丁香| 女同激情久久av久久| 91av色色乱视频| 99综合婷婷五月| 99爱爱| 大香蕉娱乐| 深爱五月天天| 五月天狠狠| 亭亭五月基地在线| 婷婷五月丁香综合人妻| 在线播放成人网站| 九久9精品| a久久| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 色99网站| 六月婷欧美| 操一操干一干| 激情四射亚洲| 天干天天干天天天天天| 婷婷俺去也| 色综合天堂| 日日日日日| 97久操| 新激情五月天色播| 香蕉久久国产AV一区二区| 久久99视频| WWW.婷婷五月天.COM| 亚洲狠狠婷婷| 久久久久人妻精品| 婷婷激情啪啪| 婷婷五月天激情诱惑| 久久婷婷五月综合色区| 久久五月天激情视频| 操91| 蜜臀av无码久久久久久久久| 99视频久久| 色五月天.con| 色五月婷婷久久| 99ri在线视频| 99九九久久| 天天爽在线视频| 丁香五月六月| 欧洲亚洲免费视频9| 婷婷五月天小说| 久久99最新| 国产成人精品一区二三区熟女在线| 激情播丁香| 久久久国产精品黄毛片| 伊人在线婷婷草| 玩熟女五十AV一二三区| 久久这里99| 国产高潮白浆一区二区| 涩涩涩五月天| 精品99视频| 色婷| 天天综合久久| 人妻体体内射精一区二区| 99久久婷婷五月天| 九月婷婷人人操人人舔人人爱| 99久久久| 激情久久久久久久久久| 337p大胆噜噜噜噜噜91Av| 五月天婷婷综合久久| 久久久97| 热的无码综合视频| 婷综合六月| 91久久色| 天天射影| 亚洲精品第一色色色色色色| 这里只有久久精99| 99玖玖在线视频| 99综合| 深爱激情网婷婷| 亞洲自怕| 久9久成人精品视频| 性韩日色婷婷五月天激情啪啪XXX| 四虎国产精品永久在线国在线| 激情五月婷婷中文字幕| 色婷婷综合影院| 26uuu精品一区二区| 久久性爱网站| 永久热91| 狠狠穞A片一區二區三區| 99re26视频| 久婷婷五月综合欧美| 丁香激情五月天| 久久这里有精品在线观看| 免费国产视频| 天堂无码人妻精品AV一区| 亚洲天码视频www蛋播视频| 日本一级特黄大片AAAAA级| 91chinese在线| 丁香婷婷婷五月| 99天堂网| 思思热99er| 丁香五月色| 精品久久66| 99小视频在线| 极品五月天| 久热这里只有精品6| 五月丁香激情六月| 亚洲欧美综合7777色婷婷| 亚洲超碰青涩| 99re8这里只有精品99re8热视频| 日韩操| 丁香五月激情宗合网| 丁香五月成人自拍| 性爱综合网| 狠狠的日| 婷婷五月欧美综合| 久久婷婷五月综合成人d啪| 又大又粗九一在线| 欧洲不卡视频| 综合五月丁香六月婷婷| bbwcuckold精品熟妇| 婷婷中文字幕在线| 嫩草AV久久伊人妇女超级A| 九九热在线视频| site:publishdd.com| 99热九九这里只有精品| 亚洲成人无码免费| 欧美性猛交99久久久久99按摩| 色呦呦美女| 中文字幕色色| 天天日夜夜夜操操操操| 国产激情综合五月久久| 无码A片一区二区免费| Av狠狠色丁香婷| 五月天婷婷基地| 六月色婷婷| 噜噜色com| 日韩久久这里只有精品| 激情五月激情综合俺也去婷婷小说| 黑人熟妇一区二区三区| 九97免费视频| 五月天天丁香婷婷| 国产成人精品亚洲线观看| 亚州操人在线视频| 黄色成人网站在线播放| 舔色婷婷| 欧美成人精品老美女噜噜噜| 天天日夜夜草进麻麻的子宫| 99热综合在线| 五月丁香大相交| av在线色五月丁香婷区久| 丁香女人五月天| 婷婷五月天久久久| 激情四射婷婷| 亚洲色图81p| 碰碰碰91| 涩玖玖免费视频| 色色9 9| 四LLL少妇BBBB槡BBBB| 亚洲色网址| 色色婷婷五月天| 久久久久久久97| 五月婷婷影院| 99日韩| 欧美99热| 亚洲男女激情| 丁香五月天啪啪| 婷婷香五月天| 丁香六月婷婷| 中文字幕永久免费| 黄色AV日韩| 婷婷午夜天| 天天日夜夜爽| 另类在线| .精品久久久麻豆国产精品| 天天爽天天| 丰满老熟妇BBBBB搡BBB| 无码人妻AV久久久一区二区三区| 禁欲电影完整版在线播放| 99国产精品久久久久久久久久久| 精品国产乱码久久久久夜深人妻| 国自产拍偷拍精品啪啪一区二区| 乱精品一区字幕二区| 在线成人va| 91女人18毛片水多国产| bukadeavzaixian| 骚五月婷婷| 无码人妻电影| 秋霞午夜理论| 丁香六月天婷婷色| 思思热国产| 色噜噜狠噜噜视频| 伊人激情综合网| 日韩啊啊啊| 欧美日本免费一道免费视频 | 操操熟女| 9久热在线视频精品| 亚洲综合在线伊人婷| 五月丁香六月婷婷不卡免费无码 | 久久久精品色| 夜色综合网| 国产亚洲在线观看| 麻豆AV一区二区三区| 五月天婷婷在线观看| 亚洲啪啪视频| 女人高潮内射99精品| 97碰碰久久| 99热插| 色五月xxx| 色丁香五月综合网| 麻豆雪千夏| 激情网五月天| 五月天丁香花婷婷| 色五月激情综合网| 久久精彩视频99| 另类小说五月天| 99热成人| 久久五月天丁香| 激情五月天色| 九九精品在线观看视频6| 亚洲无码播放| 香蕉97碰碰碰欧美| 综合色网站| 色五月激情五月丁香五月婷婷啪啪综合| 久久激情五月网| 超碰在线视屏| 蜜桃婷婷丁香综合久久开心亚洲| 久久综合影院| 五月天综合区| 国产免费一区二区三区三州老师F1F1.CC | 97福利视频| 婷婷色情五月| 天天色天天爱天天舔| 能看的AV| 少妇人妻丰满做爰XXX| 天堂网啪啪| 颜射 精品性爱av| 免费啪啪亚州视频| 狠狠五月婷婷| 色啪影院| 色播五月婷婷| 草草夜夜操| 69精品人人人人| 狠狠做深爱婷婷久久综合一区| 狠狠爱综合| 色色啊| 日本3级片一区2区| 少妇大叫太大太粗太爽了A片| 婷婷久久免费| 99r这里| 激情综合色| 激情綜合網址| 久久99色色| 丁香五月人妻| 亚洲精品视频电影| 99视频热| 女人高潮内射99精品| 超碰人人操在线| 婷婷五月天小说网| 欧美经典片免费观看大全| 久久婷婷五月综合激情国产| 婷婷丁香五月天狠狠| 成人片在线播放| 六月色播| 色婷婷丁香五月天在线观看| 国产婷婷婷| 五月激情婷婷开心五月| 五月婷婷中文字幕| 色情开心五月| 五月天婷婷在线播放免费| 无遮挡国产高潮视频免费观看| www.99色| 人妻激情综合| 久久99精品久久久久久三级| 欧美VA在线观看| 国产精品A成V人在线播放| 99热思思久| 日韩婷婷| 色色五月天网站| 色日本综合| www.com亚洲网站在线免费| 五月草视频| 99爱在线| 五月婷AV| 国产免费一区二区三州老师F1……| 管管補管管紱| 成 人片 黄 色 大 片| tingtingjiqingwuyue| 性综合网| 美女五月激情| 丁香九月激情| 日韩狠狠色婷婷| 色婷五月天| 怡红院院在线导航网| 丁香激情网| 狠色狠色狠色狠色狠色网| 国精产品一区一区三区免费视频| 99热这里只有精品13| 欧美性猛交XXXX乱大交极品| 亚洲开心激情网|