99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

微服務(wù)設(shè)計模式實戰(zhàn)指南:10個常用模式與避坑清單

微服務(wù)設(shè)計模式實戰(zhàn)指南:10個常用模式與避坑清單 做微服務(wù)這些年我最大的感受是拆服務(wù)從來不是項目的終點反而是麻煩的起點。單體應(yīng)用里一次方法調(diào)用就能搞定的事拆成微服務(wù)之后要面對網(wǎng)絡(luò)超時、數(shù)據(jù)一致性、動態(tài)擴縮容、配置同步、故障隔離這些單體時代幾乎不用操心的問題。所謂微服務(wù)設(shè)計模式說白了就是這套新問題上被反復(fù)驗證過的標準解法。這篇文章我把實際項目里最常用的10個模式挨個拆開講重點講清楚每個模式解決什么問題、落地時要注意哪些細節(jié)結(jié)尾附上速查表和避坑清單建議先收藏遇到具體場景再回來對照。1. 為什么微服務(wù)架構(gòu)必須聊設(shè)計模式1.1 微服務(wù)不是“拆完就完事”很多人對微服務(wù)的理解停留在“把一個龐大的工程拆成多個服務(wù)各自獨立部署、獨立擴展”這一步。這個理解沒錯但真的只算第一步。服務(wù)一旦拆開原本在一個進程里完成的事情現(xiàn)在變成了跨進程、跨網(wǎng)絡(luò)的協(xié)作出問題的點也成倍增加。舉一個很常見的場景單體應(yīng)用里用戶下單這個動作可能只是在一個進程里調(diào)用幾個方法數(shù)據(jù)庫事務(wù)可以保證扣庫存、減余額、生成訂單要么全部成功要么全部回滾。但拆成微服務(wù)以后訂單服務(wù)和庫存服務(wù)各自獨立部署一次下單請求要先調(diào)用訂單服務(wù)再調(diào)用庫存服務(wù)中間任何一個調(diào)用失敗或者網(wǎng)絡(luò)超時整個數(shù)據(jù)就可能對不上。類似的難題還有很多服務(wù)實例的地址會動態(tài)變化客戶端怎么始終找到正確的目標中間件地址改了難道要逐個重啟幾十個服務(wù)實例某個依賴服務(wù)變慢了怎么避免它拖垮整條調(diào)用鏈這些問題沒有一個能在單體時代直接找到答案。設(shè)計模式就是針對這類反復(fù)出現(xiàn)的協(xié)作問題給出經(jīng)過驗證的結(jié)構(gòu)化方案。1.2 三類核心問題四個解決維度我把微服務(wù)架構(gòu)下反復(fù)出現(xiàn)的問題歸納成三類服務(wù)之間怎么通信、怎么被找到這屬于位置透明問題數(shù)據(jù)在多個服務(wù)間怎么保持一致這屬于一致性問題故障怎么隔離、怎么恢復(fù)這屬于韌性容錯問題。再加上運維層面的配置管理基本就構(gòu)成了設(shè)計模式的主要覆蓋范圍。把這些維度想清楚再回頭看各種模式就不會覺得它們是零散的知識點。所謂的10個常用模式其實是圍繞這三類問題衍生出來的不同解法。理解了問題本身模式才真正有記憶點。1.3 10個模式的整體分類我按自己的習(xí)慣把這10個模式分成四組先搭一個整體框架后面逐個展開分組包含模式核心解決什么接入與位置透明API網(wǎng)關(guān)/聚合器、服務(wù)注冊與發(fā)現(xiàn)、配置中心客戶端怎么連、服務(wù)怎么被找到、配置怎么統(tǒng)一管容錯與自愈斷路器、限流與背壓、冪等與重試故障怎么隔離、流量怎么控制、重復(fù)請求怎么兜底數(shù)據(jù)與一致性獨立數(shù)據(jù)庫、Saga、CQRS數(shù)據(jù)歸屬、跨服務(wù)事務(wù)、讀寫壓力分離異步與解耦事件驅(qū)動模式服務(wù)間解耦、異步削峰、系統(tǒng)伸縮這個分類不是教科書標準是我自己在項目里應(yīng)用時的經(jīng)驗劃分。好處是遇到問題時能快速定位該翻哪個模式的答案。2. 接入與位置透明服務(wù)如何被找到2.1 聚合器/API網(wǎng)關(guān)模式統(tǒng)一入口別裸奔在完全不設(shè)網(wǎng)關(guān)的微服務(wù)架構(gòu)里客戶端要直接面對十幾個服務(wù)的幾十個實例地址端口、協(xié)議、路徑都不一樣。這種“裸奔”狀態(tài)會帶出三個問題客戶端要維護大量地址服務(wù)擴縮容時地址一變客戶端就跟著掛每個服務(wù)都要自己實現(xiàn)鑒權(quán)、限流、日志重復(fù)勞動還容易漏遇到一個頁面需要聚合多個服務(wù)數(shù)據(jù)的情況客戶端要并發(fā)去調(diào)多個接口再手動組裝網(wǎng)絡(luò)開銷大邏輯還不好維護。聚合器模式的核心思想是把這些問題收口到一層。客戶端只跟一個或少數(shù)幾個入口打交道由網(wǎng)關(guān)層負責路由、鑒權(quán)、限流、協(xié)議轉(zhuǎn)換必要的時候把多個底層服務(wù)的響應(yīng)聚合起來一次性返回。聚合器這個名字起得很形象——它把多個小結(jié)果“聚合”成一個完整響應(yīng)。我在落地聚合器時最看重三個能力。第一是路由按路徑前綴或Header把請求轉(zhuǎn)發(fā)到對應(yīng)服務(wù)第二是聚合網(wǎng)關(guān)層并發(fā)調(diào)用多個服務(wù)再合并響應(yīng)比如詳情頁需要用戶信息加訂單信息客戶端只調(diào)一次網(wǎng)關(guān)接口就夠了第三是橫切關(guān)注點統(tǒng)一鑒權(quán)、統(tǒng)一日志、統(tǒng)一異常包裝這些邏輯放在每個業(yè)務(wù)服務(wù)里很啰嗦放網(wǎng)關(guān)層一次搞定。這里有一條很重要的邊界網(wǎng)關(guān)不能變成新的巨無霸。我見過有項目把業(yè)務(wù)聚合邏輯全塞進網(wǎng)關(guān)最后網(wǎng)關(guān)自己成了沒人敢動的大泥球。正確的做法是網(wǎng)關(guān)只做輕量路由和通用橫切邏輯復(fù)雜的業(yè)務(wù)聚合放到BFF層或者專門的聚合服務(wù)里讓每層保持單一職責。2.2 服務(wù)注冊與發(fā)現(xiàn)模式動態(tài)感知服務(wù)變化微服務(wù)實例是動態(tài)的擴容、縮容、故障重啟每時每刻都在發(fā)生。如果客戶端還用寫死的IP去調(diào)用擴容出來的新實例永遠接不到流量掛掉的實例還會被持續(xù)調(diào)用直到超時才被發(fā)現(xiàn)。服務(wù)注冊與發(fā)現(xiàn)模式解決的就是這個問題。它的機制不復(fù)雜所有服務(wù)啟動時把自己的地址注冊到注冊中心運行期間持續(xù)發(fā)送心跳?;羁蛻舳苏{(diào)用某個服務(wù)時并不直接指定地址而是先從注冊中心拿到一份健康的實例列表再按負載均衡策略選中其中一個發(fā)起調(diào)用。常見的注冊中心有Consul、Nacos這類產(chǎn)品它們之間的差異主要體現(xiàn)在一致性模型和健康檢查機制上。這個模式落地時有兩個容易被忽視的坑。第一個是“發(fā)現(xiàn)延遲”新注冊的實例不會立刻被所有客戶端感知所以發(fā)布上線時最好預(yù)留一段預(yù)熱期別一注冊就把流量猛打過去否則容易把剛啟動還在加載緩存的實例壓垮。第二個坑是注冊中心自身的可用性很多注冊中心都設(shè)計了自我保護機制寧可短暫返回舊的實例列表也不要因為注冊中心抖動讓全鏈路癱瘓。我早期把注冊中心當成普通數(shù)據(jù)庫來調(diào)把超時時間設(shè)得特別短結(jié)果注冊中心一抖動整個集群跟著抖后來才明白“盡力可用”要優(yōu)先于“絕對一致”。2.3 配置中心模式配置與代碼解耦配置中心在微服務(wù)體系里的地位經(jīng)常被低估。有人覺得它無非是把配置文件搬到遠程存儲為什么要單獨作為一個設(shè)計模式來講因為配置變更在微服務(wù)里的代價遠高于單體架構(gòu)。單體應(yīng)用改配置重啟一次就完事微服務(wù)可能幾十個實例要改一個數(shù)據(jù)庫連接地址逐個重啟既慢又容易出錯。配置中心的核心價值有三點集中管理、動態(tài)發(fā)布、版本可追溯。集中管理是指所有服務(wù)的配置統(tǒng)一存放方便查看和審計動態(tài)發(fā)布是指配置變更后能實時推送到各服務(wù)實例不用重啟版本可追溯是指每次變更都有記錄出問題能快速回滾到上一個穩(wěn)定版本。我選型和落地配置中心時踩過幾次坑總結(jié)出兩個心得。第一配置必須區(qū)分“啟動時只讀”和“運行時可變”兩類。像數(shù)據(jù)庫連接池大小、限流閾值這類參數(shù)可以運行時調(diào)整服務(wù)端口、網(wǎng)絡(luò)超時這類參數(shù)就不能熱更新設(shè)計配置分組時要按這個維度劃分否則會誤以為所有配置都能動態(tài)變更。第二配置中心本身掛了服務(wù)不能跟著下線。本地必須保留配置緩存的兜底方案啟動時如果遠程配置拉不到就使用本地上次生效的配置并告警讓服務(wù)先活著而不是直接啟動失敗。3. 容錯與自愈系統(tǒng)如何扛住故障3.1 斷路器模式失敗快返回別傻等微服務(wù)拆細之后一個請求往往會經(jīng)過多個服務(wù)。只要中間某一個服務(wù)變慢或者不可用依賴它的請求就會一直阻塞等待線程資源被越占越多最終可能導(dǎo)致整條調(diào)用鏈的線程池耗盡這就是典型的故障雪崩。斷路器模式的思路和家里電路里的空氣開關(guān)如出一轍當連續(xù)失敗次數(shù)達到閾值就主動“跳閘”后續(xù)請求快速失敗返回不再實際調(diào)用下游服務(wù)經(jīng)過一段冷卻時間后放少量請求過去試探如果成功就慢慢合閘恢復(fù)如果失敗就繼續(xù)保持打開狀態(tài)。斷路器有三個關(guān)鍵狀態(tài)關(guān)閉、打開、半開。關(guān)閉狀態(tài)下請求正常轉(zhuǎn)發(fā)失敗率達到閾值就切換到打開打開狀態(tài)直接返回降級結(jié)果或者快速拋異常半開狀態(tài)放少量流量試探依據(jù)成功率決定是回到關(guān)閉還是重新打開。我給關(guān)鍵鏈路配斷路器時有一個重要感受參數(shù)不能照抄模板。熔斷閾值、超時時間、冷卻時間都要結(jié)合接口真實的SLO來定。比如一個接口正常P99是200毫秒超時時間可以設(shè)在300到500毫秒之間如果接口平時失敗率很低閾值可以設(shè)在5%到10%。還要注意一點超時時間別設(shè)太長否則即使熔斷了請求在等待超時的過程中依然會積壓線程資源熔斷效果會大打折扣。另外我發(fā)現(xiàn)很多人對斷路器有一個誤解以為它只對拋異常和超時生效。其實“慢而不掛”的接口同樣會拖垮系統(tǒng)所以實現(xiàn)時一定要把慢調(diào)用也計入失敗次數(shù)否則一個性能逐漸變差的接口還是會在不知不覺中把依賴方全部拖死。3.2 限流與背壓模式流量大時先保命限流是保護系統(tǒng)免于過載的最后一道防線。它的核心邏輯是控制進入系統(tǒng)的請求速率超過閾值的請求要么排隊、要么拒絕、要么降級響應(yīng)。限流和斷路器定位不同斷路器是下游已經(jīng)出問題才觸發(fā)保護限流是上游流量本身就超出系統(tǒng)處理能力時的主動防御。常見的限流算法有固定窗口、滑動窗口、令牌桶、漏桶四種。固定窗口實現(xiàn)最簡單但窗口邊界容易出現(xiàn)雙倍突發(fā)流量滑動窗口對突發(fā)更平滑令牌桶允許一定量的突發(fā)流量適合大部分業(yè)務(wù)接口漏桶則強制平滑輸出速率適合下游能力特別固定的場景。選型時不用盲目追求復(fù)雜大部分業(yè)務(wù)用令牌桶就夠真正需要嚴格削峰平滑的再考慮漏桶思路。限流的落地位置也很講究。我一般的做法是網(wǎng)關(guān)層做全局粗粒度的限流比如整個系統(tǒng)入口QPS上限核心服務(wù)內(nèi)部再做細粒度的接口級、用戶級限流。比如系統(tǒng)總?cè)肟谌萘渴?萬QPS但某個下單接口的真實瓶頸可能只有2000這種粒度差異只有放到服務(wù)內(nèi)部才能精細化控制單靠網(wǎng)關(guān)一刀切很容易誤傷。背壓這個概念經(jīng)常和限流一起出現(xiàn)。它原本是反應(yīng)式編程里的術(shù)語意思是當下游處理不過來時把壓力反向傳導(dǎo)給上游讓上游主動降低流速。落到實際場景里最典型的就是消息隊列消費者處理速度跟不上生產(chǎn)速度時與其讓消息無限積壓不如監(jiān)控積壓量觸發(fā)消費者擴容或者丟棄非關(guān)鍵消息。很多團隊只配了入口限流卻沒管消息積壓最后消息越堆越多重啟后補消費又引發(fā)第二輪高峰這種連鎖反應(yīng)在小團隊里尤其常見。3.3 冪等與重試模式重復(fù)請求也要穩(wěn)網(wǎng)絡(luò)請求在分布式環(huán)境里一定會發(fā)生重試??蛻舳顺瑫r會重發(fā)網(wǎng)關(guān)的重試機制會重發(fā)消息隊列的消費確認也可能導(dǎo)致同一條消息被處理兩次。如果服務(wù)端不做冪等處理一個訂單可能被創(chuàng)建兩次、一筆扣款可能被扣兩次。冪等設(shè)計模式解決的就是“同一個請求執(zhí)行多次和執(zhí)行一次效果完全相同”這個問題。簡單可靠的落地方式是用冪等表每次請求攜帶一個全局唯一的業(yè)務(wù)ID服務(wù)端先查冪等表如果存在就直接返回第一次處理的結(jié)果不存在就插入記錄并執(zhí)行真正的業(yè)務(wù)邏輯。這里的關(guān)鍵在“插入”環(huán)節(jié)一定要給業(yè)務(wù)ID建立唯一索引依靠數(shù)據(jù)庫約束來攔截并發(fā)場景下的重復(fù)插入。我在這上面踩過很深的坑。當時只做了Redis里的冪等校驗沒有加數(shù)據(jù)庫唯一約束結(jié)果兩個并發(fā)請求同時通過了Redis校驗雙雙走到數(shù)據(jù)庫插入重復(fù)數(shù)據(jù)照樣進了庫。后來改成Redis預(yù)校驗加數(shù)據(jù)庫唯一索引雙重保障問題才徹底堵住。所以我的經(jīng)驗是Redis可以做流量入口的快速攔截但最終兜底必須落在數(shù)據(jù)庫約束上這是唯一不會因為緩存過期而失效的防線。重試同樣有講究不是所有請求都適合自動重試。寫操作一定要在有冪等保障的前提下才能重試否則重試就是放大錯誤的放大器。另外重試必須配合退避策略比如指數(shù)退避加隨機抖動否則容易出現(xiàn)重試風暴。我見過一個真實事故調(diào)用方對超時請求1秒后重試下游服務(wù)本身已經(jīng)變慢結(jié)果所有調(diào)用方幾乎同時發(fā)起重試下游直接被第二輪流量壓垮最后不得不緊急上熔斷才穩(wěn)住局面。4. 數(shù)據(jù)與一致性狀態(tài)如何不飄4.1 獨立數(shù)據(jù)庫模式服務(wù)自治的底線微服務(wù)架構(gòu)里有一條基本原則每個服務(wù)擁有自己的數(shù)據(jù)存儲其他服務(wù)不能直接訪問自己的表。這個模式通常叫“Database per Service”中文常譯為獨立數(shù)據(jù)庫模式。它保證了服務(wù)之間的數(shù)據(jù)邊界讓每個服務(wù)可以獨立選型存儲、獨立擴展表結(jié)構(gòu)的變化也只會影響自己不會拉著別的服務(wù)一起改。獨立數(shù)據(jù)庫模式帶來的最大收益是解耦。如果兩個服務(wù)共享同一個庫改表結(jié)構(gòu)就要多方協(xié)調(diào)慢查詢也會互相干擾一個服務(wù)的大查詢就可能把另一個服務(wù)的數(shù)據(jù)庫資源拖垮。各自獨立之后這些風險從物理層面就被隔離了。但這個模式也有明顯的代價。最大的代價是跨服務(wù)的復(fù)雜查詢變難原來一條SQL JOIN就能完成的事情現(xiàn)在要從多個服務(wù)分別取數(shù)再在內(nèi)存里拼裝結(jié)果。這也是為什么很多團隊在實際操作中對一些強關(guān)聯(lián)的數(shù)據(jù)仍然選擇同庫分Schema的方式臨時過渡。我的個人觀點是核心業(yè)務(wù)域盡量做到獨立庫邊界上特別緊密的關(guān)聯(lián)關(guān)系可以先同庫分表等業(yè)務(wù)穩(wěn)定后再逐步拆出去。架構(gòu)演進本來就是分階段推進的一步到位反而容易出大問題。4.2 Saga分布式事務(wù)放棄強一致?lián)肀ё罱K一致分布式環(huán)境下沒有真正意義上的全局事務(wù)傳統(tǒng)數(shù)據(jù)庫的ACID屬性無法跨服務(wù)保證。Saga模式是分布式事務(wù)領(lǐng)域最務(wù)實的解決方案它的核心思想是把一個跨服務(wù)的大事務(wù)拆成一系列本地事務(wù)每個本地事務(wù)都配有對應(yīng)的補償操作。當鏈路中某一環(huán)失敗時就把前面已經(jīng)執(zhí)行成功的本地事務(wù)逐一執(zhí)行補償把數(shù)據(jù)恢復(fù)到初始狀態(tài)。Saga的實現(xiàn)方式主要分兩類編排式和協(xié)同式。編排式有一個中心協(xié)調(diào)者它負責告訴各個服務(wù)接下來該執(zhí)行什么操作失敗時按順序觸發(fā)補償協(xié)同式?jīng)]有中心協(xié)調(diào)者靠事件在各服務(wù)間自發(fā)傳遞完成業(yè)務(wù)串聯(lián)。兩種方式各有適用場景編排式更適合流程步驟清晰、需要強控制的業(yè)務(wù)協(xié)同式更適合服務(wù)間本來就依賴事件通信的架構(gòu)。Saga有一個必須接受的現(xiàn)實它只保證最終一致性不保證中間狀態(tài)的實時一致。比如下單流程創(chuàng)建訂單、扣庫存、扣余額三個步驟之間一定有短暫的時間窗口用戶可能看到訂單已創(chuàng)建但庫存還沒扣完。關(guān)鍵在于把這種中間狀態(tài)設(shè)計成可解釋、可恢復(fù)的而不是要求每個瞬間都強一致。這一步想不通Saga就推不下去。我推進Saga落地時踩過最大的坑是補償操作自身的冪等性。補償動作本身也可能因為網(wǎng)絡(luò)原因執(zhí)行兩次比如扣庫存的補償如果重復(fù)執(zhí)行庫存就被多加了一次。所以在設(shè)計補償操作時同樣要引入業(yè)務(wù)唯一號和去重機制否則補償反而成了新的數(shù)據(jù)破壞者。4.3 CQRS讀寫分離讀多寫多分開扛很多業(yè)務(wù)場景里讀操作和寫操作的頻率、數(shù)據(jù)模型、性能要求完全不同。拿訂單系統(tǒng)來說寫操作關(guān)心的是訂單狀態(tài)如何變更讀操作關(guān)心的是多條件組合查詢、列表篩選、匯總統(tǒng)計。如果都塞在同一套數(shù)據(jù)模型和服務(wù)接口里兩邊會互相拖累。CQRS命令查詢職責分離模式的核心就是把寫操作和讀操作分開建模、分開擴展。最輕量的CQRS實現(xiàn)是邏輯分離同一個服務(wù)里拆出兩套接口模型寫接口用Command語義讀接口用Query語義底層還是同一個數(shù)據(jù)庫。這種方案改動小適合想先引入CQRS思路試水的團隊。稍重一點的是物理分離寫服務(wù)擁有自己的業(yè)務(wù)庫讀服務(wù)維護一份從寫庫同步過來的投影數(shù)據(jù)讀操作直接查投影庫不再觸碰業(yè)務(wù)主庫讀壓力被徹底剝離。CQRS最常用的搭配是事件驅(qū)動。寫服務(wù)產(chǎn)生業(yè)務(wù)事件讀服務(wù)訂閱事件并更新自己的投影庫讀寫庫之間的同步是異步的。好處是讀操作完全不被寫操作阻塞壞處是數(shù)據(jù)存在延遲做不到強一致。所以CQRS適合的是讀多寫少、查詢條件復(fù)雜、讀模型和寫模型差異大的場景典型的是報表系統(tǒng)、搜索系統(tǒng)、訂單列表這類業(yè)務(wù)。如果是強實時一致性要求極高的簡單CRUD硬上CQRS只會徒增復(fù)雜度完全沒有必要。5. 異步與基礎(chǔ)設(shè)施流量如何流動5.1 事件驅(qū)動與異步消息模式解耦的終極武器事件驅(qū)動是微服務(wù)架構(gòu)里影響最深遠的模式之一。它的核心是服務(wù)之間不直接調(diào)用而是通過消息中間件傳遞事件。生產(chǎn)者只管發(fā)布事件消費者按需訂閱雙方不需要知道彼此的存在。這種設(shè)計對系統(tǒng)結(jié)構(gòu)的改變是根本性的。事件驅(qū)動帶來的好處非常直接。第一是解耦發(fā)送方不需要關(guān)心誰在處理自己發(fā)出去的事件新增一個下游服務(wù)完全不用改動上游代碼。第二是削峰填谷瞬時的大流量可以先涌進消息隊列消費者按自己能夠承受的節(jié)奏消費系統(tǒng)天然具備緩沖能力。第三是擴展性每個消費者可以獨立擴縮容處理速度跟不上就多開幾個實例不會影響其他服務(wù)。但事件驅(qū)動的代價也不小最大的代價是調(diào)用鏈變得不直觀。原來一個請求從A到B到C鏈路清晰現(xiàn)在變成了A發(fā)事件、B和C各自消費排查問題時很難直接從日志里串出完整鏈路。我過去在項目里遇到過一個很隱蔽的問題訂單創(chuàng)建后庫存服務(wù)偶爾扣不到庫存查了很久才發(fā)現(xiàn)是消費者消費消息時因為反序列化失敗不斷重試而重試消息又被路由到了錯誤的隊列。這類問題在同步調(diào)用時代幾乎不會出現(xiàn)。落地事件驅(qū)動至少要配套三樣基礎(chǔ)設(shè)施消息中間件、消息追蹤、死信隊列。消息追蹤給每個事件帶上全局鏈路ID方便把分散在各服務(wù)里的日志串起來死信隊列專門兜底所有消費失敗的消息避免消息悄無聲息地丟失。沒有這三樣配套事件驅(qū)動基本等于給自己埋雷。5.2 邊車模式把橫切能力下沉到基礎(chǔ)設(shè)施邊車模式在近幾年的服務(wù)網(wǎng)格實踐中越來越常見。它的思路是把日志、監(jiān)控、限流、鑒權(quán)這類橫切能力從業(yè)務(wù)進程里抽出來放到一個獨立進程里部署時和業(yè)務(wù)服務(wù)放在同一個Pod或同一臺機器上。這個獨立進程就像摩托車旁邊的邊車業(yè)務(wù)服務(wù)是主車通用能力由邊車來承擔。邊車模式最大的價值是讓業(yè)務(wù)團隊不再重復(fù)實現(xiàn)中間件能力。以前每個服務(wù)都要集成統(tǒng)一的監(jiān)控SDK、限流SDK升級一次SDK所有服務(wù)都要跟著發(fā)版。引入邊車之后這類能力統(tǒng)一由基礎(chǔ)設(shè)施團隊維護業(yè)務(wù)服務(wù)只需要保持簡單的通信協(xié)議即可。當然邊車也不是免費的。每個實例多一個進程資源開銷翻倍排障時也多了進程間的網(wǎng)絡(luò)交互。所以邊車模式更適合中大規(guī)模、服務(wù)數(shù)量多、團隊分工明確的組織小團隊幾十個服務(wù)規(guī)模硬上服務(wù)網(wǎng)格運維成本反而會超過收益。我的建議是先保持輕量SDK方案等服務(wù)數(shù)量增長到SDK升級真的成為痛點時再考慮邊車化。5.3 模式組合實戰(zhàn)一個下單業(yè)務(wù)用上五六個模式很多人單獨理解每個模式都覺得簡單但實際架構(gòu)里它們從來不是孤立使用的搭配組合才是常態(tài)。我用一個下單業(yè)務(wù)的例子串一遍你會看到模式是怎么協(xié)同工作的。用戶點擊下單請求先打到API網(wǎng)關(guān)網(wǎng)關(guān)完成鑒權(quán)和限流判斷請求是否超過整體閾值繼續(xù)把請求路由到訂單服務(wù)訂單服務(wù)先查注冊中心拿到庫存服務(wù)實例列表再發(fā)起遠程調(diào)用此時庫存服務(wù)如果已經(jīng)過載斷路器感知到連續(xù)失敗就會快速返回降級結(jié)果而不是讓調(diào)用方長時間等待為了防止網(wǎng)絡(luò)重試導(dǎo)致重復(fù)扣減下單接口用冪等表做去重訂單創(chuàng)建成功后通過消息中間件把訂單事件廣播給下游的積分服務(wù)和通知服務(wù)它們各自消費事件異步完成自己的業(yè)務(wù)整個過程涉及訂單庫和庫存庫跨服務(wù)的數(shù)據(jù)一致性則交給Saga模式編排補償。這個流程里網(wǎng)關(guān)、注冊發(fā)現(xiàn)、斷路器、冪等、事件驅(qū)動、Saga六個模式協(xié)同生效少任何一個環(huán)節(jié)系統(tǒng)的穩(wěn)定性都會打折扣。6. 模式速查表與避坑實錄6.1 10個模式速查表把前面講的10個模式整理成速查表方便查閱也方便在團隊評審架構(gòu)時快速對齊語言。模式一句話定位最常用落地形態(tài)最大坑點API網(wǎng)關(guān)/聚合器統(tǒng)一入口收口橫切邏輯網(wǎng)關(guān) BFF層邏輯堆砌網(wǎng)關(guān)變巨無霸服務(wù)注冊與發(fā)現(xiàn)動態(tài)感知實例變化注冊中心 客戶端負載均衡發(fā)現(xiàn)延遲、注冊中心抖動配置中心配置集中管理、動態(tài)發(fā)布遠程配置 本地緩存兜底配置中心掛導(dǎo)致服務(wù)掛斷路器失敗快返回防雪崩熔斷器中間件參數(shù)照抄模板慢調(diào)用沒統(tǒng)計限流與背壓控制入口流量保命優(yōu)先網(wǎng)關(guān)粗限流 服務(wù)細限流只限入口不管消息積壓冪等與重試重復(fù)請求不產(chǎn)生重復(fù)數(shù)據(jù)冪等表 唯一索引只用緩存校驗沒加數(shù)據(jù)庫約束獨立數(shù)據(jù)庫數(shù)據(jù)自治服務(wù)邊界清晰每服務(wù)獨立存儲跨服務(wù)查詢困難Saga跨服務(wù)事務(wù)的最終一致方案編排式/協(xié)同式補償補償操作本身沒有冪等CQRS讀寫分離按能力擴展投影庫 事件同步延遲導(dǎo)致實時一致性下降事件驅(qū)動服務(wù)間異步解耦、削峰消息隊列 死信隊列鏈路不可見消息丟失6.2 我踩過的三個坑第一個坑是網(wǎng)關(guān)配置了全局重試。當時為了提升接口成功率在網(wǎng)關(guān)層對所有請求開了自動重試結(jié)果下游某個服務(wù)因為一個隱藏的內(nèi)存問題頻繁返回錯誤重試流量把問題放大了好幾倍直到下游徹底被打掛才反應(yīng)過來?,F(xiàn)在的原則是網(wǎng)關(guān)層默認不重試只有接口冪等且失敗原因明確是超時的情況下才考慮重試而且重試次數(shù)最多一次。第二個坑是配置中心沒有做變更預(yù)覽。有一次運維手滑把一個服務(wù)的緩存開關(guān)配置改錯了配置中心立刻推送到所有實例服務(wù)行為瞬間變化等發(fā)現(xiàn)問題時線上已經(jīng)跑了一個多小時。后來我們在配置中心前加了一道發(fā)布審核和灰度發(fā)布機制重要配置走審批流并且支持按實例灰度推送先放一臺機器驗證再全量推送。第三個坑是Saga補償動作漏了日志。補償操作大多是低頻執(zhí)行平時根本走不到結(jié)果有一次真的觸發(fā)補償時才發(fā)現(xiàn)日志不夠詳細根本定位不了補償?shù)侥囊徊绞×恕:髞砦乙笏醒a償操作必須有獨立日志文件和完整的鏈路ID關(guān)鍵字段要打全。低頻操作反而更需要高質(zhì)量日志因為調(diào)試機會太少。6.3 選型原則按場景匹配不按流行度最后一個建議選型要跟著場景走不要跟著流行度走??吹絼e人在用服務(wù)網(wǎng)格就跟著上看到某篇文章推CQRS就覺得自己系統(tǒng)也該拆讀寫這是很多架構(gòu)問題的根源。你得先問自己的系統(tǒng)疼在哪里。調(diào)用鏈經(jīng)常超時先看斷路器和超時配置數(shù)據(jù)經(jīng)常對不上先看冪等和事務(wù)邊界告警總是半夜響先看限流和監(jiān)控。我在實際項目里還有一個體會模式是分階段引入的。早期服務(wù)數(shù)量不多重點是網(wǎng)關(guān)、注冊發(fā)現(xiàn)、配置中心這三板斧服務(wù)間交互變多后開始上斷路器、冪等、重試這些容錯手段等高并發(fā)場景出現(xiàn)了再逐步引入限流、消息隊列和CQRS。一上來就把所有模式堆滿只會讓排查問題的成本翻倍出問題時反而不知道是哪個環(huán)節(jié)的鍋。微服務(wù)沒有銀彈設(shè)計模式也不存在“用了就穩(wěn)”的魔法。它們的價值在于給你一套預(yù)先驗證過的思路讓你在遇到具體問題時不必從零開始摸索。上面這些坑我都是真金白銀交過學(xué)費的希望你能少走幾步彎路。如果這篇文章里的某個模式正好切中你最近在糾結(jié)的問題不妨把速查表那部分截下來落地的時候?qū)χ鴮φ找槐榇蟾怕誓軒湍惚荛_我當年踩過的那幾個坎。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久激情视频| 99九九热视频| 婷婷五月电影| 天天爽天天摸人妻综合网| 九月婷婷色色| 色婷婷啪啪| 丁香五月婷婷啪啪啪| 亚洲丁香五月美女| 青青草性爱视频| 五月丁香本色在线观看| 成人精品一区日本无码网| 亚洲激情.com| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月玖玖| 欧美超碰人人| www.韩日视频| 欧美情色电影一区二区| www.久久| 色婷婷五月天| 影音先锋女人AA鲁色资源| 色五月天在线观看| 99视频网| 五月丁香六月婷婷综合网站| 婷婷丁香色情| 五月天婷婷爱| 五月婷婷中文| 人妻无码精品一区| 99色精品| 超碰人人干| 久久九九经典| 五月六月伦理| 激情五月天小说| 婷婷色五月亚洲| 玖玖爱资源站| 亚洲AV综合在线观看| 1024AV视频| 婷婷五月花| 五月天婷婷操逼视频| 天天色官网| 婷婷偷拍网| 欧美性爱日韩性爱| 成人五月天丁香| 五月亭亭欧美女人| 五月丁香啪综合| 综合精品啪啪| 任你擦免费视频| 日本黄色精品| 天天搞夜夜爽夜夜爽| www.激情com| 99人人爽| www,超碰| 亭亭五月丁香综合欧美| 66久久视频在线| 五月天色婷婷激情综合| 夜夜噜夜夜奇| 五月丁香啪啪伦理电影| 色婷五月天| 九九热精品| 久久六月综合| 五月丁香久久综合| 免费视频在线观看的网站| 一级黄色影片| 九九色video| 91人妻九色大屁股| 99在线资源| 丁香激情网| 丁香六月婷婷综合| 激情网五月婷婷| 蜜乳国产网站| 色色色婷婷五月天| 爆乳熟妇一区二区三区四区| 超碰人人99| 色情五月天。| 婷婷六月久久| 翔田千里 50岁 无码| 色五月成人| 婷婷金品综合视频| 久婷狼色诱惑在线| 成人婷99最新| 婷婷欧美激情| 激情综合网五月婷婷| 久久久人妻| 国产又粗又大又爽又黄| www.久久9| 九九热99免费视频| 丁香激情婷婷网| 五月伊人婷婷| 天天插天天射| 亚洲激情综| 五月色视频| 五月丁香色婷婷熟女| 激情五月色播五月| 图片区 小说区 区 亚洲五月| 7777国产盗摄农村女人| 玖玖婷婷五月天| 伊人超碰| 婷婷六月丁香五月| 蜜桃婷婷狠狠久久综合| 色婷婷五月天成人网| 九九热这里只有精品在线观看| 婷婷五月丁香欧洲| 六月丁香开心婷婷欧美| 色宗合,宗合网| 思思热久久爱| 婷婷综合久久| 九九精品热| 三十路磁力链接| 国产毛片精品一区二区色欲黄A片| 婷婷激情图片| 丁香婷婷性爱| 99在线免费观看| 五月婷在线| 丁香五月天.com| 热的国产,热的综合,热的有码| 怡红院一二三| 99热国产在线| 激情影院免费视频婷婷五月天 | 情趣视频66| 9久精品| 婷婷的五月天另类视频| 久久杏爱视频| 婷婷色在线| 久久久27操| 精品综合久久久久久五月天| 91五月天| 色五月丁香六月资源站| 激情五月综合| 99免费综合网| 99久久极情精品一区| 9色天堂| 日本婷婷丁香五月| 色婷婷亚洲婷婷| 五月婷婷|欧美| 色色色.COM| 国产精品久久久爽爽爽麻豆色哟哟 | 丁香九月婷| 久久婷婷五月综合伊人| 久久婷婷青青| 亚洲五月花| 国产偷人爽久久久久久老妇APP| 中文字幕不卡+婷婷五月| 激情五月婷婷开心网| 欧美肉大捧一进一出免费视频| 99噜噜| 五月久久婷婷成人网| 丁香色婷婷色手机免费在线| 99色在线观看| 青青操成人福利| 狠狠狠狠狠操| 色五月色五天色情网址| 色婷婷激情| 九色综合五月天婷五月| 丁香五月激情啪啪| 亚洲久久日| 激情综合五月婷婷六月丁香| 91日韩美女被插视频| 欧美婷婷五月丁香| 99热狠狠操| 色婷婷小说网| 久久久99久久| 大香蕉久| 国产乱妇乱子伦| 狠狠色中色| 五月花丁香婷婷| 亚洲中文AV| 五月婷婷福利| www.91九色| 欧美天堂久久| 天天舔天天摸天天射| 99国产精品久久久久久久久久久| 五月天婷婷丁香视频| 大地资源色婷婷视频在线| 亚洲精99| 成人视频免费观看高清完整版在线观看| 婷婷激情5月| 免费观看欧美成人AA片爱我多深| 天天色宗合| 四色五月视频| 538在线精品| 婷婷色系婷色| 色婷婷影| 香蕉久久国产AV一区二区| 综合五月激情网| 91干99| 五月婷婷亚洲色视频| 婷婷月综合| 色色色综合网| 国产精品色婷婷AV综合色色| 天天操夜夜爽天天操| 五月婷婷综合网| 美女激情婷婷| 成人av中文字幕| 99熟女| 丁香五月激情无码视频| 五月婷婷色影院| 色婷婷五月天| 午夜天堂啪啪| 开心激情网在线| 婷婷综合五月天| 色五月激情五月| 五月激情六月宗合| 天天做天天干天天综合网| 岛囯综合激情网| 五月天婷婷操逼视频| 激情婷婷内射| 三级黄网站| 九九99九九精品免费| 婷婷五月天伊人网| 丁香六月婷婷综合麻豆| 婷婷五月丁香久久| 五月婷婷精品| 香港九九六区八区99| 五月丁香婷婷爱| 18av天堂| 变态另类9| 精品热青草| 大香蕉五月天婷婷| 99视频在线| 国产夫妻操逼内射视频| a在线观看| 婷婷5月久久综合网站| 成人五月天丁香婷| 亚洲视频99| 丁香五月天信号| 大香伊人婷婷影院| 任你搞免费视频观看| 色综合伊人网| 天天色综网| 色导航色婷婷五月天在线观看| 久热这里这里有精品| 久久婷婷激情四射五月天| 免费做A爰片77777| 强壮公让我夜夜高潮A片视频| www.色五月| 丁香五月欧美色综合| 99精品久久| 99在线视频女女视频| 大地9中文在线观看免费高清| 91人人操人人爱| 这里只有精品免费视频在线观看| 激情亚洲色图片丁香综合| 91久久99久久91熟女精品| 日本欧特黄色刺激一区影视久精品无码| 欧美顶级少妇做爰HD| 成片免费播放| 99热综合| 六月丁香网| 丁香六月婷婷综合激情欧美| 久久久18| 九九色影院| 亚洲综合五月| 伊人无码高清| 教师性爱毛片| 日韩啪啪自拍| 激情五月综合久久| 成人丁香五月| 五月久久噜噜| 久久精品66| 日韩六十路91性交电影| 五月丁香AV在线| 五月天电影网| 99热这里只有精品在线观看| www..999热久| 99色| 五月丁香婷婷伊人日韩| 色色色天堂网| 九月丁香亭亭| 精品国产人人爱人人| 无码四色色色| 激情婷婷丁香色五月| 美女主播野战视步页| 婷婷五日b| 99色热视频| 久久久99精品| 色欲久久久久久综合网综合网| 超碰人人干| 日本欧美国产| 在线18av | 五月激情四射网站| 一级性感黄色内射视频| 午夜九九电影| XX久久| 久久狠狠干| 99网| 丁香五月综合激情性爱| 婷婷色色狠狠| 五月婷婷在线免费观看| 五月丁香啪啪网| 99在线精品免费视频| 碰99在线| 99爱爱| 五月色婷婷影视在线电影| 天天操夜夜夜拍拍拍| 精品怡红九九九| 婷婷五月天开心网| 国产99热| 丁香久月婷| 色色综合成人网| 丁香六月毛片| 99亚州综合精品成人网| 色综合99色| 91黄址| 成人五月天在线视频在线观看| 狠狠色综合五月| 色五月激情综合| 99re在线播放| 久久人人九九| 婷婷五月天综合在线| 久久ab| 免费色婷婷| 婷婷五月天久久| 色婷五月丁香久亚洲| 久久999久久999久久999久久| 青青草成人网| 91碰超| 99热精品9| 欧美婷婷| 桃色激情五月天| 玖玖九九99| 色色丁香婷婷| 婷婷天堂视频| 99视频只有精品| 99这里只有精品| 婷婷五月丁香欧洲| 激情综合色播| 97午夜一区二区| 丁香五月天婷婷在线视频| 婷婷六月啪啪| 天天操天天国产三级片处女学生妹| 91久久久久久久| 成人精品亚洲性爱| 日本三级99人妇网站| 亚洲精品色色| 久久精品人妻| 五月婷婷高清| 婷婷五月天av| 九九99在线观看视频| 99九九视频| 中文不卡av| 丁香五月六月婷婷自拍| 亚洲无码99| 99爱爱| 色女人久久| 综合久久综合五月天婷婷| 五月熟妇婷婷久久| 人妻体体内射精一区二区| 五月伊人网| 久久久久婷| 狠狠 久久| 色综合色色色色色| 久久久精品婷婷五月天| 丁香丝袜五月| 99干在线| 青青草五月天| 99精品高潮| 色五月丁香五月天| 91九色超碰正在播放| www.亭亭五月天| 婷婷五月丁香激情| 婷婷五月天偷拍| 久久人人做人人妻人人玩精品va| 久久深爱激情网| av操逼网| 九九九九这里只有精品| 激情婷婷九月| 五月综合无码| 欧美丁香六月在线观看视频| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色色色色色色综合网| 激情纯色婷婷五月天在线不卡视频| 99操逼| 色五月开心五月激情五月| 热久久这里只有精品| 色婷婷五月六月丁香综合视频| 国产精品大香蕉| 婷婷六月激情小说网| 六月丁香激情网| 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 亚州第一黄网| 丁香五月成人av| 超碰成人AV| 亚洲成人在线五月天| 亚州激情九月| 99色综合网| 色色日韩网| 色婷婷六月| 亚洲女婷婷五月基地综合久久久| 婷婷丁香五月天色色| 深爱开心激情| 亚洲激情综合色站| 久在线综合69| 狠狠干综合| 日本精品。999| 久久婷婷五月天激情新地址| 婷婷五月在线观看| 婷婷在线五月天观看| 久综合4| 热久久这里只有精品| 激情色色| 五月天大香蕉视频| 亚洲激情久久| 久草狼人| 伊人午夜综合色啪| 好好干Av| 亚洲色图81p| 五月丁香婷婷色| 新精品99| 婷婷天天舔| 日韩欧美性爱| 国外亚洲成AV人片在线观看| 91久久九久久九久久九久久九久久| 人人干人人干骚美女| 五月丁香狠狠爱婷婷综合| 亚洲成人av在线| renrencaoav| 超碰在线观看成人视| 五月天激情综合| 99热这里只有精品在线播放| 天天激情视频| 四虎成人精品永久免费AV九九| 天天草女人| 综合久久97| 人人舔天天| 亚洲免费99| www.丁香黄色五月天人与| 97热这里精品在线视频| 久久99美女精彩视频| 97久久人人操| 99亚洲精美视频在线观看| 久久婷婷五月天| 天天爱天天做天天操| 97丁香五月天| 色10月婷婷视频| 婷婷激情四射五月天| 婷婷久久综合| 亚洲久久激情| 337p大胆噜噜噜噜噜91Av| 五月婷婷精品无在线| 欧亚色色| 九月色婷婷| 丝袜激情网| 欧美日本国产| 丁香六月天婷婷色| 日韩成人影片网站| 中文字幕婷婷9月天| 天天天天天天操| 免费AV在线| 五月成人天| 天天日天天干天天插天天射| 婷婷五月激情在线| 久久婷婷在线| 夜夜操,天天撸| 伊人婷婷色激情丁香| 都市激情蜜桃婷婷五月天| 97在线/亚洲| www.91AV.COM| 婷婷六月综合| 秋霞成人毛片一级A片| 激情丁香久久久久久| 人人肏逼视频在线一区二区| aaa久久久| 亚洲亚洲人成综合网络| 高清资源站日A美A欧亚…| 天天爽天天操| 丁香婷婷天堂| 亚洲中文AV网站| 亚洲啪啪自拍| 色九九七七| 婷婷五月天久久综合88| 99爱99操| 激情五月黄色小说| 丁香五月宝贝激情网| 色五月av伊人| 欧美激情-区二区三区| 青青福利网| 婷婷激情五月综合丁| 久久综合天天综合| 日狠狠| 天天色天天日天天舔| 激情第四色| 97干视频在线| 久久99综合| 无码激情AAAAA片-区区| AV在线免费观看不卡| 五月丁香综合久久夜夜| 欧美日本国产欧美日本韩国99| 激情综合五月天| 六月丁香深深爱综合网| 夜夜操少妇| 婷婷五月天BBw| 五月丁香综合影院| 丁香六月啪啪| 在线sebiav精品视频| 婷婷九月在线| 新99思思视频| 久久久久久性爱视频| 五月天丁香综合| 日日夜夜干| 亚洲丁香五冃97色| 婷婷五月AV| 人人舔人人色人人高潮| 综合XX网| 亚洲A片成人无码久久精品青桔| 97人人妻人人艹| 婷婷五月精品中文| 狠狠另类视频| 久久丁香五月| 久草丁香婷婷1024| 任你爽免费视频| 六月色色综合| 午夜爱爱网站| www99精品在线观看| 日本视频欧美观看免费| 五月婷婷,六月激情| 天天玩夜夜操| 少妇搡BBBB搡BBB搡毛茸茸| 91热久| 开心久久xxx色| 色欲AV导航| 79精品视频在线观看,| 中文不卡av| 99热久| 婷婷五月天美女视频| 亚洲综合五月天婷婷丁香| 成人无码精品1区2区3区免费看| 久久久精品99| 激情 婷婷 丁香五月天| 一级性爱视频| 五月天婷婷情色| 五月婷婷免费视频| 天天草天天爽| www.99热视频| 色播播五月天| 99ri精品在线观看| 色五月天综合| 六月婷婷五月天| 久久嘟嘟丁香| 婷婷久久亚洲| 曰韩五月丁香色婷婷无码| 91干| 色久女| 九九九九成人| 天天操天爱综合| 五月婷婷综合网| 97操碰视频| 美女丁香五婷婷| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 五月天激情亚洲| 亚洲色激婷| 这里只有精品在线观看视频| 变态另类9| 五月婷婷色播| 久久色五月天| 综合色播| 91在线看免费 九九九九| 久久九九蜜| 国产成人精品亚洲线观看| 五月婷丁香花| 99热官网| 亭亭丁香久久五月| 综合五月天| 亚洲热手机在线观看| 丁香花五月天激情| 亚洲美女高潮久久久久久69| 日韩999| 五月婷婷丁香综合| 五月天桃色深爱网| www.激情在线| 丰满人妻妇伦又伦精品国产| 久久人妻情侣| 五月婷婷综合天天操| 丁香五月中文字幕久色| 久久精99| 国产精品色婷婷99久久精品| 日本一级| 久久亚洲婷婷| 1995年关宝慧版蜘蛛女| 亚洲情欲久久| 97人妻碰碰碰久久香蕉| 婷婷六月色| 久久九九国产精品怡红院| 夜夜夜天天操| 亚洲成人AV电影在线| 婷婷五月天论坛| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 9 大屁股在线视频精品| nvrentiantang av| 亚洲思思热久| 四川女人毛多水多A片| 久久96热| 日本久久超碰| 五月婷婷激情| 激情综合五月婷婷六月丁香| 丁香五月网址| 97在线观看| 99热在线这里| 色色色综合网| 丝雨一区二区| 色婷久久| 开心激情久久久久久久| 日本天堂免费99| 老司机日日夜夜青草| 99热在线免费观看精品| 五月伊人婷婷999| 日韩黄黄| 午夜婷婷六月天| 五月天婷婷綜合院| 538在线精品| 免费视频99| 91欧美| 丁香六月丁香婷婷激情| 亚洲中文字幕AV| 97婷婷丁香五月天激情图片| 丁香五月www| 99热网站| 久热这里只有精品6| 97人人干| 97色视频网| a网站免费观看| 久久这里只有精品8| 精a品a视a频| 91九九热| 久久婷五月天| 99色中文| 五月丁香六月婷婷的女人| 婷婷激情九月| 99热官网精品在线| 欧美成人精品A片免费一区99| www.五月.com| 欧美综合在线五月天色婷婷| 激情综合五月| 色色五月天婷婷丁香| 99精品国产在热久久| AV五月丁香| 人人人舔人人人操人人人摸人人人97| 五月网激情| 中文字幕日韩成人| 东北熟女视频99| 日本人妻伦在线中文字幕| 五月天综合激情网| 天天做好综合色| 五月丁香在线国产| 欧亚色色| 一区二区成人电影| 天天肏高清在线| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 久久五月天色婷婷| 色色影院黄大片| 99热个人在线| 五月丁香六月激情| 久久婷婷五月天| 亚洲综合99| 色色色色色色色色色色色色色97| 亚洲天堂aaa| 五月天综合区| 夜夜天天久久婷婷| 婷婷五月开心中文字幕色| 亚洲av免费在线| 亚洲超级碰| 九月大香蕉| 大香蕉视频婷婷| 久草婷婷网 | 色噜噜五月天| 久色视频| 五月婷婷丁香五月 | 99久热| 五月丁香六月| 五月丁香六月婷| 婷婷激情四射| 色色色色热| 色综合色色| 99精品综合| 日本狠狠色| 久久激情视频| 亚洲乱码日产精品BD| 超pen个人视频97| 国产在线aaa片一区二区99| 亚洲人妻av伦理| 99re在线播放| Aaa久久| 五月丁香激情综合网官网| 精品AV无码超碰| 婷婷色色宗合网| 色播五月丁香综合| 天堂在线9| VA色婷婷| 天天肏天天插| 凹凸操Av| 日韩成人AV在线播放| 六月婷婷激情| 五月丁香六月激情综合| 夜夜嗨一区二区三区直播内容 | 99只有这里是精品| 五月天最新网| 久热综合| 中文字幕人妻熟女在线| 中文字幕不卡网站| www.婷婷,com| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色99网| 日本人妻伦在线中文字幕| 久热精品免费视频4| 久xxxx| 丁香五月天在线观看视频| 婷婷综合网在线| 日本va欧美va欧美va| 婷婷激情人妻| 丁香六月婷| 99久久婷婷五月| 97人人干人人操| 色色丁香五月婷婷| 人人视频人人干人人做| 一本色道久久综合狠狠躁小说| 99ER热精品视频| 色五月综合97| 婷婷五月天色丁香| 天天干天天操天天拍| 大香蕉综合在线| 婷婷99视频在线| 久久大香蕉同僚| 色视五月天婷婷| 丁香成人五月天| 综合色久| 六月婷色| 九九热视频免费观看| 精品人妻在线| 婷婷中文字幕网站| 男女99免费视频| 亚洲AV成人无码久久精品老人法拉利| 色综合久久天天综合网| 99久久超级| 九九热a| 中文在线视频久1| 五月婷丁香| 婷婷综合一二三| 丁香婷停五月激情综合深爱| 国产91视频| 日韩啪图| 激情合网婷婷| 色婷婷亚洲精品天天综| 亚洲欧洲一二| 五月天婷婷乱| 天天干天天操天天爽| 久久婷婷六月综合综合| 操日本人妻视频| 婷婷五月天开心网| www.射伊蕉婷婷| 99热精品6| 91久久99久久91熟女精品| 久久视频婷婷| 久久久久久人妻久久久久久久久久人妻久久久 | 婷婷视频网| 色情久久久| 99热在线观看免费精品| 天堂美国久久| 五月婷在线色视频| 91超级碰| 怡红院 久久| av在线中文| 丁香五月激情啪啪啪| 久久精彩视频99| 丁香五月天堂网| 开心婷婷中文字慕| 9 1超碰九色| 九月婷婷激情| 91丨九色丨熟女| 色五月婷婷1| 五月婷婷五月天在线 | 大香蕉五月天婷婷丁香91| 亚洲天天| 最新日韩久热免费视频看看| 亚洲另类视频| 欧美日韩国产一区二区| 免费在线观看欧美激情xx小视频| 亚洲国产成人AV在线| 日日舔夜夜操| 五月天婷婷丁香人人操91| 五月丁香婷爱在线| 4399精品一区二区| 丁香婷婷深情五月亚洲| 六月丁香成人| 庭庭久久内射| 综合网色| 性爱久久| 丁香五月天人体| 97精品人人A片免费看| 五月天色婷婷视频| 丁香九月色| 激情五月婷婷开心网| 很很色丁香久久停停| 99re这里只有| 91九色丨国产丨爆乳| 91狠狠综合久久| 天天做天天爱天天爽夜夜揉| 九九无码| 五月丁香六月婷婷视频| 亚洲4区国产欧美| 91丨九色丨熟女| 五月天婷婷色在线视频免费观看 | 99WWW免费视频| 久久9视频欧美| 久久五月天精品视频| 乱岳熟女50岁| 伊人AV五月婷| 99干视频| 成人综合网站| 亚洲另类噜噜| 强伦轩人妻一区二区电影| 婷色五月| 婷婷激情五月综合在线视频| 久久五月天激情婷婷| 色情丁香五月婷婷精品| 久久久久久天天日天天爱| 日韩一区二区A片免费观看| 五月天婷婷婷| 久热9| 丁香婷婷老熟女综合网| 五月婷婷激情| 丁香五月天色| Av在线资源| 丁香五月婷婷六月| 色丁香婷婷美女视频网站| 激情五月婷黄版| 五月天精品| 女人天堂 AV| 成人网站在线观看视频| 婷婷91视频| 极品另类| 六月婷色六月| 亚洲av综合网| 黄色av高清| 天天狠天天叉| 99热九九热| 亚洲中文无码成人| 色婷婷文字幕| 久久精品国产AV一区二区三区 | 超碰在线国产| 五月婷在线| 亚洲AV激情五月综合网| 日韩欧美成人片| www.婷婷com| 婷婷综合久久| 婷婷亚洲综合| 99re思思热这里| 大香蕉综合在线| 国产综合A片| 99这里只有精品| 99热主页日本| 天天色天天爱天天爱天天爱y| 五月丁香久人妻中文| 操婷婷基地| 超级碰碰97在线| 日本久久精品| 亚洲综合五月天| 我要射综合| 国产xxxxx在线观看| 婷婷伊人75| 四色五月婷婷| 亚洲乱码日产精品BD| 丁香五月激情啪啪| 少妇搡BBBB搡BBB搡毛茸茸 | 婷婷六月视频| 伊人五月人妻精品| 激情婷婷内射| 五月色综合| 久久久99婷婷久久久久久| 91精品久| 亚洲区在线| wwwav大香蕉| 国产精品18久久久| 婷婷综合五月| 亚洲综合五月天婷婷| 色婷婷9| 色噜噜狠狠色综合日日| 人人爽欧美婷婷久久久五月丁香| 欧美丁香六月激情视频| 狠狠肏综合网| 五月天婷婷色播综合在线| 色五月激情视频在线综合| 97人人操| 99热碰碰热| 生活片五区| 97人凄人人操人人爽| 999久久久国产精品| 婷婷色六月| 亚洲精品中文字幕成人片| 啪啪操网| 丁香五月www| 2013AV天堂| 成人网丁香五月| 婷婷久久内射| 色婷婷88| 第四色激情网| 99热思思久| 色99视| 亚洲尤物在线| 五月WWW| 激情五月丁香六月综合AVXXXX| 亚洲欧美一区二区三区四区爱爱动图| 开心婷婷五| 国产黄色大片| 欧美激情伊人| 日韩 中文 欧美| 欧美六月| 激情com| 五月丁香综合精品| 五月天激情美女久久| 色婷婷丁香五月综合| 激情綜合W W W,激情五月天| 丁香婷五月天开心六月| 九九综合九九| 日韩aaa| 日日影院 | 丝雨一区二区| 婷婷久久内射| 激情五月综合色| 婷婷五月天无码熟女| 天天成人丁香美女AV| 综合激情站| 超碰色色综合| 九九激情网| 人操综合| 久久九九玖玖| 一根材五月婷成人| 天天插天天插天天插天天插| 97视频.干com| 亚洲爆乳无码精品AAA片蜜桃| 人人妖人人97| 超碰97干| 午夜爱爱爱成人| 欧美xx激情视频在线观看| 99干视频| 香蕉AV777XXX色综合一区| 久久婷婷桃花五月天| 亚洲成人AV在线观看| 2023天天日夜夜爽| 色婷婷激情| 99色综合| 九九久久免费视频44| 五月色网| 五月丁香激情婷婷综合| 丁香色综合| 少妇出轨做爰高潮A片| 日韩淑女人妻luan伦激情精品一区二 | 五月丁查人人| 六月丁香五月天| 丁香六月婷婷基地| 婷婷射丁香| 亚洲激情色色| 丁香五月婷婷色| 91狼友视频网页更新| 99热自拍| 99这里只有| 五月婷婷无码| 日韩 中文 欧美| 99惹精品视频| 久久精品性爱| 91操屁股| 五月天婷婷久久综合| 伊人碰碰碰| 91日本在线免费| 插插插丁香五月婷婷| 天天爽夜夜操| 久久婷婷七月丁香| 噜噜噜噜噜久| 五月天狠狠色| 91精品91久久久久77777| 男女99免费视频| 激情五月天综合| 欧洲电影在线观看免费版英语版| 丁香五月婷婷亚洲综合精品| 激情婷婷五月天日本系列| 天天拍天天操| 丁香五月欧美激情| 亚洲情欲| 亚洲传媒在线观看| 日本色婷婷五月天成人电影| 激情婷婷色色| 9精品视频在线| 色五月丁香六月欧美综合| WWW.桔色成人.COM| 99re热精品在线视频| 美欧成人视频| 婷婷色五月天色色| 五月六月激情| 9久热精品在线视频| 婷婷欧美激情综合| 国产激情综合五月久久| 久久九九精彩| 六月婷婷在线视频| 97色射| 2023天天日夜夜爽| 婷婷六月色| wWwCom夜操wwW| 色综合激情| 伊人五月婷婷| 午夜成人综合| 丁香婷婷五月综合| 亚洲六月婷婷| 99久久久久久久| 六月丁香婷婷综合在线| 亚洲成人电影在线免费观看| 插插五月天| 影音先锋高清无码资源网| 色婷婷激情小说网| 大香蕉综合网| 五月天亚洲最大成人| 色99在线| 天堂爱爱| 做爰丰满少妇1313| 色狠狠综合网| 伊人五月婷| 丁香五月激情无码视频| 久热A片| 五月天激情亚洲| 91色碰| 久久视频婷婷| 香蕉婷婷色五月| 五月婷婷六月天| 香蕉久久国产AV一区二区| www.狠狠| 久久婷婷五月草视频在线播放| 婷婷五月天基地| 婷婷五月天深爱| 激情 久久 婷婷| 蜜乳中文字| 日韩黄色电影| 99热九九热| 99热国产这里只有| 婷婷色色综合| 亚洲免费婷婷| 久久久大香蕉| 国产成人网址| 婷婷丁香人妻久久在线观看| 九月婷婷激情久久| 激情综合网激情五月天| 婷婷香香五月| 精品一二三区久久AAA片| 色五月婷婷天天操夜夜操| 99在线一区| 亚洲第一成人无码A片| 久久这里只有精彩| 丁香伍月婷电影全集| 熟女激情五月天| 亚洲一级色电影| 婷婷丁香六月天| 五月丁香婷婷三级| 热99精品视频五月| 被强行糟蹋的女人A片| 五月开心深深爱激情综合| 婷婷色吧| 99久久综合| 久久久精品色| 青草青草久热这里只有精品| 屁股翘好撅高迎合跪趴| 色婷婷丁香五月在线观看| 九九RE视频在线精品| 亚洲中文字幕在线观看| 九九婷婷网五月天| 丁香婷婷人妻| 久久综合九色综合88i| 欧美三级欧美一级| 天天撸夜夜爽| 久综合| 欧美怡红院黄站| 亚洲午夜电影| 激情都市五月天| 欧美色久| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 色婷婷五月网| 色五月超碰| 99热爆在线| www.丁香五月| 五月天激情视频五月天| 色五月婷婷中文字幕| 情色五月天 网站| 五月丁香五月综合欧美| 天天爽天天摸天天爱| 激情六月丁香综合| 六月大香蕉| 丁香五月婷婷免费视频| 六月婷婷激情| 99国产在线| WWW.桔色成人.COM入口| 久草性爱| 影院久久久| 蜜臀AV在线观看| 91人人网| 日韩九九| 另类小说五月天激情| 九九AV在线| 日笨久久网| 亚洲色图欧美色图日本视频| 成片免费播放| 丁香六月婷| 中文字幕色色色| 就爱射中文字幕资源网| 久久婷婷激情| 婷婷播5月| 色婷婷色情| 久久99这里只有精品| 六月婷欧美| 97久久超视频| 五月天sesese| 无码少妇高潮喷水A片免费| 丁香五月六月综合激情| 99热日韩| 色色色色色色综合| 天天色天天干天天插| 久久99网站| 婷婷五月香蕉| 97人人搞| 九九色色色| 777久久久| 91综合视频在线| 日本波多野结衣视频| 老师的粉嫩小又紧水又多A片视频| 狠狠操狠狠操AV| 日本99久久| 婷香五月| 色综合久久久久| 五月婷中文字幕| 色色五月天网站| 五月丁香综合激情网| 激情丁香五月| 色综合九九| 日日噜狠狠色综合久久| 丁香色播五月天| 五月天五月色| 色五月婷婷DVD| 五月天婷婷视频30| 久久 视频这里只有精总| WWW.夜夜| 色综合久久88色综合天天| 99亚洲无码| 日韩色五月| 新激情五月天天在线网| 九月色婷婷综合| 亚洲色图五月丁香| 久久五月网| 激情五月天在线视频| 99视频在线| 国产乱子轮XXX农村| 丁香五月五月婷婷欧美大香蕉 | 六月婷伊人| 色欲香综合网| 婷婷丁香色五月久久88| 丁香五月婷婷影院| 丁香六月激情综合| 97精品在线| 99精品免费视频| 中文字幕无码人妻少妇免费视频 | 婷婷狠狠操| 97在线精品视频| 欧美精品18| 激情都市另类| 涩五月丝袜婷婷| 影音先锋毛片网站| 丁香五月六月久久综合| 激情综合网激情五月网| 日日夜夜爽| 五月丁香久久网| 婷婷五月天基地| www。五月,com| 探花搜索结果 - 黄上黄| 99操中文视频| 五月婷久久| 色色色色色色色色网站| 91玖玖| 婷婷五月天在线观看| 日韩av在线播放综合网| 玖玖婷婷色五月| 精品无码av丁香五月激情| 丁香婷婷五月六月天| 激情丁香五月天图片| 婷婷五月天激情小说| 无码免费人妻A片AAA毛片西瓜| 久久久色情| 狠狠爱综合| 丁香六月天婷婷开心综合| 亚洲欧美丁香五月天亚洲欧美| 五月天成人综合| 色婷婷第四色| 婷婷五月深情丁香深爱日韩| 婷婷色Av| 91热在线| 9视频在线成人网站| 色色五月天网站| 99热这里只有精品33| 91超级碰在线| 日本不卡高字幕在线2019| 婷婷五月中文字幕| 五月天激情小说电影| 99热这里有精品| 八戒青柠影视剧在线观看| 成人AV综合在线| 婷色人人狠| 日韩啊啊啊| 午夜不卡久久精品无码免费| 97丁香五月| 成人欧美Va| AV在线大香蕉| 五月丁香另类网| 丁香六月婷婷综合激情欧美 | 91麻豆国产三级精品福利在线观看| 亚洲小电影在线观看黄999| AⅤ色区| 97干在线| www.色色com| 激情五月综合ì香亚洲| 亚洲AV中文在线| 色婷婷精品视频在线播放| 99激情网| 色五月婷婷综合在线| 97伦乱| 婷婷五月蜜桃成人桃色丁香| 操日视频| 九 九九九AV| 6080av| 亚洲黄色影视| 色综合香蕉| 婷婷五月天综合中文| 99色天堂| 99ri在线| 91肏| 五月天婷婷亚洲| 丁香五月激情图片| 欧美成人精品三区综合A片| www.91操| 亚洲色图五月丁香| 亚洲成人无码免费| 天天视频亚洲| 五月综合激情久久| 色。 婷婷婷| 久久色情| av九九| 超碰在线人妻| 91丨九色丨丰满人妖| 99在线精品视频| 色色色色色综合| 五月丁香色| 亚洲国产色婷婷| 天天天天天日| av一区免费看| 九九爱激情| 99热免费18| www.lingjunshare.com| 中文字幕中文有码在线| 啪啪啪啪五月天| 亚洲精品又粗又大又爽A片| 国产欧美婷婷| 99爱在线视频| 国产裸舞福利资源在线视频| 99热这里全都是精品| 色婷婷五月天av在线| 九月婷婷综合| 五月婷婷色| 丰满人妻一区二区三区| 嫩草AV久久伊人妇女超级A| 99热这里只有精品在线观看| 亚洲va欧美| 成人在线日韩| 丁香五月婷婷呀| 黄色国久久| 婷婷综合爱| 激情久久丁香|