99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Seata AT模式原理與實(shí)戰(zhàn):分布式事務(wù)全局鎖與回滾機(jī)制詳解

Seata AT模式原理與實(shí)戰(zhàn):分布式事務(wù)全局鎖與回滾機(jī)制詳解 做微服務(wù)的時(shí)間長(zhǎng)了幾乎都會(huì)撞上分布式事務(wù)這道坎。單體應(yīng)用里一個(gè) Transactional 就能搞定的原子性拆成多個(gè)服務(wù)、多個(gè)數(shù)據(jù)庫之后就變了味訂單服務(wù)扣了庫存賬戶服務(wù)扣款失敗這兩筆數(shù)據(jù)怎么收?qǐng)鯯eata 的 AT 模式Automatic Transaction就是為這種場(chǎng)景設(shè)計(jì)的一套開源分布式事務(wù)方案它把兩階段提交的大部分復(fù)雜度收進(jìn)中間件業(yè)務(wù)側(cè)往往只需要加一個(gè)注解。這篇文章我從原理講到踩坑實(shí)錄適合剛準(zhǔn)備接 Seata 的同學(xué)也適合已經(jīng)在用卻在為全局鎖、回滾失敗頭疼的人。1. 項(xiàng)目概述與核心思路拆解1.1 分布式事務(wù)到底在解決什么問題先說清楚需求。假設(shè)你手下有一套微服務(wù)下單鏈路訂單服務(wù)負(fù)責(zé)落訂單表庫存服務(wù)負(fù)責(zé)扣 sku 庫存賬戶服務(wù)負(fù)責(zé)扣用戶余額。三個(gè)服務(wù)三套庫甚至可能是三套不同的數(shù)據(jù)存儲(chǔ)。如果它們是三個(gè)獨(dú)立的本地事務(wù)就會(huì)出現(xiàn)最經(jīng)典的對(duì)賬事故庫存扣了、余額扣了、訂單沒生成用戶罵街或者訂單生成了、庫存沒扣超賣倉庫罵街。單體時(shí)代我們沒有這個(gè)煩惱一個(gè)關(guān)系型數(shù)據(jù)庫里的事務(wù)天然具備 ACID。但服務(wù)一拆本地事務(wù)的作用域就只在自己的庫內(nèi)跨庫、跨服務(wù)的一致性問題就冒出來了。這個(gè)問題的本質(zhì)是我們需要一個(gè)“全局事務(wù)”它能把多個(gè)參與者服務(wù)/數(shù)據(jù)庫的狀態(tài)變更串成一個(gè)整體要么全部成功要么全部不生效。分布式領(lǐng)域有一條 BASE 理論基本可用、軟狀態(tài)、最終一致。它是對(duì)強(qiáng)一致性的妥協(xié)。Seata 的定位正好落在“Base兩階段提交”的加強(qiáng)版上它不是純理論框架而是一個(gè)可落地的中間件把全局事務(wù)的協(xié)調(diào)工作收歸到一個(gè)獨(dú)立的 TC事務(wù)協(xié)調(diào)器來統(tǒng)一管理。我習(xí)慣把問題分層來看一致性要求有多強(qiáng)訂單這種鏈路頻繁出現(xiàn)但失敗率低適用“最終收斂為一”的模式業(yè)務(wù)侵入有多深能不能只加注解不改業(yè)務(wù)邏輯性能開銷能忍多少每次業(yè)務(wù)操作多出來的 SQL 和網(wǎng)絡(luò)調(diào)用是多少。這三條是后面選型和對(duì)齊問題的錨點(diǎn)也是一旦出問題時(shí)要回到原點(diǎn)重新思考的地方。1.2 AT 模式的整體設(shè)計(jì)思路Seata 里有三個(gè)核心角色理解了它們后面所有配置都不會(huì)暈TCTransaction Coordinator獨(dú)立部署的服務(wù)端記錄全局事務(wù)狀態(tài)、協(xié)調(diào)各分支的提交回滾。它的作用像一個(gè)全局的“交管中心”。TMTransaction Manager嵌入在應(yīng)用里的組件負(fù)責(zé)開啟全局事務(wù)、提交或回滾整體事務(wù)。通常一個(gè)注解就能驅(qū)動(dòng)它。RMResource Manager也是嵌入在應(yīng)用里的組件管理每個(gè)數(shù)據(jù)源的分支事務(wù)執(zhí)行分支注冊(cè)并上報(bào)執(zhí)行結(jié)果。TM 開啟全局事務(wù)后會(huì)拿到一個(gè)全局唯一標(biāo)識(shí) XID。XID 會(huì)被塞進(jìn) RPC 調(diào)用的上下文里跟著 Feign 或者其他調(diào)用鏈一路傳播到下游服務(wù)。下游服務(wù)只要在同一個(gè) XID 下執(zhí)行事務(wù)操作就會(huì)被識(shí)別成同一個(gè)全局事務(wù)的分支。這個(gè)“XID 鏈路透?jìng)鳌笔?AT 模式能不能跨服務(wù)生效的關(guān)鍵我下面的常見問題里還要專門講。AT 模式里的“自動(dòng)”兩個(gè)字是核心賣點(diǎn)。它借鑒了兩階段提交協(xié)議但對(duì)業(yè)務(wù)基本無感。秘密武器是三樣?xùn)|西數(shù)據(jù)源代理DataSource Proxy、鏡像快照before/after image、undo_log 表。數(shù)據(jù)源代理會(huì)在真實(shí)執(zhí)行 SQL 之前做一次旁路解析自動(dòng)記錄這行數(shù)據(jù)的“執(zhí)行前快照”然后放行業(yè)務(wù) SQL執(zhí)行完再抓一張“執(zhí)行后快照”。這兩張快照連同分支信息寫進(jìn)一個(gè)專門的 undo_log 表整個(gè)過程跟業(yè)務(wù) SQL 處于同一個(gè)本地事務(wù)里。為什么敢稱“自動(dòng)”因?yàn)榛貪L所需的補(bǔ)償 SQL 不需要你寫中間件根據(jù) before image 反推生成。這就是它比 TCC 省事的地方TCC 要求每個(gè)業(yè)務(wù)手寫 Try/Confirm/Cancel 三段邏輯AT 模式直接替你干了。從設(shè)計(jì)目標(biāo)看AT 模式是“用空間換時(shí)間、用協(xié)議換侵入”多寫一張 undo 表、多幾次鏡像查詢換來業(yè)務(wù)代碼幾乎零改造換取比 XA 強(qiáng)一致協(xié)議好得多的可用性。2. AT 模式核心機(jī)制原理解析2.1 一階段本地事務(wù) 鏡像快照現(xiàn)在我們把一個(gè)全局事務(wù)的執(zhí)行過程放大來看。假設(shè) A 服務(wù)是全局事務(wù)的發(fā)起方B 服務(wù)被遠(yuǎn)程調(diào)用后作為分支參與者下面這串動(dòng)作在每個(gè)參與者本地都會(huì)發(fā)生。第一步TM 獲取 XID 并開啟全局事務(wù)。第二步業(yè)務(wù) SQL 走到 Seata 代理的數(shù)據(jù)源上。注意這里要求所有寫操作都必須經(jīng)過代理連接這是很多人埋坑的地方后面會(huì)說。進(jìn)入代理之后整個(gè)過程大致是解析業(yè)務(wù) SQL根據(jù)主鍵或更新條件定位目標(biāo)行在執(zhí)行前執(zhí)行一次查詢拿到 before image修改前那一瞬間的行數(shù)據(jù)放行真實(shí)的 INSERT/UPDATE/DELETE再次查詢拿到 after image修改完成后的行數(shù)據(jù)把 before image、after image 連同 XID、branchId 編碼后寫入 undo_log 表向 TC 注冊(cè)分支事務(wù)申請(qǐng)全局鎖拿到全局鎖之后提交本地?cái)?shù)據(jù)庫事務(wù)。為什么要在一個(gè)本地事務(wù)里同時(shí)完成“業(yè)務(wù)改動(dòng)”和“undo_log 寫入”道理很簡(jiǎn)單如果業(yè)務(wù)改了、日志沒寫系統(tǒng)恰好在這時(shí)崩潰回滾就沒依據(jù)了如果日志寫了、業(yè)務(wù)沒改后續(xù)校驗(yàn)又會(huì)不對(duì)。只有把兩者放進(jìn)同一個(gè)事務(wù)才能保證要么同時(shí)成功、要么同時(shí)失敗。還有一個(gè)值得品的設(shè)計(jì)注冊(cè)分支和申請(qǐng)全局鎖發(fā)生在本地事務(wù)提交之前。這意味著某個(gè)全局事務(wù) T1 雖然本地?cái)?shù)據(jù)已經(jīng)改完、但還沒拿到 TC 的最終裁定這期間其他全局事務(wù)不能在同一個(gè)數(shù)據(jù)行上繼續(xù)“搶跑”。全局鎖就是在這里起作用的。2.2 二階段異步提交與鏡像回滾全局事務(wù)進(jìn)入二階段后TC 會(huì)根據(jù)所有分支的上報(bào)結(jié)果來定奪全部成功就發(fā)“提交”有任何一個(gè)分支失敗就發(fā)“回滾”。先看提交路徑。二階段提交時(shí)RM 接到 TC 的通知要做的事情非常輕量刪除對(duì)應(yīng)分支的 undo_log。這不是非刪不可的強(qiáng)同步操作在實(shí)際實(shí)現(xiàn)里可以異步批量刪除。為什么提交不用回滾業(yè)務(wù)數(shù)據(jù)因?yàn)闃I(yè)務(wù)數(shù)據(jù)在本地事務(wù)提交那一刻已經(jīng)真實(shí)落庫了所謂全局提交本質(zhì)上只是“確認(rèn)不需要反悔了”把退路undo_log清掉即可。再看回滾路徑。這是 AT 模式最見功力的一環(huán)。RM 拿到 XID 和 branchId 之后找到對(duì)應(yīng)的 undo_log先把 after image 拿出來跟數(shù)據(jù)庫當(dāng)前行對(duì)比。這一步叫“臟寫檢查”。如果當(dāng)前數(shù)據(jù)和 after image 一致說明這段數(shù)據(jù)從分支執(zhí)行完畢到現(xiàn)在沒人動(dòng)過可以放心回滾。中間件就根據(jù) before image 生成一條反向 SQL原來是 UPDATE就回滾成 BEFORE 行的全部字段值原來是 DELETE就按 before image 重新 INSERT原來是 INSERT就按 before image 的主鍵 DELETE?;貪L完成后刪除 undo_log分支回滾結(jié)束。臟寫檢查絕不是走過場(chǎng)。假如有一條數(shù)據(jù)被分支事務(wù)改過快照是“余額從 100 變 50”但回滾時(shí)發(fā)現(xiàn)當(dāng)前余額已經(jīng)變成 20說明這期間有一個(gè)脫離全局事務(wù)控制的操作動(dòng)了它。這時(shí)候中間件不會(huì)盲覆蓋因?yàn)橐坏┌?before image 覆蓋成 100就把別人的 20 這個(gè)合法結(jié)果也抹掉了。它會(huì)標(biāo)記失敗、打印異常日志把問題留給人處理。這個(gè)設(shè)計(jì)是安全底線也是大家在日志里偶爾看到“無法回滾”的真正原因。2.3 全局鎖與并發(fā)沖突控制Seata AT 模式里其實(shí)有兩把鎖。一把是大家熟知的數(shù)據(jù)庫本地行鎖持鎖期間就是一階段那段本地事務(wù)的執(zhí)行期事務(wù)提交即釋放。另一把是全局鎖記錄在 TC 側(cè)鎖的粒度精確到某個(gè)數(shù)據(jù)資源實(shí)際實(shí)現(xiàn)里通常按主鍵或唯一鍵。全局鎖的存在意義是為了解決一個(gè)微妙的時(shí)間窗口服務(wù) A 的業(yè)務(wù)數(shù)據(jù)已經(jīng)在本庫提交但從全局視角看整個(gè)分布式事務(wù)還沒有被裁定。此時(shí)如果服務(wù) B 的另一個(gè)全局事務(wù)也想改同一行它必須先拿到全局鎖。全局鎖被 T1 占著T2 就得等。等不到就拋“獲取全局鎖超時(shí)”的異常T2 的本地事務(wù)回滾業(yè)務(wù)看到的就是明確失敗而不是靜默覆蓋。這個(gè)機(jī)制會(huì)在熱點(diǎn)行的場(chǎng)景下放大成一個(gè)明顯的性能問題。比如秒殺場(chǎng)景里大量請(qǐng)求對(duì)同一個(gè)庫存行做扣減每個(gè)全局事務(wù)都要排隊(duì)等全局鎖吞吐量會(huì)掉得很難看。所以選型之前一定要清楚自己的寫沖突密度否則上線后才發(fā)現(xiàn)被鎖排隊(duì)拖垮。調(diào)優(yōu)層面主要有兩個(gè)方向調(diào)大 RM 側(cè)獲取鎖的重試次數(shù)和重試間隔不同版本參數(shù)名略有差異比如 client.rm.lock.retry-times 和 client.rm.lock.retry-interval以及在業(yè)務(wù)側(cè)縮短事務(wù)的持續(xù)時(shí)間——鎖只在該全局事務(wù)存續(xù)期間持有事務(wù)窗口越短競(jìng)爭(zhēng)越小。3. 實(shí)操從零接入 Seata AT 模式3.1 環(huán)境準(zhǔn)備與基礎(chǔ)配置做一次最簡(jiǎn)單的本地聯(lián)調(diào)我建議按下面順序來。第一步下載并啟動(dòng) TC 服務(wù)端。我用的是 seata-server 的 file 模式日志和會(huì)話都落本地文件適合學(xué)習(xí)。命令大致是這樣sh seata-server.sh -p 8091 -m file -n 1生產(chǎn)環(huán)境不要用 file 模式TC 的狀態(tài)需要放到共享存儲(chǔ)里并做集群部署否則 TC 一掛全局事務(wù)狀態(tài)全丟。這點(diǎn)切記。第二步在每個(gè)參與全局事務(wù)的業(yè)務(wù)庫中建一張 undo_log 表。官方標(biāo)準(zhǔn) DDL 類似下面這樣我一般會(huì)在建表語句后面額外加注釋標(biāo)明這個(gè)表的用途方便后來的人一眼看懂CREATE TABLE undo_log ( id BIGINT(20) NOT NULL AUTO_INCREMENT, branch_id BIGINT(20) NOT NULL, xid VARCHAR(100) NOT NULL, context VARCHAR(128) NOT NULL, rollback_info LONGBLOB NOT NULL, log_status INT(11) NOT NULL, log_created DATETIME NOT NULL, log_modified DATETIME NOT NULL, PRIMARY KEY (id), UNIQUE KEY ux_undo_log (xid, branch_id) ) ENGINEInnoDB AUTO_INCREMENT1 DEFAULT CHARSETutf8;注意幾個(gè)點(diǎn)表名必須是 undo_log除非你改過自定義前綴的配置字段名和類型都要和中間件期望保持一致引擎一定要是 InnoDB原因你應(yīng)該懂——回滾操作本身就是事務(wù)操作MyISAM 在這里連基本條件都不滿足。第三步在服務(wù)里引入 starter 依賴。以 1.8.0 版本為例dependency groupIdio.seata/groupId artifactIdseata-spring-boot-starter/artifactId version1.8.0/version /dependency第四步在 application.yml 里配上最簡(jiǎn)的 file 模式配置spring: application: name: order-service seata: enabled: true application-id: order-service tx-service-group: default_tx_group registry: type: file config: type: file service: vgroup-mapping: default_tx_group: default grouplist: default: 127.0.0.1:8091 client: rm: lock: retry-times: 30 retry-interval: 1000這段配置里最容易出錯(cuò)的是 tx-service-group 與 vgroup-mapping 的對(duì)應(yīng)關(guān)系??蛻舳擞檬聞?wù)群組名去找 TC 集群群組映射必須跟 TC 側(cè)配置對(duì)上否則你會(huì)看到服務(wù)啟動(dòng)正常但一發(fā)起全局事務(wù)就報(bào) no available service 或者注冊(cè)不到 TC。3.2 核心代碼寫法與數(shù)據(jù)源代理接入之后業(yè)務(wù)側(cè)的改動(dòng)小到讓人懷疑是不是漏了什么。給最外層的方法加一個(gè) GlobalTransactional 就行Service public class OrderService { GlobalTransactional(name create-order-tx, rollbackFor Exception.class, timeoutMills 10000) public Long createOrder(OrderCreateRequest req) { Order order buildOrder(req); orderMapper.insert(order); // 本地分支操作 inventoryClient.deduct(req.getSkuId(), req.getCount()); // 遠(yuǎn)程扣庫存 accountClient.deduct(req.getUserId(), order.getAmount()); // 遠(yuǎn)程扣余額 return order.getId(); } }GlobalTransactional 的三個(gè)屬性值得花 30 秒理解name 只是全局事務(wù)的名字方便排查日志rollbackFor 決定了哪些異常觸發(fā)回滾默認(rèn)只對(duì) RuntimeException 和 Error 生效遇到 checked exception 時(shí)想回滾必須顯式指定 Exception.class這是我見過最多的“注解失效”原因timeoutMills 是全局事務(wù)的超時(shí)時(shí)間超過它 TC 會(huì)強(qiáng)制把事務(wù)標(biāo)記為超時(shí)回滾所以這個(gè)值要留足余量不能比最長(zhǎng)的業(yè)務(wù)鏈路還短。數(shù)據(jù)源代理這塊starter 默認(rèn)會(huì)開啟自動(dòng)代理seata.enable-auto-data-source-proxy 默認(rèn) true它會(huì)把業(yè)務(wù)方的 DataSource 包裝成 DataSourceProxy。但有幾種情況代理不生效后續(xù)常見問題里我詳細(xì)說。核心原則只有一條你的所有寫 SQL 都要走被 Seata 代理過的連接別圖省事自己在代碼里 new 一個(gè)裸連接。還有一個(gè)容易被忽略的細(xì)節(jié)是 XID 透?jìng)?。如果你們用的?Feign而 starter 里自帶的攔截器沒生效就需要自己補(bǔ)一個(gè)Component public class FeignXidInterceptor implements RequestInterceptor { Override public void apply(RequestTemplate template) { String xid RootContext.getXID(); if (xid ! null) { template.header(RootContext.KEY_XID, xid); } } }這個(gè)攔截器做的事情很單純把當(dāng)前線程里的 XID 塞進(jìn) HTTP 頭下游服務(wù)再從請(qǐng)求頭里把它取出來塞回自己的線程上下文。一旦這一步丟鏈下游就永遠(yuǎn)意識(shí)不到自己屬于哪個(gè)全局事務(wù)。3.3 一個(gè)完整的下單鏈路演示我習(xí)慣直接用“余額不足”的場(chǎng)景來驗(yàn)證 AT 模式是否真的在工作。步驟很簡(jiǎn)單調(diào) createOrder讓賬戶服務(wù)在扣款時(shí)故意拋異常然后看庫存服務(wù)那邊的庫存是否回滾。鏈路是這樣的。TM 在訂單服務(wù)里開啟全局事務(wù)XID 生成。訂單服務(wù)先落訂單本地事務(wù)提交。隨后調(diào)用庫存服務(wù)庫存服務(wù)通過透?jìng)鬟^來的 XID 加入同一全局事務(wù)扣減庫存并寫好 undo_log注冊(cè)分支提交本地事務(wù)。最后調(diào)用賬戶服務(wù)賬戶服務(wù)同樣加入全局事務(wù)但在余額校驗(yàn)時(shí)拋了業(yè)務(wù)異常。賬戶服務(wù)的本地事務(wù)回滾分支上報(bào)失敗。TC 裁決全局回滾通知庫存服務(wù)回滾。庫存服務(wù)的 RM 拿到 undo_log對(duì)比 after image 和當(dāng)前行確認(rèn)數(shù)據(jù)沒被額外改動(dòng)于是依據(jù) before image 把扣掉的庫存加回來再把 undo_log 刪除。整個(gè)下單接口最終表現(xiàn)為“訂單不存在、庫存沒變、余額沒少”三庫數(shù)據(jù)歸位。我在本地復(fù)現(xiàn)時(shí)會(huì)在日志里盯著三行關(guān)鍵輸出全局事務(wù)開啟的 XID庫存服務(wù)注冊(cè)分支的 branchId回滾完成后 undo_log 被刪除的記錄。三者都能對(duì)上說明 AT 模式的閉環(huán)真的走通了。A 同學(xué)踩過一個(gè)很經(jīng)典的坑他只給訂單服務(wù)開了異步線程池里的 Feign 調(diào)用XID 在異步線程里丟了下游庫存服務(wù)根本沒進(jìn)全局事務(wù)全局回滾時(shí)自然沒有庫存分支數(shù)據(jù)就亂了。后面我用代碼顯式傳遞了 XID 上下文才解決。4. 常見問題與排查經(jīng)驗(yàn)4.1 回滾失效與臟寫檢查先看一個(gè)高頻現(xiàn)象接口確實(shí)拋了異常全局事務(wù)日志里也顯示回滾了但數(shù)據(jù)庫里數(shù)據(jù)沒還原。這種“假回滾”的根源90% 是分支根本沒進(jìn)全局事務(wù)另外 10% 是回滾路線上被臟寫卡住。分支沒進(jìn)全局事務(wù)常見原因有三個(gè)。第一XID 沒有透?jìng)鞯较掠蜦eign 或 RPC 的攔截器缺失下游不認(rèn)識(shí)這個(gè)全局事務(wù)它只是在普通本地事務(wù)里各自為政。第二數(shù)據(jù)源沒有被代理你自己手動(dòng)創(chuàng)建了 DataSource 或者在特定代碼路徑直接拿了原始連接中間件就沒機(jī)會(huì)生成 undo_log。第三tx-service-group 映射錯(cuò)誤分支服務(wù)映射到的 TC 集群跟發(fā)起方不一致看起來都連上了實(shí)際上不是同一個(gè)全局事務(wù)。臟寫檢查失敗又是另一種情況。日志里如果出現(xiàn) “Status of data changed in global transaction” 這類表述意思是回滾時(shí)拿到的當(dāng)前行數(shù)據(jù)跟 after image 對(duì)不上。我在真實(shí)項(xiàng)目中碰到過一次一個(gè)定時(shí)任務(wù)用裸 JDBC 直接改了訂單表的備注字段恰好訂單行處于某個(gè)全局事務(wù)的窗口期內(nèi)回滾校驗(yàn)就失敗了。這種問題沒法靠中間件自動(dòng)解決只能限定所有寫路徑都走代理或者把這種離線任務(wù)統(tǒng)一收口。4.2 全局鎖等待超時(shí)另一個(gè)高頻且更折磨人的問題全局鎖獲取超時(shí)。日志往往長(zhǎng)這樣Could not get global lock, xid xxx, branchId yyy原因幾乎都是同一個(gè)某個(gè)熱點(diǎn)行被另一個(gè)未結(jié)算完的全局事務(wù)占著。常見于秒殺、搶購、庫存扣減、余額扣減這類場(chǎng)景。我的排查套路是三步。第一步看 TC 消息或日志確認(rèn)持鎖的 XID 是誰、持了多久。第二步看這個(gè) XID 的全局事務(wù)為什么遲遲不結(jié)束——是不是業(yè)務(wù)里混了大查詢、慢 SQL 甚至手工 sleep把事務(wù)窗口拉長(zhǎng)了。第三步才會(huì)去考慮調(diào)參數(shù)。調(diào)參也只是緩解不是根治把鎖重試次數(shù)和間隔調(diào)大能容忍更長(zhǎng)的排隊(duì)但吞吐上不去。真正的解決方案在前面提過縮短事務(wù)時(shí)間拆小事務(wù)粒度或者對(duì)熱點(diǎn)資源做前置串行化。如果業(yè)務(wù)上允許把熱點(diǎn)更新從全局事務(wù)里摘出去改用消息驅(qū)動(dòng)的最終一致是比死磕鎖參數(shù)更健康的選擇。4.3 其他高頻坑速查表我把這幾個(gè)月的實(shí)戰(zhàn)問題整理成了一張速查表基本可以貼在 IDE 旁邊現(xiàn)象常見原因處理建議發(fā)起全局事務(wù)時(shí)報(bào) no available service客戶端 tx-service-group 與 vgroup-mapping 對(duì)不上核對(duì)所有參與方的群組映射和 TC 地址回滾流程沒有覆蓋下游服務(wù)XID 沒有通過 Feign/異步鏈路透?jìng)鲉⒂没蜓a(bǔ)一個(gè) Feign/HTTP 攔截器傳遞 XID日志顯示回滾成功但數(shù)據(jù)沒還原分支 SQL 沒有走代理數(shù)據(jù)源檢查自建數(shù)據(jù)源、原生連接等旁路路徑回滾時(shí)臟寫檢查失敗窗口期內(nèi)有非代理操作改了同一行所有寫路徑統(tǒng)一走代理必要時(shí)業(yè)務(wù)補(bǔ)償GlobalTransactional 對(duì) checked exception 不回滾默認(rèn)只回滾 RuntimeException/Error顯式設(shè)置 rollbackFor Exception.classundo_log 表持續(xù)膨脹二階段異步刪除不及時(shí)或事務(wù)頻繁回滾定期清理評(píng)估能否開異步 commit 優(yōu)化熱點(diǎn)行場(chǎng)景吞吐驟降全局鎖排隊(duì)嚴(yán)重縮短事務(wù)窗口或考慮改用 TCC/消息方案這張表里每一行都是我或者身邊同事真金白銀踩出來的。建議先收藏上線前對(duì)著過一遍能省掉好幾個(gè)凌晨的告警電話。5. 使用邊界與實(shí)戰(zhàn)心得5.1 到底什么場(chǎng)景適合 AT 模式選型的時(shí)候我的判斷順序是這樣的先問業(yè)務(wù)能不能接受最終一致如果能優(yōu)先考慮消息異步如果必須強(qiáng)一致再看能不能接受 AT 模式的鎖競(jìng)爭(zhēng)和額外開銷。AT 模式最舒服的場(chǎng)景是寫沖突不高、失敗率低、但失敗后必須嚴(yán)格回滾的鏈路。典型的比如普通商城的下單、出庫、支付回調(diào)。這類業(yè)務(wù)日常并發(fā)不夸張熱點(diǎn)行競(jìng)爭(zhēng)不明顯代碼改造量又小AT 模式幾乎是性價(jià)比最高的選擇。反過來這些場(chǎng)景要慎重極高并發(fā)下對(duì)同一個(gè)行反復(fù)讀寫熱點(diǎn)競(jìng)賽單個(gè)全局事務(wù)里揉進(jìn)大量慢 SQL、外部 HTTP、文件操作導(dǎo)致事務(wù)窗口動(dòng)輒幾十秒數(shù)據(jù)庫不是 InnoDB 或不具備造 undo_log 表?xiàng)l件的環(huán)境。另外如果你只追求跨服務(wù)調(diào)用最終一致、且對(duì)數(shù)據(jù)丟失不敏感直接上消息隊(duì)列做可靠異步投遞比引入分布式事務(wù)中間件都輕。5.2 常見分布式事務(wù)方案對(duì)比做個(gè)直給的對(duì)比方便你心里有個(gè)坐標(biāo)系方案一致性侵入性性能適用場(chǎng)景XA 兩階段強(qiáng)一致中低鎖持有時(shí)間長(zhǎng)低并發(fā)強(qiáng)一致場(chǎng)景Seata AT讀已提交加強(qiáng)低注解代理中多一次鏡像和全局鎖絕大多數(shù)微服務(wù)寫鏈路TCC最終一致高手寫三方法中高強(qiáng)約束的資源預(yù)留如庫存預(yù)占Saga最終一致高手動(dòng)補(bǔ)償高長(zhǎng)流程業(yè)務(wù)編排我個(gè)人的感受是AT 和 TCC 不是替代關(guān)系而是梯度關(guān)系。項(xiàng)目初期鏈路簡(jiǎn)單先上 AT 把一致性兜住等業(yè)務(wù)增長(zhǎng)到熱點(diǎn)沖突成為瓶頸再針對(duì)那一條熱點(diǎn)鏈路替換成 TCC 或者異步消息其他鏈路繼續(xù)保持 AT。死磕單一方案往往得不償失。5.3 個(gè)人經(jīng)驗(yàn)與調(diào)優(yōu)建議最后分享幾條壓測(cè)和運(yùn)維層面的建議。第一先量一下“同一條熱點(diǎn)行的并發(fā)寫”能扛到多少。我見過一個(gè)項(xiàng)目前期聯(lián)調(diào)都正常壓測(cè)到一定并發(fā)后全局鎖排隊(duì)超時(shí)像是約好了一樣集體爆發(fā)。提前壓測(cè)心里有數(shù)。第二事務(wù)窗口能縮多短就縮多短。把無關(guān)的遠(yuǎn)程調(diào)用、大查詢挪到事務(wù)外面只為真正需要一致性的幾步開全局事務(wù)。第三別忽略 TC 的高可用。TC 掛了全局事務(wù)就沒法收工生產(chǎn)必須用共享存儲(chǔ)加多節(jié)點(diǎn)部署再配合配置中心和注冊(cè)中心做動(dòng)態(tài)發(fā)現(xiàn)。第四日志和監(jiān)控要讓 XID 貫穿始終不然出問題你連從哪個(gè)分支開始查都找不到。如果只是查詢場(chǎng)景需要保持一致性別輕易套全局事務(wù)用 GlobalLock 或者 select for update 往往更輕快。這個(gè)細(xì)節(jié)容易被忽略但壓測(cè)時(shí)差距很明顯。我在實(shí)際操作中的體會(huì)是Seata AT 模式是“成本最低的分布式事務(wù)入門方案”但它不是銀彈。你越早把它當(dāng)成一個(gè)有鎖競(jìng)爭(zhēng)、有額外開銷的工程組件來看待越少在線上被它打臉。好好設(shè)計(jì)事務(wù)邊界配合合理的壓測(cè)和監(jiān)控它會(huì)比你想的可靠得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精a品a视a频| 色五月av伊人| 五月丁香婷婷视频| 国产精品久久..4399| 成人丁香色| 色色热| 人妻AV在线| 99激情| 久久在线视频只有这里有精品| 亚洲中文字幕网| 亚洲激情无码久久| 婷婷伊人綜合中文字幕| 久久这里面只有精品视频| 夜色爱爱亚洲| 五月天婷婷丁香| 五月天婷婷色五月天| 国产毛多水多女人A片| 天天操天天谢| 久久色五月| 久久免费精彩视频| 色五月婷婷激情五月| 欧洲综合一区| 婷婷五月天AV在线| 国精产品一区二区三区| 丁香五月色色婷| 26UUU欧美| 91精品人妻少妇无码影院| 色婷婷在线播放| 久久婷出差欧美色两性综合网| 六月五月天婷婷涩播在线| 另类激情首页| 色大综合| 久久五月婷综合网| 成片免费观看视频大全| 最新日韩久热免费视频看看| 久久婷婷五月丁香蜜桃网| 久热久| 色婷婷丁香五月| 思思热久在线观看视频| 26UUU成人网| 国内久久亭亭| 91人人看| 激情五月,激情综合网| 久久九九激情五月天 | 色色五月婷婷久久| 97人人做| 日都一级A片| 思思热精品在线视频| 丁香五月亚洲天堂| 日本久久爱| 亚洲日韩人妻操逼| 亚洲第一色网站| 久久精品爱爱| 另类小说五月天综合| 五月丁香日本在线视频观看| 激情亚洲色图片丁香综合| 99人这里只有精品| 五月草影视| 亚洲欧洲另类| 亚洲丁香五月天在线视频| 激情文学 综合 色| 五月天婷婷丁香| 玖玖爱伊人| 天天天天天天天操| 亚洲五月丁| 天天肏夜夜肏| 狠狠综合| 五月色情网| 色婷丨日丨天丨综合久久| 九九碰九九爱97超碰| 九九热99熟女| 国产操B视频| 丁香婷婷六月天| 欧美婷婷综合网| 九九热这里只有精品6| 色色射| 操一区| 99ER热精品视频| 免费黄色片子| 99在线看视频| 青青久久大香蕉| 久Se视频在线观看| 日日干综合| 日韩操| 插插五月天| 色日本网| 婷婷五月天天天| 日韩av在线免费观看| 天天操综合网| 熟妇人妻中文字幕无码老熟妇| 不卡在线中文字幕无| 婷婷亚洲综合| 亚洲情综合五月天| 97成人丁香| 色婷婷av综合网| 国产婷婷综合| 丁香五月婷婷久久久| 99久久久| 色五月激情网| 综合AV网| 久思思久视频| 五月天停婷基地| 91肏| 七七色综合| 日本97在线视频| 77799热| 丁香5月婷婷| 色九亚洲| 丁香色情五月综合激情| 亚洲成人在线播放| 99re6久热只有精品6在线直播| 俺去也综合| 夜夜谢天天干| 黄网免费观看| 天堂婷婷五月色| 女人被男人吃奶到高潮| Caoub青青超碰 | 国产毛片精品一区二区色欲黄A片| 色伊人91在线视频| 91chinese 在线| 久久精品五月天| 另类小说五月天综合网| 激情综合网五月婷婷| 九月婷婷综合在线| 开心五月婷婷在线| 97香蕉碰碰人妻国产欧美| 婷婷五月天AV| 婷婷五月丁香性爱| 99热大全在线观看| 欧美六月| 91超级碰在线视频| 亚洲精品五月| 免费无码毛片一区二区A片| 色爽干| AV在线资源| 激情五月婷婷老师| 沈娜娜av| 热99只有里视频| 丁香色婷婷| 日本123区日韩欧美不卡在线看| 天天综合干| 中文字幕成人| 色丁香五月婷婷| 亚洲综合五月天| 任你躁XXXXX麻豆精品| 另类A片| 天天天干夜夜夜操| 久久精品国产AV一区二区三区 | 久久五月天色婷婷| 人妻久久久久久久久久| 久操香蕉| 天干干夜夜操| 无码成人AAAAA毛片AI换脸| 久久五月婷婷视频| 天天夜天天色天天| 婷婷五月花.97| 日韩性视频| 这里只有精品视频一区| 大香蕉福利导航| 婷婷激情六月中文| 国产一区二区av免费| 五月色丁香综合| 五月婷婷,六月丁香| 人人插9| 五月丁香六月婷婷欧美综合| 四虎国产精品永久在线国在线| 亚洲av免费在线| 99热这里都是精品| 午夜成人网站在线观看| 婷婷激情四射| 精品视频99看在线视频| 操操操97| 99色性爰网络| 另类图片激情五月| 99热这里只有精品66| 全高清无码视頻| 伊人五月综合网| 欧美婷婷色| 久久久思思热| 亚洲成人AV高清字幕| 婷婷五月婷婷五月天| 伊人综合网站| 午夜九九电影| 丁香婷婷综合色五月激情国产基地| 婷婷丁香在线播放| 婷婷久久综| 99热日本| 久久久人人人妻丝丝丝| 五月丁香花激情啪啪网| 久久婷婷五月综合伊人| 性天堂久久| 狠狠干狠狠干| 丁香婷婷人妻| 99热综合| 五月丁香六月婷婷国产视频| 日本久久高清| 国产成人精品一区二三区熟女在线| 啪啪五月天啪啪| 大香蕉视频99| 五月天激情四射| 天天爽成人综合网站| 欧美黑人巨大性生话| 色了色综合| 久久久九九九 99| 亚洲欧州色情在线观看| 亚州色婷婷| AV九九| 婷婷六月网| 婷婷干| 99爱视频| 热热久久久久久久久| 激情玖玖综合网| 久久九精品| 欧美又粗又大一区二区在线观看| 激情综合五月丁香六月婷婷| 97超碰综合| YJLZZJLZZ亚洲乱熟无码| 久久精品这里只有精品免费首页| 六月丁香啪| 色欲AVV| 久久精品系列| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 免费黄色视频网址| 一本久道综合色婷婷五月| 九色亚洲| 五月丁香五月综合欧美| 色XX综合网| 色婷操逼| 久久综合五月婷婷| 风流少妇A片一区二区蜜桃| 五月丁香六月婷婷无码| 婷婷五月天影视网址| 国产黄色大片| 日本欧美成人片AAAA| 日韩色五月| www.激情五月天.con| 午夜丁香婷婷| 婷婷五月免费视频| 开心激情站婷婷五月天| 六月99天天婷婷激情综合| 色香蕉婷婷| 婷婷五月美女直播| 久久99精品久久久久子伦| 91九色在线| 国产婷婷五月色情综合| 天天爽天天爽夜夜爽| 99日逼视频| 亚洲乱码日产精品BD| 综合XX网| 五月综合婷婷五月| 六月色日韩| 五月叮香啪| 国产精品久久久久9999小说| 五月婷婷啪啪| 99热亚洲精品| 婷婷婷婷婷开心无码播放| 久热这里只有精品性色AV| 欧美色色日韩| 色婷大香蕉| 亚洲精品V天堂中文字幕| 色婷婷超碰| 狠狠操婷婷| 久婷婷久草| 久久婷婷激情| 97久久精品| 色九月综合网| 五月婷色丁香| 久久月天堂| 欧美性猛交99久久久久99按摩| 天天看A片| 久久久精品人妻| 色999;丁香五月| 久久久妻人人人| 色综合久久99色| 欧美激情久| 无码碰碰| 婷婷性爱五月天丁香网| 久99久视频精品| 久久99精品视频| 超碰大香蕉网| 日日爽日日| 婷婷五月视屏| 99热在这里只有精品| 狠狠操狠狠狠| 亚洲综合色五月| 丁香五月天婷婷久久| 深爱五月激情综合| 伊人超碰| 丁香五月婷婷深五月| 九九香蕉网| 99狠狠色| 久久这里这里有精品免费视频| 激情四射婷婷| 五月丁香久人妻中文| 丁香五月另类色婷婷麻豆| 色婷婷国产精品综合在线观看| 2021日韩无码| 人妻视频在线| 亚洲五月丁香综合网| 九九热精品| 精品久色| 色大综合| 婷婷五月六月丁香| 久久久久久欧美精品se一二三四| 丁香五月社区| 日韩黄在免| 久久91久久精品久久| 婷婷丁香18| 操碰99在线视频观看| 婷婷人妻激情| 超碰国产在线| 久久婷婷欧美| 五月丁香中文字幕| 九九aV| 天天射影院| 久久精品99国产精品日本| 婷婷丁香五月久久| 五月丁香婷婷潮喷中文字幕| 中文字幕激情综合| 色色婷婷丁香| 激情色情五月天| 97人人看一| 亚洲AV网站在线观看| 97在线碰| 天天干天天操天天干天天操天天干天天操| 五月婷婷激情久久| 久久伊人婷婷| 综合色图婷婷| 91无码视频| 色婷婷五月天天天天天| 婷婷丁香色情| 99综合网| 午夜伊人大香蕉| 《久久综合九色综合97婷婷| 婷婷五月丁香五月丁香| 人人爱国产| 色综合九九| 欧美成人猛片AAAAAAA| 九九色情网五月天| 色99亚洲| 婷婷五月综合啪| 久久激情网| 色综合综合综合| 婷婷久久免费| 五月婷婷六月激情网| 婷婷五月天中文字幕| 色色五月丁香| 亚洲啪啪精品| 狠狠操天天操| 成人网在线视频| 精品一区二区三区四区五区六区| 五月丁香久久丝袜啪啪| 99热精品在线观看| 亚洲AV综合网| 久久久久久97| 五月天婷a在线| 久久婷婷五月天激情四射| 日本在线视频手机播放五月婷| 99色综合| 色五月亚洲| 五月婷久久| 五月天婷婷AV| 婷婷五月天天激情| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色噜综| 91久久综合亚洲鲁鲁五月天| 婷婷六月久久| 99色一| 一级黄色影片| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久久综合丁香五月| 久久99激情| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 欧美性爱五月天| 亚洲色婷婷视频| 婷婷中文字幕| 婷婷五月天丁香| 深爱激清网| 男妓跪趴把舌头伸进我的嘴巴| 超碰国产在线观看| 色婷婷五月天视频在线| 精品爱欲五| 五月丁香婷婷中文| PORNY九色9l自拍视频成人| 日本一道久久| 色五月五月婷婷| 2025天天操| AA片在线观看视频在线播放| 第2色五月婷| 8区视频在线| 97婷婷丁香五月综合| 激情五月无码| 嫩草AV久久伊人妇女超级A| AV网站免费在线| 直接看的av| 99在线视频观看| 国产VA播放| 婷婷五月丁香综合| 色5月婷婷色| 五日激情综合| 激情丁香久久久久久| 国产在线另类五月婷婷| 九九热123| 激情婷婷丁香五月| 欧美成人猛片AAAAAAA| 99re热精品视频国| 精品人妻伦一二三区久久| 91玖玖| 丝袜激情网| 久久五月情| 激情小说视频图片| 婷婷成人在线| 久久99精品久久久久久噜噜| 97干免费视频| 99精品热| 天天综合天天做天天综合| 免费黄色视频网址| 婷婷五月天.com| 极品人妻VIDEOSSS人妻| 五月丁香花免费视频| 日韩一本操| 五月婷婷之激情五月| 无码人妻少妇色欲AV一区二区| 第四色色六月色综合| 久久精品婷婷| 国产毛片精品一区二区色欲黄A片| 成人丁香五月| 伊人无码高清| 天天精品视频在线观看视频| 国产a视频| www.9797国产| 色婷婷五月六月丁香综合视频| 国产这里只有精品| 一本综合丁香日日狠狠色| 婷婷色资源| 婷婷激情小说| 中文字幕AV在线| 婷婷午夜天| 成人羞羞啪啪 全 视频| 丁香五月婷婷av影院| 91精品久久久久久综合五月天| 色色综合院| 激情五月天啪啪| 97人人操人人爽| 久久人人看| 99re这里有精品手机在线| 人五月天婷婷喷水| 色停停香蕉视频| 99超在线| 婷婷五月天综合AV| 六月婷婷色综合| 午夜婷婷六月天| 玖玖爱导航| 91碰碰碰| 五月婷婷丁香狠狠撸久久| 欧美超碰人人| 99热精品在线播放| AV性爱在线| 伊人久久艹| 第四色在线观看| 丁香五月激情五月开心五月| 无码se| 99精品国产热久久91色欲| 五月丁香色色综合| 97在线日本| 久久九九色| 六月丁香婷婷五月| 丁香婷婷激情综合五月激情| 色约约视频一区二区三区四区五区| 五月婷婷狠狠干| 日日影院 | 五月综合婷婷五月| 欧美一区二区三区不卡影视| 97久久精品| 激情小说色五月| 丁香 久久| 奸逼视频| 狠狠色婷婷| 五月天小说激情| 五月丁香啪啪网| 99热久久这里只有精品2010| a69在线视频| 亚洲色婷婷五月天| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 久久婷婷五月综合| 婷婷五月天综合AV| www.五月瑟| 久久精品爱爱| 久久激情五月天| WWW.五月com| 婷婷成人视频| 婷婷五月综合视频| 激情五月丁香综合蜜桃| 婷婷久久五月天丁香| 丁香五月婷婷av影院| 狠狠爱综合网| 99狠狠| 天天做天天爱综合| 国产六月婷婷| 热的五码久久精品| 99操碰| 99re青青草| 激情内射人妻1区2区3区| 婷婷中文在线| 九九99精品视频| 亚洲婷婷月丁香五月| 欧美在线看| 婷婷五月丁香激情图片| 婷婷丁香无码专区| 无码人妻丰满熟妇奶水区码| 97干在线| 欧美婷婷| 五月婷婷色播| 天堂五月婷婷| 丁香五月天婷婷激情| 亚洲十月婷婷综合| 色色五月婷| 九九干视频| 爆乳熟女-区二区三区| 日日干四虎| 色综合五月天| 婷婷在线视频| 蜜桃成语时李时珍 免费| 婷婷五月天色色| 久操激情| 丁香六月啪| 婷婷色情网| 成人五月天丁香| 色欲婷婷五月天丁香| 天天操婷婷| 色婷婷综合视频| 一本久道综合色婷婷五月| 色欲资源网| 六月丁香激情婷婷| 婷婷色正月| 思思热高清在线观看| 久久人妻伦理| 丁香五月激情五月| 亚洲无线视频| 亭亭玉月丁香| 做爰丰满少妇1313| 在线不卡AC| 人人操人人妻| 亚洲成片在线观看| 天天色图| va中文资源在线观看| 99久久99热| 丁香五月综合在线| 五月综合色播播丁香婷婷| 亚洲色婷婷五月| 丁香五月综合AV在线| 丁香五月另类小说| 丁香五月另类色婷婷麻豆| www.色五月.com| 狠狠操狠狠操| 9色91视频| 99情色五月天| 97视频91| 五月丁香拍拍激情综合| 久久色五月天综合网| www.狠狠艹| 九九在线精点品| 强伦轩人妻一区二区电影| 1024国产| 亚洲无AV在线中文字幕| 强奸幻女毛片| 久久五月综合| 欧美英丁香开心快乐六月天网| 激情六月日韩| www.99热视频| 一本色道久久综合狠狠躁一二三| 亚洲乱码w在线观看| 中文字幕在线免费观看视频| 五月丁香激情综合欧美| 综合在线色婷婷| 丁香成人五月天| 超级碰碰97在线| 四射综合网| 激情婷婷丁香五月天小说| 久久婷婷五月天激情| 热久久99热欧美国产亚洲| 99久久婷| www超碰com| 人人操97| 思思热再线视频| 五月婷婷激情| 性做爰A片免费视频A片直播| 婷婷久久性爱| 婷婷色丁香五月| 91久久精品无码一区二区三区| 99热综合| 91成人电影| 六月五月久久丁香| 亚洲综合婷婷| 久9热插入| 成久综合视频| 激情五月婷| 中文字幕人妻熟女在线| 久久久久激情网| 情欲综合网| 天堂综合久久| 亚洲成人丁香花| 青青草原中文字幕| 婷婷五月天天爽| 97碰碰碰免费公开在线视频| 五月色色网| 99亚洲日韩| 99热综合| 丁香色色色| 五月婷婷基地| 日本熟妇乱妇熟色A片蜜桃| 在线观看亚洲视频影院| 99热99热不卡| 四川BBB搡BBB爽爽视频| 99免费成人网| 99re免费精品视频| 国产成人亚洲综合亚洲| www,五月丁,com| 97色在线| 欧美视频五区| 色色射| 青青草大香| 丁香婷婷六月婷婷六月婷婷六月婷婷| 六月婷婷综合激情| 99久久精彩视频| 成人电影丁香六月天| www.夜夜| 99热99在线| AAA久久久| 丁香色五月AV在线| 婷婷丁香激情五月天色色| 99色综合| 午夜丁香丁香婷婷| 亚洲超碰在线| 9久久久久久久久久久| 色欲一二三| 九月丁香婷婷网| 丁香五月天在线直播观看| 五月天天天色| 婷婷五月天丁香| 五月天开心色情网| 青青草原亚洲天堂| 伊人久久99| 五月丁香亭亭操逼| yellow视频在线观看91| 五月丁香久久呀| 亚洲成人网站在线播放| 六月丁香婷婷综合狠狠爱夜夜爱| 婷婷综合一二三| 91丨九色|PRNY熟妇| 久久99热这里只有精品| 大香婷婷| 中文字幕丰满人妻无码专区| 五月天色色婷婷| 国产精品美女| 色婷婷狠狠18禁| 丁香婷婷色五月| 9久久久久久久久久久| 日本啪啪网| 91尤物九色在线| 色婷婷香蕉| 一本久道综合色婷婷五月| 五月丁香六月婷| 97色在线| 嫩草AV久久伊人妇女超级A| 天天干天天日天天插 | 丁香婷婷社区| 丁香五月天狠狠操| 久久99操| 人妻乱码久久久| 亚洲精品又粗又大又爽A片 | 狠狠色 综合色区| 日本97在线观看| 激情五月天婷婷在线网址发给我| 九九热99熟女| AV性爱网| 狠狠操.COM| 五月天综合色| 久久婷婷色色| 99久久99热| 99热传媒| 激情五月天综合网| 五月丁香在线视频观看| 成人在线二区| 人人草人人爱| 婷色人人狠| 99ER热精品视频| 婷婷精品综合| 91人人爽狠狠狠| 天天干天天插| 五月天婷婷在线AN| 在线99热| avh片在线观看| 久久九精品| 精品婷婷五| 亚洲综合五月天婷婷| 五月丁香成人网| 五月天婷婷xxx| 九九色网专区| 日本久久高清| 亚洲、热| 99ri国产| 在线看AV| 亚洲色五月| 久99久热只有精品国产99| 色五月天丁香婷婷色| 色五月亚洲| 激情五月天激情综合网| 久久久com| 大香蕉丁香婷婷| 激情AV| 中文字幕婷婷五月天在线观看| 曰曰久久| 久热A片| 五月丁香| 人妻操逼视频| 琪琪理论片| 超碰人人99| 无码日本精品XXXXXXXXX | 丁香五月婷婷视频| 五月丁香五月激情综合色综合| 海外网站专业操老外| 疯狂做受XXXX高潮A片动画| 天天爽天天干| 精品一区二区三区木瓜| 99久久综合网| 欧美激情久| 国产午夜成人AV在线播放| 天天插天天插| 5月丁香六月婷婷| 久久这里都是精品免费| 91丨九色|PRNY熟妇| 六月成人网| 99操| 五月天婷婷色色网| 丁香五月婷婷手机| 婷婷丁香五月视频| 香蕉综合在线| 色噜久| 久婷狼色诱惑在线| 婷婷中文字幕| 在线不卡视频| www.色婷婷.com| 五月婷婷六月丁香在线视频| 精品国产va久久久久久久| 99精品久久久久久久婷婷| 老师把我爽高潮了免费A片| 久久精品一区二区三区四区| 色五月AV| 婷婷久久亚洲| 99re热在线观看| 五月激情婷婷在线| 激情综合网 激情五月天| 婷婷丁香视频在线观看免费| 国产ava| 色综合视频| 狠狠综合久久综合| 九九九九热99超碰| 欧美婷婷色| 极品人妻VIDEOSSS人妻| 99热最新网址| 综合五月天| 久久丁香五月天| 玖玖色综合| 欧美综合123区| 婷婷五月影院| 丁香五月婷婷五月天| 99精品在这里| 97色色综合| 这里只有精品2| 色五婷婷| 婷婷六月丁香欧美视频在线| 色狠狠色噜噜AV天堂五区消防| 天天操夜夜爽| 17.c黄色| 久久99热这里只有精品| 精品乱码久久久久| 综合噜噜| 婷婷丁香五月婷婷| 亚洲精品视频电影| 五月天婷婷免费| 综合婷婷久久| 天天色天天| 国产成人网址| 开心激情站| 爱久久小说下载网| 99热热热天天人人人超超碰| 玖玖婷婷五月天毛片| 97色综合视频| 婷婷色在线播放| 99丁香五月婷| 99精品久久| XXXX岛国| 天天天摸夜夜夜玩| 99亚州综合精品成人网| 国产精品色色| 超碰在线人妻| 开心五月婷婷激情| 久久精品A片777777| 五月成人丁香av91| 五月天丁香欧美激情| 久久精品五月天| 99精品视频在线观看免费| 久久这有这里精品| 激情五月色综合国产精品| 天天射色五月天| 欧美色色色色色色| 五月丁香免费看| 人妻体体内射精一区二区| 婷婷丁香18| 五月婷婷亚洲色图| caop在线视频| 岛国资源网| 综合婷婷五月丁香在线观看| 123草逼网| 婷婷丁香成人| 五月婷婷久久爱| WWW.久久久久久久| 77799热| 丁香色综合| 日本久久人人| 国自产拍偷拍精品啪啪一区二区| 精品婷婷丁香五| 大香蕉五月天婷婷丁香91| 99色在线观看免费| 午夜婷婷六月天| 91视频精品99| 五月天电影网| 丁香久月| 五月婷免费视频久久久| 婷婷婷婷婷开心无码播放| 色五月天丁香| 丁香五月婷婷色综合| 99啪啪网| caopeng97日韩| www.日本91| 国产精品久久久久久久久久| 五月亭大香蕉| 五月天成人在线视频丁香| 色亭亭五月天丁香综合AV - 百度 - 百度| 婷婷色色五月| 十二区无码| 这里只有精品免费在线视频| 俺去啦综合网| 五月丁香777| YW无码| 日日天天天| 免费在线观看欧美激情xx小视频| 中文字幕在线免费观看视频| 99在线爽| 性小说五月天| 亚洲午夜一区二区| 色婷婷丁香女女| 99色综合| 婷婷五月天激情小说| 国产99久久久国产精品免费看| www.sebowuyue| sewuyuejiqingwang| 五月婷婷熟女| 色色色1网址| 99在线免费视| 日本久久高清| 综合爱久久| 91啪级电影| 五月天激情四射| 蜜桃婷婷狠狠久久综合| 亚洲五月综合色播| 狠狠干在线| www.综合久久.com| 啪到高潮激情丁香五月| 99在线免费视频| 99热老网站| 久久人妻人人| 婷婷五月天综合久久日美女| 久久综合网免费视频| 久久婷婷五月综合激情国产 | 亚洲啪啪啪啪| 色涩影院六月丁香| 人妻VideOssS人妻高清| 亚洲亚洲人成综合网络| 大香蕉久艹| 久久天堂| 婷婷终合色图| 丁香五月天论坛| www.99riav99| 涩五月丁香| 精品一二三区久久AAA片| 天天肏视频| 亚洲成人中心| 香蕉伊人综合| 可以直接看的av| 丁香五月欧美婷婷| 五月天激情久色| 欧美大肥婆大肥BBBBB| 深爱激情中文五月天av| 9999久久久久| 国产 亚洲 在线| 久久久99视频| 97色在线观看视频| 日日干日日| 9999热在线观看| 综合图片色色| 色婷婷丁香社综合| 激情丁香五月婷婷| 五月天婷婷色色首页| 在线1青婷| 韩国97天堂| 色色色色色网站| 99视频日韩| 亚洲色激情| 超碰永久在线| 日日撸夜夜操| 亚洲精品视频电影| 激情六月婷婷| 日夜操B| 久热这里| 五月激激网w'w'w| 成人做爰A片免费看视频| 婷婷五月天深爱| 91干婷婷| 精品五月天| 69精品人妻不卡视频| 99视频只有精品| 九九综合色综合| 成人精品在线观看| 丁香五月花婷婷开心| 色噜噜狠狠色综无码久久合欧美| 九月婷婷综合八月丁香在线观看| 丰满少妇猛烈A片免费看观看 | 大香蕉福利导航| 五月亚洲| 五月丁香久| 五月丁香成人网| 色五月天综合| 午夜]香婷婷深深爱| 五月婷婷69| www.99热在线观看| 色99色| 天天狠狠色噜噜| 无码人妻一区二区一牛影视| 激情五月天综合网| 97碰啪啪| 裸体做A爰片毛片A片免费| 五月婷婷自拍视频| 丁香五月天激情四射网| 超碰在线人人| 婷婷五月丁香狠狠| 1024久婷| 色情五月丁香| 99精品在| 2013AV天堂| 久久综合99| 天天色,天天操,天天射| 久久性爱激情| 五月色综合| 激情五月六月丁香| 伊人9在线| 99热这里是精品| 激情丁香五月婷婷啪啪| 欧美日比视频| 五月丁香婷婷福利| 色吧网综合| 丁香激情久久| 五六月丁香激情视频| 久久婷婷夜| 99精品在线播放| 思思热精品在线观看| 婷婷永久在线| 九九精品免费视频99| 五月 成人 婷婷| 日本狠狠爽| 九九偷拍网| 丁香五月影院| 99热这里只有精品50| 激情婷婷五月久久| A片试看120分钟做受图片| 亚洲VA口| 婷婷激情六月中文| 91凹凸在线| 天堂伊人干| 91人妻人人做人碰人人爽九色| 五月丁香激情综合六月涩涩爱| 久久91久久91色欲精品| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色色色网站| 日韩一区二区三区无码| 97色97干| 激情五月婷婷色综合| 色色A| 五月婷婷五月| 青青草日本亚洲| 日韩九区| 92久操视频| 99re热视频这里只精品| 玖玖爱资源站| 丁香婷婷色情社区成人小说| 丁香六月色香蕉视频| 久七香蕉| 成人五月天综合网| 九九aV| 一起草无码| 婷婷五月综合视频| 婷婷久久五月| 综合AV在线| 香蕉五月婷婷| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99热天堂| 婷婷六月情| 色婷五月天亚洲| 精品久久99码| 五月天激情啪啪| 婷婷黄色网| 狠狠精品干练久久久无码中文字幕| 在线成人网址| 天天日天天干天天操| 婷婷五月丁香久久| 五月丁香999| 色色丁香| 五月婷婷色影院| 97超级碰碰碰| 色五月色情| 亚洲视频综合网| 亚洲无码99| 51国精产品自偷自偷综合 | 日日干日日| 婷婷六月综合激情| 国产激情AV| 五月天丁香成人| av人人干| 婷婷五月另类网站| 久久成人天| 99精品视频在线| 色噜噜伊人| 第2色五月婷| 五月婷婷六月丁香免费| 操人91| 色婷婷狠狠爱| 久久久97| 色色婷婷五月天| 色色色99| 91久久婷婷| 狠狠干婷婷| 六月激情婷婷| 99久久99九九九99九他书对| 99热久草| 伊人久久大香线蕉av最新| 国产日韩av片| 影音先锋毛片网站| 五月婷婷色影院| 综合大香蕉| 日本99视频| 婷婷丁香五月天哟啪| 欧美99| 色噜噜狠狠色综合伊人| 大香蕉久久伊人婷婷五月丁香| 狠狠干狠狠色| 六月99天天婷婷激情综合| 天天爽爽日日做做| 激情五月图| 深爱五月中文字幕| 插插五月天| 色婷婷五月天不卡| 五月婷婷开心五月| 五月婷婷丁香啪啪| 天天操无码| 婷婷激情六月| 国产成人精品一区二三区熟女在线| 欧美成人AAA片一区国产精品| 国精产品一区一区三区免费视频| 五月天丁香色色| 婷婷色色宗合网| 999久久久国产精品| 五月丁香91| 亚洲国产色婷婷| 欧美激情Va| 五月婷婷福利| 亚洲婷婷欧美婷婷| 亚洲成人综合在线| 五月天婷婷基地| 97久久综合网| 亚洲AV永久无码影院黑人| 色九亚洲| 第四色色六月色综合| 亚洲国产精品成人va在线观看| 婷婷丁香五月综合激情视频| 五月丁香六月婷婷激情网| 激情五月丁香五月| 亚洲欧洲中文日韩久久AV乱码| 91制片厂久久久国产电影| 五月婷婷成人| 五月色婷婷综合色| www.色擼擼.com| 99精品一二三四视频| 能看的AV| 婷婷五月综合丁香久久| 色婷婷久久综合久色综| 久久综合网免费视频| 色五月首页| 婷婷色情网| 五月天电影网| 激情五月色综合网| 五月丁香久久综合| 丁香成人色情五月天| 99久在线观看| 亚洲精品白浆高清久久久久久| 婷婷色综合av| 中文字幕丰满乱孑伦无码专区| 丁香婷婷激情五月色| 五月丁香狠狠| 另类专区在线观看| 久久综合99综合| 天天肏高清在线| 成人色五月天| 超碰不卡在线| 亚洲第一成人无码A片| 色婷婷瘦婷婷日韩| 五月天激情在线视频| 婷婷无码五月天| 97啪啪| 人人草碰| 激情丁香五月婷| 久色五月丁香视频| 99视频只有精品| 久久九九精彩| 日本熟妇人妻在线| 婷婷六月啪啪| 婷婷干| 久热这里只有精品性色AV| 丁香六月久| 337p大胆噜噜噜噜噜91Av| 色吊丝中文字幕| 丁香月五月天婷婷久久| 色色色在线观看| 91av传媒高清在线视频网| 亚洲av网站在线观看| 日韩久久这里只有精品| 九九热免费| 天天透天天干| 狠狠色情婷婷| www狠狠| 人妻五月天激情开心网| 嫩草综合网| 五夜婷婷| 日韩无码乱轮| 婷婷综合伊人丁香| 久99视频| 超碰色色综合| 狠狠xx| 亚州在线中文字幕| 99热这里在线精品| 色情五月天丁香社区| 亚洲黄色操逼| 69五月天视频| 五月丁香成人网| 91丨九色|PRNY熟妇| 久久婷婷五月综合啪| 丁香六月激情| 久久久网站| 秋霞AV淫| 久热久re| 久久五月婷天天干| 公的粗大挺进了我的密道| 91成人品| 国产免费一区二区三州老师F1F1| 在线sebiav精品视频| 能看的AV网站| 99色综合| 在线观看熟女少妇| 日本色天堂| 丁香五月婷婷天堂大香蕉| 涩婷婷五月天| 日韩久久系列| 五月丁香成人版| 无码人妻精品一区二区蜜桃色欲 | 婷婷丁香18| 婷婷五月天色网久| 开心激情婷婷| 天天色天天爽| 五月花免费视频| 午夜天堂啪啪| 大香蕉五月天| 色婷婷丁香综合中文字幕| 五月色综合| 五月天伊人久久久久| 99热一区| 婷婷色情五月| 综合网亚洲| 大香久久伊人网| 开心五月婷婷婷美女| 久久精品日| 蜜乳中文字| 婷婷综合在线网| 九九视频这里只有精彩| 五月婷婷 激情按摩| 五月天玖玖狠狠色色| 久久全意婷婷| 亚洲人成人五月天| 五月丁香花激情啪啪网| 丁香午夜天| 亚洲有码在线视频| 狠狠99| 啊V视频在线观看| 久月婷婷| 性爱AV天堂| 激情六月天| 天天狠狠色噜噜| 在线观看视频1区| 玖玖资源站中文| 欧美日韩五月婷婷| 区美毛片子| www久久久| 国产超碰在线| 99热九九在线| 日本欧美999久久久三级片| 丁香五月婷婷网| 影音先锋毛片网站| 亚洲精品大片| tingting五月天亚洲| 丁香五月-激情综合| 色五月婷婷久久| 色婷婷啪啪啪啪啪啪| 五月丁香狠狠爱| 97丁香五月天| av在线免费播放观看| 婷婷五月天小说网| 亚州操操| 色色婷| 色久综合天天做视频| 国产4P视频精品五区| 粉嫩av懂色av蜜臀av熟妇| 婷婷五月在线综合| 日韩久久成人| 天天天干夜夜夜操| 久热欧美| 麻豆AV一区二区三区| 婷婷丁香人妻天天| 久久伦乱| 久久五月丁香| 五月天婷婷丁香社区| 欧美99视频| 色久综合| 无码任你操| 色香蕉影院| 中国女人做爰A片| 色色色色网站| 天天摸天天舔在线视频| 5月丁香美女影院| 9l视频自拍9l九色9l成人| 色色色视频免费无码 | 99精品久久| 99热久久这里只有精品2010| 超碰色色综合| 色婷婷基地 | 色五月五月婷婷| 久久婷婷六月| 嫩草哈哈操| 26uuu最新地址| 六月丁香婷婷五月| 亚洲AV成人在线| 99天堂在线观看免费视频| www99在线观看视频| 五月天色综合服务平台| 直接看的AV| 狠色狠色狠狠色综合网| 午夜成人在线免费视频| 色情成人五月天|