99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

JVM內(nèi)存溢出排查:數(shù)據(jù)庫連接對象堆積與連接池泄漏實(shí)戰(zhàn)

JVM內(nèi)存溢出排查:數(shù)據(jù)庫連接對象堆積與連接池泄漏實(shí)戰(zhàn) 某個(gè)線上服務(wù)在凌晨開始陸續(xù)出現(xiàn)接口超時(shí)堆內(nèi)存監(jiān)控曲線一路向上從2GB爬到3.8GB只用了幾個(gè)小時(shí)隨后接連拋出OutOfMemoryError: Java heap space。容器重啟后過了一會(huì)兒又反復(fù)。打開GC日志和堆轉(zhuǎn)儲(chǔ)一看老年代里堆滿了同一個(gè)類名com.mysql.cj.jdbc.ConnectionImpl對象數(shù)量達(dá)到六位數(shù)。這就是典型的“JVM內(nèi)存溢出-數(shù)據(jù)庫連接對象大量累積”問題。數(shù)據(jù)庫連接本身不算龐然大物但成千上萬個(gè)連接對象疊加在一起足以把堆內(nèi)存榨干。真正有價(jià)值的不只是知道“發(fā)生了什么”而是搞清楚連接對象為什么只增不減、怎樣在不影響線上業(yè)務(wù)的情況下把它定位出來、修完之后又怎么防止同類問題再次出現(xiàn)。這篇文章就按這個(gè)脈絡(luò)寫給同樣被內(nèi)存溢出和連接池問題折磨的人一份可復(fù)用的排查手冊。1. 先搞清楚連接對象累積與堆溢出是什么關(guān)系在動(dòng)手抓堆轉(zhuǎn)儲(chǔ)之前一定要先把問題定性。很多人一看到內(nèi)存溢出第一反應(yīng)是堆太小或者GC參數(shù)不對實(shí)際上連接對象累積類的問題根因往往藏在業(yè)務(wù)代碼和連接池策略里??梢园堰@類故障從兩個(gè)層面拆開看一個(gè)是單條連接在JVM里到底占多少內(nèi)存一個(gè)是這些連接究竟是怎么積累起來的。1.1 一條數(shù)據(jù)庫連接在JVM里到底占多大地方“一條Connection能占多大頂多幾百字節(jié)”這是對數(shù)據(jù)庫連接對象的典型誤解。連接在JVM堆里的內(nèi)存占用遠(yuǎn)不止接口對象本身。以最常見的MySQL客戶端連接器為例一個(gè)Connection對象背后至少包含這樣幾塊內(nèi)容Socket通道的輸入緩沖區(qū)和輸出緩沖區(qū)每塊默認(rèn)就是8KB到16KB兩個(gè)加起來已經(jīng)有十幾KB協(xié)議解析層、編碼轉(zhuǎn)換層、事務(wù)狀態(tài)機(jī)等內(nèi)部對象預(yù)編譯Statement緩存如果打開useServerPrepStmts每條SQL對應(yīng)一個(gè)對象連接上下文、字符集元數(shù)據(jù)、用戶權(quán)限相關(guān)的緩存把這些疊加起來一條空閑連接在MySQL 8.x連接器下實(shí)測常常是150KB往上。要是連接上執(zhí)行過較多SQL產(chǎn)生了較多預(yù)編譯緩存單條連接突破200KB到300KB也不奇怪。做道算術(shù)題堆內(nèi)存設(shè)4GB按單條連接200KB估算累積到2萬條連接就是4GB左右。也就是說堆里躺上2萬個(gè)連接對象整個(gè)堆就基本廢了。而且連接數(shù)量越多GC掃描這些對象的時(shí)間越長Full GC停頓會(huì)越來越明顯服務(wù)表現(xiàn)為周期性卡頓一直到OOM徹底爆發(fā)。1.2 兩類累積泄漏型累積與池容量型累積“大量連接對象”這個(gè)描述太籠統(tǒng)實(shí)際要分成兩類來看排查方向完全不同。第一類是泄漏型累積。連接從池里借出來之后關(guān)閉動(dòng)作因?yàn)楫惓?、提前return、分支遺漏等原因沒有執(zhí)行連接對象就一直被某個(gè)線程?;蛘哽o態(tài)容器引用著永遠(yuǎn)回不到池里。池本身有上限但借出的連接只要還沒有歸還池的數(shù)據(jù)結(jié)構(gòu)里就一直持有它的狀態(tài)記錄。于是連接對象數(shù)量只增不減堆內(nèi)存持續(xù)爬升。這種在堆轉(zhuǎn)儲(chǔ)里的特征是連接對象被某條業(yè)務(wù)線程的棧幀、或者某個(gè)全局容器持久引用而不是掛在連接池的空閑隊(duì)列上。第二類是池容量型累積。這種更隱蔽代碼沒有泄漏但連接池配置的maximumPoolSize本身極大池策略又允許大量空閑連接長期存活。比如把池上限設(shè)成500系統(tǒng)實(shí)際日常只需要20個(gè)連接剩下的480個(gè)連接一直活著堆里躺著大量空閑連接純屬浪費(fèi)。每個(gè)空閑連接的內(nèi)存雖然不如活躍連接那么高但架不住數(shù)量多。更麻煩的是池創(chuàng)建連接的速度遠(yuǎn)大于釋放速度高峰期內(nèi)存占用會(huì)迅速膨脹。兩類問題都會(huì)讓你在堆轉(zhuǎn)儲(chǔ)里看到大量ConnectionImpl對象但前者要改代碼后者改配置加監(jiān)控就能解決。如果在第一步就把問題歸錯(cuò)類后面所有的排查動(dòng)作都會(huì)跑偏。2. 根因在哪里常見的連接對象累積路徑把這些年遇到過的線上事故疊在一起看連接對象累積基本逃不出下面幾種模式。2.1 手動(dòng)管理連接關(guān)閉路徑被異常跳過有些老項(xiàng)目里存在不少手寫JDBC的場景開發(fā)對連接池的理解停留在“調(diào)用getConnection就能拿連接”但關(guān)閉邏輯寫得非常隨意。Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql); ResultSet rs ps.executeQuery(); while (rs.next()) { // 業(yè)務(wù)處理 } // 這里沒有close連接池里永遠(yuǎn)少一個(gè)連接這種代碼在低并發(fā)下長期不炸因?yàn)檫B接池會(huì)自動(dòng)擴(kuò)容你總覺得連接夠用??闪髁恳坏┥蟻沓乩锏倪B接被借光新請求就開始排隊(duì)超時(shí)。同時(shí)泄漏一直在發(fā)生池在擴(kuò)容到上限之后也無法滿足需求堆內(nèi)存被新連接和等待隊(duì)列不斷撐大量變積累成質(zhì)變OOM就來了。還有一種更容易被忽視的寫法明明寫了finally塊做close但方法里catch塊把異常吞了而close操作又依賴前面某個(gè)資源的中間狀態(tài)。比如在try里初始化PreparedStatement時(shí)就拋了異常對象還是nullfinally卻直接調(diào)用ps.close()空指針把關(guān)閉動(dòng)作徹底打斷。這種問題在代碼評審時(shí)極易漏掉因?yàn)檎B窂娇雌饋硎峭暾P(guān)閉的只有異常路徑才露餡。2.2 連接池參數(shù)配置與業(yè)務(wù)容量嚴(yán)重失配另一類常見情況是代碼邏輯沒有明顯泄漏問題出在連接池容量規(guī)劃上。我見過有團(tuán)隊(duì)一遇到“連接池耗盡”的報(bào)錯(cuò)就簡單粗暴把maxPoolSize從10改成1000。從工程角度講這不是在解決問題而是給數(shù)據(jù)庫下毒。連接池的上限不只是內(nèi)存問題1000個(gè)連接同時(shí)建到數(shù)據(jù)庫實(shí)例上數(shù)據(jù)庫端的線程、內(nèi)存、鎖全都會(huì)被拖垮整體吞吐量不升反降。更合理的做法是估算連接需求。經(jīng)驗(yàn)公式大概是需要連接數(shù) 接口QPS × 單次操作持有連接的平均秒數(shù)舉個(gè)例子某接口QPS是200每次請求大約占用連接200毫秒那么需要的連接數(shù)就是200 × 0.2 40再留20%到30%余量設(shè)置50就非常寬裕。如果QPS和平均耗時(shí)不變硬把池上限設(shè)成500大部分時(shí)間池里躺著450條空閑連接對JVM堆是純浪費(fèi)對數(shù)據(jù)庫是無謂壓力。2.3 Spring事務(wù)與MyBatis會(huì)話的隱性持有還有一類比顯式泄漏更隱蔽的問題連接并沒有丟失但被長時(shí)間占用數(shù)量一多效果等同于泄漏。Spring的Transactional會(huì)把數(shù)據(jù)庫連接綁定到當(dāng)前線程的ThreadLocal資源管理器只有事務(wù)提交或回滾之后才釋放綁定。如果方法內(nèi)部嵌套了耗時(shí)很長的本地緩存操作、大批量文件處理、或者一次外部HTTP調(diào)用連接就會(huì)一直被線程攥著不放。消息隊(duì)列消費(fèi)邏輯套事務(wù)注解是重災(zāi)區(qū)。一條消息被消費(fèi)時(shí)觸發(fā)了復(fù)雜的業(yè)務(wù)鏈路處理10秒連接就被綁定10秒。消費(fèi)線程池32個(gè)連接池上限30瞬時(shí)并發(fā)上來池里可用連接直接歸零。這類問題的特征是堆轉(zhuǎn)儲(chǔ)里的連接對象數(shù)量可能并不夸張但連接池的active指標(biāo)一直頂滿pending指標(biāo)持續(xù)上漲。修復(fù)方向不是調(diào)大連接池而是收縮事務(wù)邊界把遠(yuǎn)程調(diào)用、耗時(shí)操作全部挪到事務(wù)方法外面去。2.4 多數(shù)據(jù)源場景下的DataSource重復(fù)創(chuàng)建動(dòng)態(tài)數(shù)據(jù)源也是一個(gè)高頻坑位。為了做讀寫分離或者多租戶隔離有些項(xiàng)目用Map緩存了多個(gè)DataSource實(shí)例每次切換數(shù)據(jù)源就new一個(gè)舊的實(shí)例卻沒有關(guān)閉。HikariDataSource創(chuàng)建后池后臺(tái)線程會(huì)一直存活。堆轉(zhuǎn)儲(chǔ)里不只是ConnectionImpl數(shù)量多還能看到多個(gè)HikariPool實(shí)例以及成倍增長的池控制線程。這種場景下連接對象是被多個(gè)連接池對象分開持有的單看數(shù)量可能沒到嚇人的程度但加上線程對象、隊(duì)列對象、緩沖區(qū)對象以后內(nèi)存占用依然非常可觀。定位后處理方式也很明確要么統(tǒng)一走路由層整個(gè)JVM只保留真正在用的數(shù)據(jù)源實(shí)例要么為動(dòng)態(tài)數(shù)據(jù)源設(shè)計(jì)完整的生命周期管理確保切換后舊實(shí)例能被正常關(guān)閉和回收。3. 從現(xiàn)象到定位一次完整的在線排查這一章是整個(gè)排查過程最實(shí)操的部分按我當(dāng)時(shí)處理事故的順序?qū)憽?.1 第一步用jstat觀察GC與堆內(nèi)存趨勢定位JVM內(nèi)存問題最忌諱一上來就抓堆轉(zhuǎn)儲(chǔ)。正確的第一步是先看趨勢。登錄到報(bào)警機(jī)器先通過jps找到進(jìn)程PID然后執(zhí)行jstat -gcutil pid 1000 2000這條命令每秒采樣一次持續(xù)2000秒。輸出里重點(diǎn)看E、O、FGC這三列。E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC次數(shù)。如果你看到O列持續(xù)上漲Full GC之后O列也不回落說明確實(shí)有對象在老年代不斷累積。再配合系統(tǒng)負(fù)載和接口監(jiān)控就能把問題范圍先從“整臺(tái)JVM內(nèi)存溢出”壓縮到“某類對象只增不減”。這一步的目的有兩個(gè)一是確認(rèn)堆轉(zhuǎn)儲(chǔ)有沒有必要抓二是為后續(xù)分析提供內(nèi)存使用基線。如果老年代穩(wěn)定不動(dòng)Full GC正常單純是堆參數(shù)設(shè)太小那調(diào)整-Xmx就行跟連接對象沒關(guān)系。如果像當(dāng)時(shí)那樣O列一路爬升就可以放心進(jìn)入下一步了。3.2 第二步抓堆轉(zhuǎn)儲(chǔ)確認(rèn)對象構(gòu)成確認(rèn)老年代在持續(xù)上漲后需要抓一份堆轉(zhuǎn)儲(chǔ)jcmd pid GC.heap_dump /tmp/heap-pid.hprof用jcmd而不是jmap -dump抓是因?yàn)閖cmd默認(rèn)不帶live參數(shù)不會(huì)先觸發(fā)一次Full GC能保留堆現(xiàn)場的原始狀態(tài)。抓堆之前先確認(rèn)磁盤剩余空間堆如果配置4GBhprof文件通常也會(huì)有接近4GB的大小別把磁盤寫爆了。抓完堆之后先用快速命令看對象分布jmap -histo pid | head -40這段輸出的價(jià)值在于給出對象數(shù)量的Top N。在連接泄漏事故里你經(jīng)常會(huì)在最前面看到這樣幾個(gè)類名com.mysql.cj.jdbc.ConnectionImplMySQL 8.x連接器com.zaxxer.hikari.pool.PoolEntryHikariCP池條目com.alibaba.druid.pool.DruidPooledConnectionDruid池包裝連接當(dāng)ConnectionImpl的對象數(shù)量達(dá)到幾十萬級時(shí)基本可以確定方向。但我必須提醒一句對象數(shù)量多只是信號(hào)不直接等于泄漏。繼續(xù)往下看引用鏈才是真正的判定依據(jù)。3.3 第三步用MAT定位GC Root持有鏈路把hprof文件下載到本地用Eclipse MAT打開。操作步驟是先看Histogram按對象個(gè)數(shù)排序過濾出ConnectionImpl這類類名右鍵選擇List objects - with outgoing references看這些連接都引用了什么再右鍵選擇Path to GC Roots - exclude weak references把GC Root路徑完整顯示出來。CG Root路徑通常會(huì)呈現(xiàn)三種典型情況連接被HikariPool內(nèi)部的ConcurrentBag引用這是連接池自己在持有的正常連接。如果數(shù)量已經(jīng)明顯超過池配置的上限說明池被撐爆需要回到池配置審查。連接被某條線程棧的局部變量引用這是正在使用中的連接算不上異常。但如果這些線程都停留在同一個(gè)業(yè)務(wù)方法里而且數(shù)量持續(xù)上漲說明這條方法大概率在泄漏連接。連接被某個(gè)實(shí)例字段或靜態(tài)容器引用這是最典型的泄漏實(shí)錘。代碼把Connection對象塞進(jìn)了數(shù)組、Map、ThreadLocal之類容器里使用完沒有清理導(dǎo)致GC Root能一路找到它。通過MAT的引用路徑可以直接對應(yīng)到具體類名和字段名再結(jié)合源碼倉庫就能定位到方法行號(hào)比在代碼里瞎搜快得多。3.4 第四步結(jié)合業(yè)務(wù)代碼確認(rèn)泄漏點(diǎn)拿到MAT的結(jié)論后回到代碼倉庫打開對應(yīng)的類。我在實(shí)際項(xiàng)目里遇到的漏法主要有三種catch分支里沒有釋放連接只有正常try路徑執(zhí)行了close方法返回前提前return跳過了統(tǒng)一釋放邏輯在循環(huán)體里多次調(diào)getConnection最后只關(guān)閉了一個(gè)前面的全部漏掉修好泄漏點(diǎn)之后先別急著擴(kuò)堆。部署新版本觀察連接池的活躍連接數(shù)和JVM內(nèi)存曲線。如果active數(shù)能隨著流量回落內(nèi)存曲線走平才算真正修好。這里還要提個(gè)建議修復(fù)一個(gè)泄漏點(diǎn)往往不夠建議在代碼庫全局搜索getConnection的調(diào)用點(diǎn)把所有手工獲取連接的代碼統(tǒng)一審一遍把同類型的隱患一次性清理掉。4. 修復(fù)方案與參數(shù)調(diào)優(yōu)落地定位到根因之后修復(fù)方案要落在三個(gè)層面代碼寫法、連接池配置、監(jiān)控告警。缺一不可。4.1 代碼層修復(fù)連接獲取與釋放的規(guī)范寫法如果項(xiàng)目還在使用原生JDBC或者裸連接管理務(wù)必統(tǒng)一成try-with-resources寫法try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql); ResultSet rs ps.executeQuery()) { while (rs.next()) { // 業(yè)務(wù)處理 } } catch (SQLException e) { log.error(query failed, e); }這種寫法的好處是資源關(guān)閉順序由語言層面保證無論正常執(zhí)行還是拋出異常都會(huì)按逆序調(diào)用close方法。對于從連接池取出的代理Connection這個(gè)close的語義是“歸還連接池”并不是真正斷開物理連接所以不用擔(dān)心頻繁開關(guān)連接帶來的性能損耗。如果項(xiàng)目Java版本受限無法用try-with-resources也要遵守一個(gè)原則close動(dòng)作只寫在finally里不要分散到try和catch的多個(gè)位置否則極易漏掉分支。還有一個(gè)實(shí)用技巧是給連接操作寫一個(gè)統(tǒng)一的工具方法把連接獲取、關(guān)閉邏輯收斂到一處。業(yè)務(wù)代碼只調(diào)用工具方法從源頭杜絕寫法混亂。4.2 連接池參數(shù)調(diào)整以HikariCP為例Spring Boot默認(rèn)使用的連接池是HikariCP配置文件可以這樣調(diào)整spring: datasource: hikari: maximum-pool-size: 50 minimum-idle: 10 connection-timeout: 30000 max-lifetime: 1800000 idle-timeout: 600000 leak-detection-threshold: 60000每個(gè)參數(shù)為什么要這樣設(shè)背后都有邏輯maximum-pool-size池上限。不要拍腦袋設(shè)一個(gè)整數(shù)按前面說的QPS × 平均連接占用時(shí)間估算留20%到30%余量。連接數(shù)過大對數(shù)據(jù)庫本身也是一種壓力。minimum-idle池保持的最小空閑連接數(shù)。如果服務(wù)空閑期不想保留太多空閑連接可以把值調(diào)低配合idle-timeout使用如果日常流量波動(dòng)大建議設(shè)置成與maximum-pool-size一致避免池頻繁擴(kuò)縮容導(dǎo)致性能抖動(dòng)。connection-timeout客戶端等待連接的時(shí)間線上建議30秒。設(shè)太短突發(fā)流量時(shí)大量請求直接超時(shí)設(shè)太長用戶側(cè)等待感過強(qiáng)。max-lifetime連接最大存活時(shí)間必須小于數(shù)據(jù)庫的wait_timeout。MySQL默認(rèn)wait_timeout是28800秒HikariCP默認(rèn)30分鐘。保持默認(rèn)值是安全的只要低于數(shù)據(jù)庫端即可。idle-timeout空閑連接最大存活時(shí)間。注意它只在池中連接數(shù)超過minimumIdle時(shí)才生效如果minimumIdle和maximumPoolSize相等空閑連接不會(huì)被銷毀。leak-detection-threshold連接被借出超過這個(gè)時(shí)間沒有歸還HikariCP會(huì)輸出警告日志。設(shè)成60000毫秒可以較早捕獲泄漏點(diǎn)。前提是它必須小于max-lifetime否則配置會(huì)沖突。這組參數(shù)改完后連接數(shù)曲線通常兩三個(gè)發(fā)布周期就能看到明顯收斂。參數(shù)本身不是越多越好而是要和業(yè)務(wù)容量的真實(shí)需求匹配。4.3 Druid的特殊兜底手段removeAbandoned如果你用的是Druid連接池它提供了一套針對連接泄漏的兜底配置spring: datasource: druid: initial-size: 5 min-idle: 5 max-active: 50 max-wait: 30000 remove-abandoned: true remove-abandoned-timeout-millis: 300000 log-abandoned: trueremove-abandoned的意思是連接被借出超過remove-abandoned-timeout-millis指定的毫秒數(shù)后還沒歸還Druid會(huì)從代碼里強(qiáng)制回收這個(gè)連接。log-abandoned打開后Druid會(huì)打印包含調(diào)用棧的告警日志定位泄漏非常方便。但這把雙刃劍要用得謹(jǐn)慎。如果業(yè)務(wù)里存在合法的長事務(wù)比如一個(gè)20分鐘的大批量導(dǎo)入任務(wù)而你設(shè)置的回收閾值是300秒事務(wù)后段的數(shù)據(jù)操作會(huì)被強(qiáng)制回收打斷引發(fā)數(shù)據(jù)一致性問題。因此這類兜底配置只建議在確實(shí)存在泄漏、且業(yè)務(wù)里沒有超過閾值的正常長任務(wù)時(shí)才啟用。更穩(wěn)妥的順序是先用log-abandoned定位泄漏分支修復(fù)代碼再?zèng)Q定是否保留remove-abandoned作為最后防線。4.4 建立三層監(jiān)控防線排查和修復(fù)都完成后最后一步是把防線建立起來避免同類問題在無人值守的深夜再次爆發(fā)。我一般分三層來做第一層JVM內(nèi)存層。使用Spring Boot Actuator加Micrometer把指標(biāo)暴露給Prometheus重點(diǎn)監(jiān)控jvm_memory_used_bytes和Full GC次數(shù)。一旦老年代內(nèi)存持續(xù)增長連續(xù)多個(gè)采集周期環(huán)比為正立刻告警。第二層連接池層。HikariCP會(huì)輸出hikaricp_connections_active、hikaricp_connections_idle、hikaricp_connections_pending這幾個(gè)關(guān)鍵指標(biāo)。建議給active占總?cè)萘勘壤O(shè)置80%閾值pending持續(xù)大于0且維持5分鐘以上就觸發(fā)告警。Druid也可以打開監(jiān)控頁但生產(chǎn)環(huán)境一定要做訪問鑒權(quán)。第三層SQL與事務(wù)層。開啟數(shù)據(jù)庫慢查詢?nèi)罩景殉^1秒的SQL記錄下來。應(yīng)用側(cè)記錄每個(gè)事務(wù)方法的耗時(shí)超過閾值就預(yù)警。一條慢SQL執(zhí)行5秒就有一個(gè)連接被占用5秒。慢SQL一旦集中出現(xiàn)連接池很快見底。三層指標(biāo)互相配合連接對象的任何異常累積都能在早期被捕捉到。5. 常見問題排查與避坑記錄這一路排查下來有些錯(cuò)誤和坑值得單獨(dú)記錄下來以后遇到類似問題能少走彎路?,F(xiàn)象可能原因排查或處理建議堆內(nèi)存持續(xù)上漲連接對象數(shù)量龐大連接泄漏或池配置過大先看GC Root引用鏈區(qū)分泄漏型還是容量型HikariCP連接池請求超時(shí)池耗盡多與慢SQL或長事務(wù)有關(guān)查數(shù)據(jù)庫慢日志收縮事務(wù)邊界日志顯示連接一直未歸還方法提前return或異常分支漏close用try-with-resources重寫復(fù)查catch分支連接池頻繁擴(kuò)縮容minimumIdle與maximumPoolSize差距過大把minimum-idle調(diào)高接近maximum-pool-sizeDruid強(qiáng)制回收后事務(wù)中斷長任務(wù)超過回收閾值調(diào)大回收時(shí)間或去掉兜底優(yōu)先修代碼再分享三個(gè)實(shí)際踩過的坑第一個(gè)坑不要在業(yè)務(wù)高峰期直接抓dump并立刻重啟實(shí)例。抓dump本身會(huì)給服務(wù)增加一次內(nèi)存快照和磁盤寫入如果堆已經(jīng)接近裝滿可能直接觸發(fā)又一次Full GC。更穩(wěn)妥的順序是先記錄現(xiàn)場指標(biāo)把實(shí)例從負(fù)載均衡上摘掉流量再抓dump最后重啟。先留證據(jù)再補(bǔ)救否則重啟完現(xiàn)場沒了根因也找不到了。第二個(gè)坑不要只盯著ConnectionImpl類名就下結(jié)論。之前看一個(gè)案例dump里ConnectionImpl數(shù)量非常多我差點(diǎn)判定是代碼泄漏。但順著GC Root追下去發(fā)現(xiàn)這些連接幾乎全部被HikariPool自己持有原來是某次擴(kuò)容把maximumPoolSize沖到了800代碼本身反而沒問題。引用鏈才是判官類名數(shù)量只是線索。第三個(gè)坑連接池參數(shù)修完之后不要直接撒手。一個(gè)泄漏點(diǎn)往往只在一類流量場景下才觸發(fā)比如某個(gè)爬蟲任務(wù)、某個(gè)特殊的對賬流程。修完連接池配置把內(nèi)存壓下來不代表所有場景都安全了。只要代碼庫里還存在手工獲取連接的調(diào)用點(diǎn)建議花時(shí)間統(tǒng)一改造讓連接回收路徑經(jīng)得起評審。我個(gè)人在處理這類問題時(shí)的習(xí)慣是一開始就拒絕調(diào)堆參數(shù)。加大-Xmx只是把癥狀往后推不會(huì)讓泄漏消失。正確路徑永遠(yuǎn)是把GC趨勢、堆轉(zhuǎn)儲(chǔ)、GC Root引用鏈走完讓證據(jù)說話。如果你也被JVM內(nèi)存溢出和連接池累積問題纏住按這套流程走一遍大部分事故都能在幾小時(shí)內(nèi)鎖定根因。最后送一句實(shí)操口訣連接泄漏看GC Root連接池容量看指標(biāo)修復(fù)之后看曲線。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久精品亚洲一级牲爱综合| 香蕉久久国产AV一区二区| 激情黄色五月天| 九色视频91| 91色性感五月婷婷丁香| 五月亭亭六月色| 亚洲狠狠干| 丁香六月激情| 久久伦乱| 色七七九九| 色丁香久久久| 9热超碰| 天堂草在线看www| 玖玖99免费视频| 婷婷五月天影院| 丁香啪啪中文字幕| 91ncom.色| 五月天丁香欧美激情| 激情网第四色| 亚洲激情在线| 婷婷97碰碰| 六月丁香综合| 综合色综合| 99热欧美| 99九九在线精品热动漫| 婷婷六月丁香在线| Av大香蕉| 国产偷人爽久久久久久老妇APP| www,8050,午夜三级| 欧美色激情四射| 色碰碰| 婷婷丁香五月激情密臀av| 九九色热| 天天色综合网吨吧| 6080av| 欧美肉大捧一进一出免费视频| 丁香六月天之亚州热女| 色亚洲无码| 超碰人人干| 激情五月天婷婷丁香 | 久久九九99桃花视频| 91五月天| 乱精品一区字幕二区| 99热久草| 超碰在线9| 日逼免费视频| 免费观看日韩成人av| 都市激情小说婷婷| 婷婷激情丁五月| 丁香五月激情综合婷综| 欧美啪啪五月天| 大香蕉综合视频在线| 国产成人99久久亚洲综合精品| 五月婷亚洲精品| 9有码中文| 日韩欧美颜射| 日本久久99| 日本婷婷五月天| 激情五月丁香六月| 色五月大| 综合五月婷婷| 五月婷婷色色| 亚洲激情四射色| 伊人久久婷婷| 婷婷99视频在线| 十月丁香九月婷婷综合| 婷婷狠狠操| 五月婷婷人妻| 五月丁香婷庭在线| 这里只有精品视频99| 99综合激情久久精品久久| 香蕉视频91| 综合99视频| 99久久終合| 极品精品一区二区三区在线| 五月丁香趴趴| 超碰人人干| 日日噜噜夜夜狠狠久久丁香六月| 99超在线| www一区二区三区| 亚洲乱码成人| 激情五月天在线免费美女视频| 狠狠色噜噜色狠狠狠综合久久成人波| 九九色综合视频| 亚洲黄网在线| 婷婷丁香五月91| 激情综合色图| 婷婷伊人久久综合| 五月丁香精品| 丁香五月之久操视频| 91热久88| 狠狠色婷婷7777久综合| 色婷婷成人丁香| 五月婷婷m| 性99网站| 丁香五月在线| 在线免费观看激情视频| 国产精品久久久99视频| 婷婷五月天免费视频| 婷婷刺激综合| 九九成人电影婷婷| 五月香蕉网| 日韩性视频| 久久只有精| 丁香五月 综合| 91丁香| 99热爱爱干干日| 色婷婷激情四射视频| 欧美人久久| 丁香五月婷婷成人色区| 99久久www| 日亚二欧美| 亚洲天堂久久| 99久久.www| 99操逼| 六月婷五月丁香| 亚洲色亚洲精品| 婷婷午夜精品久久久| 色色激情五月天| 五月婷婷激情在线| 狠狠色性| 26uuu日韩| Aaa久久| 久久天天天| 欧州色色| 婷婷色五月大香蕉在线| 亚洲综合婷婷| 五月婷视频| 免费看欧美成人A片无码| 99视频在线观看视频| 99久久免费性爱视频`| 成人精品99| 国产成人网址| 丁香五月欧美成人| 另类激情综合| 色老久久| 激情五月婷婷在线观看| 五月婷中文娱乐综合| 色5在线| 开心五月网 | 久久99大| 五月丁香婷婷综合激情基地| 蜜桃人妻无码AV天堂三区| 99视频网址| 久久婷婷五月天激情| 色婷婷狠狠18禁| 五月婷婷国产| 五月激情婷婷丁香天堂| 超级碰人人操人人干| 九九热10| 五月天久久综合| 99热只有精品在线播放| 久久er免费视频| 99精彩视频| 国产一区二区av免费| 亚洲av成人在线| 亚洲综合五月天婷婷| 久久精品国产AV一区二区三区 | 久久男人网婷婷| 亚洲五月天综合| 久热中文字幕| 五月婷婷久久久| 狠狠色大香蕉| 综合久久高清| 99久在线精品99re8热| 欧洲综合视频| 色99在线视频| 五月婷婷六月丁香激情综合网| 日本久久天堂| 涩涩五月天综合| 激情丁香五月天| 色五月婷婷婷婷婷婷婷婷婷婷| 五月婷婷亚洲| 怕怕視頻| 91蝌蚪窝视频在线| 久久99精品久久只有精品| 五月综合激情网| 99热这里只有国产精品| 六月丁香啪| 第五色婷婷| 精品九九网| 91丨九色丨熟女| 五月丁香婷婷成人版| 丁香五月婷婷网| 久久一品区| 夜夜谢天天干| 丁香五月婷婷狠狠色| 五月天啪啪啪| www色中色综合| 亚洲精品无码A片一区二区| 人妻精品久久久久久久| 色播播婷婷| 99丁香五月婷| 久久九九免费大视频| 日本人妻伦在线中文字幕| 亚洲五月天综合| 丁香五月之久操视频| 丁香婷婷综合激情五月色| 密着浓厚中出乚交尾GvG935| 操逼三区| 丁香五月婷婷六月婷| 狠狠婷婷色| 夜夜骑天天玩天天日| 996热re视频在线观看视频| 激情婷婷人妻| 成人国产网| 青草少妇激情| 欧洲不卡视频| 久久只有精品| 婷婷丁香五月天影院| 中文AV网站| 99er免费在线观看| 五月婷综合| 天天爽夜爽| 爆乳熟女-区二区三区| 日本九九视频| 伊人久久五月天| 日韩精品超碰在线观看| 男人大jjc女人免费视频| 五月天天视频| 九九热这里只有精品31| 另类小说五月天| 欧美日本日韩| 日本精品99| 丁香五月AV综合激情| 五月婷婷色色网址| 99干免费视频| 九九在线视频| 五月丁香六月婷综合成人综合| 婷婷激情五月天色| 久久久久婷婷五月热综合| 极品五月天| 五月天婷婷激情小说电影| 校园激情 亚洲| 日韩精品超碰在线观看| 色护士综合| 久久综合激情| 综合网色| 亚洲欧美丁香五月天亚洲欧美| 深爱五月天婷综合| 老司机午夜福利视频金瓶梅| 日本99视频| 激情激情激情网| 强奸幻女毛片| a免费在线| 91啪啪视频| 国产色网站| 亚洲人妻一区二区| 亚洲综合激情五月久久| 超碰成人在线观看| 午夜日韩久久久网站| 人妻丰满精品一区二区A片| 思思热在线视频99| www.五月天婷婷姐姐| 久久综合中文| 日夜操B| 丁香五月激情综合婷综| 婷婷五月18永久免费网站| 男女啪啪视频久 9| 国产成人综合亚洲| 激情综合五月丁香六月婷婷| 九一娱乐在线观看视频| 影音先锋男士资源网一区| 综合色99| 最近韩国日本免费高清观看| 日韩av手机在线观看| 激情五月天色播| 99操视频| 丁香六月婷婷综合| 熟女色色一区二区| av电影在线播放| 九月婷婷人人操人人舔人人爱| 国产69久久久欧美黑人A片| 色色色999| 夜夜谢天天干| 少妇伦子伦精品无吗| 久久香蕉影院| 操精品9| 香蕉久久五月| 色五月婷婷综合| 99视频一区| 人人看人人摸人人| 超碰网站在线观看| 五月丁香六月婷婷网| 另类视频综合| 久久精品国产一区二区三区四区| 99色嘟嘟精品网站| 1024婷婷综合久久五月天| 久9无码视频| 激情啪啪五月| 五月天激情站| 深爱激情网综合| www 五月天 com| 九九热九九热精品| 开心激情综合| 射区导航| 久久激情视频| 丁香天堂夜| 久久综合婷婷五月| 亚洲天天免费| 色婷婷五月综合| 人妻激情综合| 日本精品人妻无码77777| 国产婷伊人| 大香蕉在线观看9| 国产色99| 久久久思思热| 丁香五月社区| 国自产拍偷拍精品啪啪一区二区| 成人午夜在线视频| WWW、日本色丁香co m| 婷婷综合成人五月天| 五月丁香欧美综合| 五月婷婷六月丁香在线| 99情色五月天| 久久综合丁香五月| 玖玖资源站中文| 五月丁香婷婷久久| 国产一级黄色影片,| 激情五月婷婷色综合| 五月天婷婷社区久久综合| 五月丁香啪啪网| 在线观看玖玖资源免费观看| 色五月综合网| 伊人9草在线观看| 天天色天天射天天日| 亚洲综合色丁香婷婷六月| 人人爽亚洲| 深爱激情五月婷婷| 丁香婷婷基地| 欧美婷婷色五月网| 97色色色视屏| 激情亚洲网| 婷婷精品在线| 欧美五月丁香| 丁香久久在线| 66久久视频在线| 99九九视频| 五月天激情婷婷| www.91AV.COM| 久久亚洲色导航| www.婷婷,com| 另类亚洲电影| 久热这里只有精品3| 亚洲激情五月天| 婷婷色导航| 综合九色| 伊人深爱综合| 操人妻AV| 另类图片激情五月天| 97资源欧美日韩大香蕉超碰一区| 狠狠色九月| 一本综合丁香日日狠狠色| 六月丁香网| 五月九九综合| 天天做天天爱天天玩夜夜爽 | 无码少妇高潮喷水A片免费| 日韩av在线免费观看| 婷婷五月丁香六月天亚洲综合| 丁香五月天激情综合| 婷婷丁香18| 久久综合激情五月天| 婷婷五月综合社区| 日韩综合久久| www.超碰在线| 97碰在线视频| 99ri在线| 五月丁香婷婷爱激情综合网| 丁香五月社区| 99丁香五月婷 | 久久五月婷| 91色在线 | 日韩| 亚洲激情网站| 五月天激情日色在线| 亚洲精品五月| 亚洲最大五月天成人网| 成人网在线观看视频| 免費亭亭成人| 激情久久伊人| 五月天伊人网| 色婷婷19| 狠狠色综合网| 五月丁香色狠狠干大屄| 丁香深五月婷婷| 婷婷激情五月天视频在线| 婷婷五月色播天| 怡红院院久久| 九九久久污| 五月丁香六月在线| 激情综合区| 色欲色香综合网| 丁香五月亚洲AV| 久久综合五月天| 久久综合激情五月天| 99综合网| 五月丁香花开综合网| 极品少妇高潮啪啪AV无码| 色色色色五月天| 色99网站| 人妻肉射免费观看| 九九 激情 网| 激情五月天婷婷| 激情综合五月色在线| 91精品久久久久久久久久| 最新五月天婷婷影| 色婷婷超碰| 五月激情六月宗合| 99这里只有精品在线观看| 99久久婷婷五月| 99精品在线观看视频| 五月丁香色婷婷久久| 99久视频| 婷婷五月天激情AV影院| 久久久99免费视频| 在线观看免费观看在线9久| cc精品国产性传播| 思思99热热热99| 婷婷五月丁香综合亚洲| 五月天堂婷婷| 五月激情网综合| 久久综合色五月| 99久久久久| 五月丁香六月婷婷的女人| 婷婷六月天天| 五月激情在线| 99视频35精品视频在线观看| 99这里有精品免费| 色婷婷AV在线| av免费在线看不卡无毒| 亚洲丁香花色| 五月天伊人网| 丁香五月丁香伊人| 激情综合无码| 伊人大香蕉综合在线| 六月激情婷婷| 涩五月婷婷| 五月丁香好婷婷姑娘综合网| 大香蕉啪啪啪啪啪啪| 五月色网| 九九精品在线网| 亚洲蜜乳AV| 97福利视频| 狠狠干天天日| 伊人五月天婷婷| 伊人久久婷婷| 97色啪| 色色色五月天婷婷| 99热这里只有精| 日本婷婷在线| 色久免费| xxxx久| 色婷婷五月丁香色| 一二线视频 另类| 久久色区| 激情伊人| xx久久| 五月天久久综合婷婷丁香| 日本本土色网第一区| 91婷婷五月丁香碰| 天堂在线婷婷| 久热精彩视频98| 天天日日夜夜| 97久久超碰| 婷婷中文无码| 婷婷综合精品| 亚洲成人av在线| 夜夜爽天天干| 五月激情站| 日韩av干| 五月色婷婷综合丁香精品无遮挡| 亚洲avjiujiur91| 丁香婷婷黄网站| 婷婷五月天亚洲综合| 热婷婷在线视频| 超碰人人摸AV| 婷婷狠狠爱| 中文字幕不卡网站| 婷婷丁香六月天激情四射网| 五月天婷婷Av| 成人片在线免费看| 激情五月婷婷啪啪| 五月丁香激情综合啪啪| 狼人婷婷综合| 异能之下短剧免费观看全集| 婷婷免费精品视频| 天天插天天很| 可以免费看的av网站| 噜噜噜精品欧美成人在线观看| 五月人人丁香婷婷五月人人丁香 | 99久精品视频| 综合网色| 天天激情视频| 综合五月天婷婷色| 野战毛片三一3| 丁香五月伊人| www.99色| 亚洲成人影视在线| 任你干嘛免费视频播放| www99精品| 天天搞夜夜爽夜夜爽| 天天五月丁香五月| 色婷五月天网站| 丁香六月激情综合啪啪| 婷婷五月丁香综合激情| 久久99热这里只频精品6学生| 婷婷激情四射| 67久久| www.91在线看| 大香蕉伊人久久| 夜夜骑操AV| 天天拍久久| 思思精品视频| 777色色色| 最近免费中文字幕大全高清大全1| 成人无码精品1区2区3区免费看 | 婷婷五月天影院| 99国产精品久久久久久久久久久 | 精品无码久久久久久久久| 日本美女97在线视频| 91seAV| 9l视频自拍九色9l视频自拍九色9l社区 | 狠狠干狠狠干| 97碰 在线视频观看| 婷婷久久内射| 夜夜做天天爽| 182TV大香蕉| 激情丁香五月婷婷| 日韩在线成人电影| 岛国资源网| 亚洲激情五月天| 五月婷婷婷| 天天肏视奸| 99riAV国产精品视频| 亚洲 激情 中文| 99精品亚洲| 激情综合网激情五月天| 日本激情综合| 国产ava| 开心五月婷婷激情网| 激情久久肏屄视频| 亚洲黄网AV| 丁香婷婷综合影院| 成人丁香五月| 色婷婷五月天偷拍| 影音先锋91在线资源站| 日韩超碰在线| 天天爽日日爽夜夜爽| 91chinese在线| 七月丁香婷婷 色色| 97视频久久| 久久A V无码视频| 岛国av网站| 91丨九色丨国产在线| 天天色天天爱天天舔| 欧美日韩成人在线网站| 丁香六月天婷婷| 色七色九九| 色一情一乱一乱一区91| 久久丁香社| 欧美五月丁香啪啪响视频| 丁香五月综合激情啪啪| 狠狠五月激情在线| 任你爽精品免费视频6| 91中文狠狠综合| 亚洲五月天色色| 五月婷婷无码专区| 丁香六月综合激情| 婷婷综合97| 99热这里只有精品3| 婷婷最新地址| 精品99网站| 色噜噜狠狠一区二区三区| 26uuu偷拍亚洲欧洲综合| 嫩草AV久久伊人妇女超级a| 五月天激情小说网| 99在线观看视频蜜臀| 九九精品热| 日本三级中文字幕| 婷婷97碰碰| 色五月大| 婷婷色爱| 超碰97色| 日日干日日| 51精品国自产在线| 久久精品永久免费| 婷婷丁香无码专区| 五月婷婷激情综合拍| 国产精品色情AAAAA片软件| 国产精品噜噜在线视频| 欧美电影在线观看| 国精产品一区二区三区| AA片在线观看视频在线播放| 九九草热在线观看| 91中文狠狠综合| 激情综合网亚洲色图| AAA级久久久精品| 狠狠色狠狠色综合日日91| 成人国产欧美大片一区| 99热的无码| 婷婷五月另类网站| 综合色影| 五月丁香日本一抹本| 97久久超碰| 综合xx网| 九九精品丁香花| 可以免费看的AV网站| 97欧美在线| 五月停亭六月,六月停亭的英语| 超碰国产在线| 97在线观视频免费观看| 99热这里只有精彩| 日韩激情网站| 亚洲热视频| 伊人大蕉香| 九九精品综合| 久热91| 青青草成人网| 99热精品一| 婷婷五月天渟渟| 丁香五月在线看| 亚洲熟女乱色综合亚洲网站| 亚洲五月天另类小说图片| 97人人操| 丰满少妇猛烈A片免费看观看 | 欧美激情五月天| 五月丁香啪啪| 香港九九六区八区99| 色丁香五月婷婷| 亚洲夜五月| 亚洲操女| 天天狠狠夜夜狠狠2023| 九九热视频思思| 综合色影院| 五月天激情久久| 五月丁香六月婷婷的女人| 91精品婷婷国产综合 | 日韩乱轮AV| av在线免费网站| 五月天合网| 殴美97色| 人人操AV| 五月婷婷丁香色吧网| 伊久久婷婷| 亚洲春色奇米影视| 欧美久久婷婷| 九九热在线99| 99这里只有精品国产| Caop在线| 90色免费视频| 色婷视频| 久久9视频欧美| 丁香五月激情视频| 激情涩涩网| 五夜丁香| 996re热精品视频| 99在线精品观看99| 五月丁香久久久久| 夜夜爽天天爽| 人人操人av| 丁香五月在线伊人| 婷婷丁香激情综合色情| 色婷婷基地 | 日本色色色| 婷婷五月天视频免费在线观看| 青青草护士中出内射-欧美电影在线天堂新版| 日韩av高清| 欧美色色色| 日日日日日| 狠狠五月天激情| 欧美激情xxxXX| 精典久久| 久久99综合网| 婷婷终合色图| 狠狠综合区| 丁香av网| 影音先锋男人AV资源站| 日本女色人人| 男女啪啪做爰高潮无遮挡| 99热都是精品| 色婷婷狠狠爱| 久久久婷| 九九热视频这里只有精品| 婷婷综合精品| 久久婷狠狠色| 玖玖无码中文| 69精品人人人人| 99热18| 色婷婷欧美| 婷婷欧美综合| 五月天综合在线| 婷婷视频网| 99成人| 天天干天天爽| 青青草成人网| 九九综合色综合| 六月丁香社区| 深爱激情小说五月婷婷| 久久亚洲A| 99在线播放| 久久综合九九| 韩日另类| 五月天久久激情| 4399伦理午夜| 99精品在线播放| 五月天狠狠网站| 狠狠看狠狠| 思思热久在线观看视频| 五月婷婷色吧!| 婷婷五月天偷拍| 99热这里是精品| 99热日韩| 国产古装妇女野外A片| 少妇人妻偷人精品无码视频新浪| 久久激情四射| 黑人熟妇一区二区三区| 久久九九99| 天天爽—爽| 五月综合影院| 超碰国产AV| 丁香五月婷婷影院| 中文中文在线| 欧美操我| 亚洲午夜精品久久久久久人妖| 五月色欧洲| 26uuu最新地址| AV五月丁香| 婷婷97狠狠成人网站| 9|在线观看视频| 国产免费AV在线| 热久久思思热思思| 天天摸天天透天天舔| 五月天.com| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99超级碰免费视频| 天堂va久久久噜噜噜久久Va| 另类专区在线观看| 色欲五月婷婷| 另类在线| 99视频日韩| 婷婷 丁香 久久| 婷丁五月| 婷婷五月天激情电影小说| 激情五月色婷婷| 婷婷综合久久| 丁香社92视频| 六月色日韩| 五月天伊人网| 亚洲精品又粗又大又爽A片| 精品九九网| 青青操avbb| 五月天开心网| 欧美五月停| 五月婷婷av| 伊人五月丁香| 国产成人一区二区三区在线观看| 夜夜躁婷婷AV| 狠狠狠五月婷婷六月丁香| 狠狠综合久久| 大香蕉伊在| 深爱激情五月天色婷婷| 丁香婷婷基地| 午夜日日| 亚洲人人操BD| 这里只有精品视频| 玖玖色综合网| 五月天婷综合| 亚洲图色五月天| 五月激情开心婷婷| 六月丁丁香| 久操福利| 五月婷婷婷丁香播| 九色视频入口91| 天天爱天天做综合| 丁香五月AV| 丁香六月婷婷开心| 久久精彩视频| 欧洲区自拍| 美国天天日天天操| 亚洲妇女熟BBW| 九九蜜臀精品| 天天日,天天干,天天操| av在线中文| 婷婷五月天AV| 色爱综合五月| 五月天,激情四射,婷婷频道| AAA级久久久精品| 色五月婷婷少妇人妻| 欧美色狠婷久| 第五色婷婷| 无码橾| 6080av| AA片在线观看视频在线播放 | 很很干在线视频| 综合色图区| 狠狠色综合网| 久久婷婷伊人| 日韩综合网络男女香蕉a片| 超碰网站在线观看| 五月丁香激情综合六月涩涩爱| 色亚洲激情| 婷婷五月丁香激情图片 | 99热这里有精品| 五月总合激情网| 这里只有精品1| 日本a片网址| 色婷婷电影网| 婷婷丁香成人在线视频| WWW.国产| 婷婷色五月天综合网| 亚洲日韩操B| 婷婷五月六月丁香综合| 禁片二区| 伊人玖玖婷婷| 欧美在线操| 熟女激情网| 丁香五月激情婷婷视频| 五月丁香性| 99热亚洲精品| 亚洲综合婷婷| 另类国产综合| 久久婷婷色综合老司机| 日韩一级网站| 亚洲永久四色| 操老逼综合网| 色日本五月天| 91碰| 亚洲无码99| 丁香丝袜五月| 狠狠综合久久综合| 超碰在线观看9| 九九九这里只有精品| 五月天婷婷色| 婷婷久久视频| 另类图片五月天激情| 天天插天天射| 婷婷五月天丁香社区| 色情五月婷婷| 在线观看熟女少妇| 99视频| 九九视频这里只有精品| 91久久久久久久久| 91性交在线播放| 丁香五月成人| 在线VA视频| 日本综合99| 伊人五月婷婷| 亚洲成人av在线| 国产AV影片| 另类 在线| 狠狠va| 伊人九九热| 色色五月婷婷| 五月婷婷六月情| 综合色五月天| 久久se 综合网| 精品久久这里热66| 色六月丁香婷婷狠狠干| 影音先锋秋秋五月婷婷| 久久婷婷激情视频| 激情五月婷婷综合| 婷婷综合天堂| 可以免费观看的av| 色五月中文网| 色婷婷五月天成人网| 97色天堂| 中文字幕人妻一区二区| 天天爽天天日| 午夜精品777| 成人丁香色| 色色色综合网| 亭亭五月丁香五月天激情| 天天做天天干天天综合网| 超级碰碰碰97免费| AV亚洲在线| 亚洲欧洲另类| 91爱操| 婷婷五月图片小说视频| 九九中文字幕九| 双性美人被调教到喷水A片| 九九精品99| 五月在线| 激情色情五月天| 人人操Av| 五月婷婷色影院| 亚洲第一影院高清无码网站| 4399啪啪视频| 99在线免费观看| www.99成人视频| caop在线| 亚洲视频国产一区| 天堂网色婷婷| 99热免费18| 五月婷婷av在线| 国自产拍偷拍精品啪啪一区二区 | 欧美色色色| 五月婷婷,狠狠操| 久久99热 这里有精品| 99精品久久| 欧美精品99| 五月天婷婷AV| 少妇婷婷五月天| 毛片九九九九九九| 九九色网| 激情五月综合婷婷| 色在线视频网2025| 99性视频| 性日本精品| 伊人狠狠干| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月婷婷av| 亚洲热热视频| 天天插综合| 五月天婷婷在线播放| 婷婷激情社区| 天天色天天日| 色婷婷五月天| 色热久| 五月婷婷狠狠干| 欧美精品99| 天天肏视频| 狠狠干综合| 亚洲综合另类| 99色天堂| 99精品在这里| 国产成人亚洲综合A∨婷婷| SESE无码AV| 人妻在线中文字幕久久| 丁香欧美| 五月丁香婷婷啪啪综合网| 超碰狠狠色| 91色情播放| 五月婷婷丁香五月婷婷丁香| 丁香五月色五月| 激情四射五月天| 激情综合网五月| 中文资源在线a| 97碰碰在线看视频免费| 色五月婷婷色| 婷婷五月天AV在线| 这里只有精品免费视频| 嫩草AV久久伊人妇女超级A| 丁香六月在线综合| 操操熟女| 91啪啪视频| 五月六月激情婷婷| 99这里有精品视频视频| 夜夜久久综合网| 五月丁香色| 日韩人妻AV在线| 欧洲区自拍| 91丨九色丨高潮丰满日本| 4438激情网| 激情综合99| 欧美亚洲999| 夜夜干 夜夜操| 色综合激情| 色涩视频久久| www.久久久久久久| 色婷婷五月基地在线| 五月天色社区| 亚洲色婷婷五月天| 大香蕉综合| 亲子乱av一区二区三区的| 久草A片| 色综合性视频| 五月丁香色婷婷色| 精品一二三区久久AAA片| 日韩精品VIP| 91超碰在线播放| 五月婷婷 欧美| 五月婷六月| 婷婷成人视频| 97久久久免费福利网址| 六月婷婷视频| 色色色婷婷| www久久久久久久久久久| 91VIP在线观看| 免费人人操| 五月色无码| 丁香九月婷| 色婷婷狠狠久久综合五月| 久久婷综合| 99精品大片| 成人做爰A片免费看视频| 亚洲欧美日韩另类| 亚洲在线操| 丁香六月无码| 天天日日夜夜| 综合99视频| 青青草原福利在线| 99热婷婷| 日韩精品电影| 色综合激情| 色色色色色色色色网站| 开心激情站| 婷婷丁香97| 色色色无码| 亚洲妇女熟BBW| 五月丁香啪啪网| 丁香五月六月婷婷殴美综合| 少妇高潮呻吟A片免费看软件| 国产精品日日躁夜夜躁| 九九视频这里只有精品| 五月婷婷激情久久| 色综合女人99| 久久96热| 欧美日韩中文国产一区发布| 日本一级黄色电影| 色狠狠999综合| 色99免费视频中文| 婷婷五月天免费视频在线观看| 少妇性按摩无码中文A片| 色五月综合激情| 91dy.av| 丁香婷婷五月六月久久| 神马久久五月天| 色五月六月婷婷| 嫩草AV久久伊人妇女超级A| 99精品视频免费在线播放| 亚洲av成人在线| 伊人婷婷91| 久久久免费精彩视频| 狠狠久久婷五月综合色| 26uuu国产色| 99热这里只有精品免费| 99热在线观看| 99无码视频| 五月天综合婷婷| 91丨九色丨大屁股| 五月婷激情| 99五月丁香丁| 丁香五月伊人| 99'无码| 少妇高潮呻吟A片免费看软件| 五月天五月色婷婷综合| 大香蕉久操| 色婷婷欧美在线| 免费无码毛片一区二区A片| 五月天色官网| 51精品国自产在线| 伦乱美欧| 丁香婷婷激情五月天无毒不卡蜜桃| 色五月网址| 九九色婷婷| 直接看的av| 国产裸舞福利资源在线视频| 色五月情| 99只有这里是精品| 狠狠色狠狠色综合日日91| 26uuu日韩| 五月色丁香| 丁香六月欧美| 综合激情五月丁香| 99热草草| 五月天播播| 色狠狠综合| 免费做A爰片77777| www.色五月天.com| 久久久91精品| 99精品久久久久久久婷婷久久| 超碰99成人在线| 五月丁香六月日逼| 丁香五月综合| 天天爽天天弄| 五月丁香婷久久| 欧美色99| 天天草婷婷五月| 久久丁香婷| 超碰在线9| 亚州精品色情在线观看| 影音先锋 萱萱| 狠狠五月天| 就要爱综合| 97久久综合网| 婷婷五月亚洲一本在线丁香| 久久大香蕉同僚| 99九色视频在线观看| 黄网在线观看免费| 99热婷婷| 色网五月婷婷| 婷婷激情综合| 婷婷激情五月天天天开心| 高清免费在线视频| 亚州色婷婷| 五月天婷婷黄色| 综合久久综合久久| 五月婷婷视频| 亚洲综合视频在线| 思思热性操| 国产婷婷五月天| 精品欧美一区二区三区久久久| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 99热手机在线精品| 久久只有这里精品免费| 超碰免费人人肏| 九九热超碰| 婷婷操逼网| 成人无码髙潮喷水A片| 另类综合网| 99re6热在线精品视频播放速度| 激情综合网婷婷五夜| 91成人品| 久色资源网| 立川无码av| 9色操| 天天色综合网吨吧| www99在线观看视频| 99热综合| 久久久久久97| 午夜婷婷六月天| www,8050,午夜三级| 中文字幕有多少字| 国语精品探花| 国产免费一区二区三区三州老师F1F1.CC| 日日操夜夜擼| 狠狠的日| 五月久久婷婷| 五月丁香中文| 婷婷激情欧美| 美臀自射自家人妻| 丁乡久久| 五月天另类激情在线| 久久色五月天综合网| 色情五月天se| 久久亚洲A| 久9热在线视频| 久久综合五月婷婷| 91麻豆国产三级精品福利在线观看 | 午夜丁香| 色五月色五天色情网| 色五月AV| 亚洲婷婷视频| 久久婷婷六月综合国际| 国产精品大香蕉| 九九黄色网| 久久与婷婷| 久久久久人妻| 熟女激情五月天 | 婷婷五月激情网| 骚五月婷婷| 五月婷婷九九久久| 91刘玥视频在线观看| 亚洲精级| 天天综合天综合久久网| 中文字幕有多少字| 综合激情五月丁香| 激情婷婷色色| 99久久99九九九99九他书对| 欧美五月婷婷| 色色五月天网站| 91人操| 丁香婷婷久久综合在线| 99这里只有精品在线观看| 欧美综合丁香网| 五月丁香啪啪网| 99热香港| 97天堂| 黄色片久久| 色综合久久久综合久久网 | 婷婷五月丁香五月| 国产在线aaa片一区二区99| 内射爽无广熟女亚洲| 五月天激情综合| 色激情综合狠狠婷婷| 老司机午夜福利视频金瓶梅| 精品色情一区二区三区四区| 婷婷色五月天第7色| 丁香婷婷六月天| 天天色天天爽| 五月丁香六月婷精品视频| 婷婷啪啪| 五月婷婷啪啪啪| 婷婷色在线播放| 五月天丁香综合在线| 欧美图片丁香五月天| 人妻中文在线| 久色成人| 色婷婷狠狠干芒果TV| 亚洲va国产va天堂va综合va| 久热这里精品免费| 五月亭亭六月激情| 九九精品视频在线观看| 五月婷婷啪啪综合网| 婷婷五月天激情诱惑| 婷婷色av| 97极品在线| 任你爽免费视频| 在线观看婷婷5月| 天天干天天干天天干天天干天天干| 婷婷情色五月天| 中文激情网| 亚洲无码影片| 五月婷啪啪| AV操一操| 97人人操人| 九九aV| \\五月天婷婷激情| 欧美情色电影一区二区| 九九偷拍网| 亚洲色精彩| 五月丁香青草综合啪啪| 天天操,夜夜骑| 久操福利| 蜜桃人妻无码AV天堂三区| 六月丁香啪啪| 美女激情综合| 精品夜夜澡人妻无码AV| 丁香婷婷综合色五月激情国产基地| 亚洲av网站| 99热99热| 五月天桃色深爱网| 九九色天堂| 秋霞三级影视资源| 久久人人妻| 亚洲乱码日产精品BD| 国产91视频| 思思热久热| 欧洲MV日韩MV国产| 日本三级日本三级99| 深爱激情六月天| 成人无码髙潮喷水A片| 大香蕉五月天婷婷丁香91| 99热的无码| 狠狠综合网| 婷婷五月丁香久久| 亚洲视频99| 婷婷五月天A V| 综合亚洲色色| 香蕉操亚洲| 香蕉中文在线| 热久久国产视频| 九九色热| 玖玖综合色| 狠狠操狠狠插| 禁片二区| 深爱五月亚洲| 乱岳熟女50岁| 91久久久久久久久18| 先锋资源婷婷| 99热在线网站| 国精产品一区二区三区| 色婷婷成人做爰A片免费看网站| 久碰久操| 91人操| 免费观看2018www黄色操逼网站| 五月丁香啪啪综合网| 青草青草视频2免费观看| 天天色月| 五月天综合网| 情色五月天网站| 久久色天堂| 国产精品视频| 五月天天综合| 久re热视频| 丁香 亚洲 久久| 99热超| 日本成人噜噜噜| 91窝窝| 99爱这里只有精品免费视频| 丁香五月 性爱| 久99热| www.婷婷五月天,com| 婷婷五月另类网站| www五月天com| 五月丁香六月婷婷成人电影| 五月婷婷|欧美|