99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Java線程池ThreadPoolExecutor源碼級拆解:原理、參數(shù)與線上排查

Java線程池ThreadPoolExecutor源碼級拆解:原理、參數(shù)與線上排查 聊到 Java 并發(fā)線程池是繞不開的高頻考點。生產(chǎn)環(huán)境的每個高并發(fā)接口、每一條異步消息消費鏈路背后幾乎都是 ThreadPoolExecutor 在撐著。很多人背得出核心參數(shù)、能默寫出四種拒絕策略可一旦遇上詭異問題——比如線程數(shù)漲到最大卻沒人干活、shutdown 后進程卡住不退出、任務(wù)明明提交了卻石沉大海——就束手無策。原因只有一個只記住了 API 表面沒吃透它的實現(xiàn)原理。這篇文章我就帶你把 ThreadPoolExecutor 從源碼層面完整拆一遍。從 ctl 那個“一個變量管兩件事”的設(shè)計到 execute 的三次機會、Worker 的任務(wù)循環(huán)、五個狀態(tài)的生命周期遷移再到線上排查的真實坑全部講透。適合剛學(xué)完 Java 并發(fā)的同學(xué)建立完整認知也適合工作了幾年的開發(fā)者排查線程池問題時回來翻一翻搞懂原理之后很多現(xiàn)象其實一眼就能看出根因。1. 從構(gòu)造參數(shù)看線程池的核心設(shè)計1.1 七個參數(shù)如何配合線程才不會“白養(yǎng)”也不會“爆倉”先看最常用的構(gòu)造函數(shù)public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, TimeUnit unit, BlockingQueueRunnable workQueue, ThreadFactory threadFactory, RejectedExecutionHandler handler)七個參數(shù)各管一塊理解它們是入門的第一道坎。corePoolSize核心線程數(shù)。這些線程是線程池的“常住人口”即使空閑也不會被回收除非你把 allowCoreThreadTimeOut 設(shè)為 true。任務(wù)還沒來的時候默認不會提前創(chuàng)建只有提交第一個任務(wù)時才逐步創(chuàng)建。maximumPoolSize最大線程數(shù)。線程池允許同時存在的線程數(shù)量上限超出這個數(shù)新任務(wù)只能走拒絕策略。keepAliveTime unit非核心線程的空閑存活時間。當線程數(shù)超過 corePoolSize多出來的“臨時工”空閑超過這個時間就會被回收。這個參數(shù)很容易踩坑因為默認情況下核心線程不受 keepAliveTime 控制。workQueue任務(wù)緩沖隊列。核心線程全忙時新任務(wù)先進隊列等待而不是立刻建新線程。threadFactory線程工廠。控制線程命名、是否守護、優(yōu)先級等。生產(chǎn)環(huán)境強烈建議自定義否則日志里全是 pool-1-thread-1排查問題非常痛苦。handler拒絕策略。隊列滿了且線程數(shù)也達到上限時新任務(wù)觸發(fā)拒絕策略。這七個參數(shù)內(nèi)部是有明確的協(xié)作順序的很多人在這里記反了一個關(guān)鍵點——核心線程滿后不是“立刻膨脹到最大線程數(shù)”而是先排隊。只有隊列也滿了才會去創(chuàng)建非核心線程。如果非核心線程也達到上限才會觸發(fā)拒絕策略。我常用一個營業(yè)廳模型來理解核心線程是固定柜臺隊列是等候區(qū)非核心線程是臨時加開的柜臺。固定柜臺全在辦業(yè)務(wù)客戶先去等候區(qū)排隊等候區(qū)滿了才加開臨時柜臺臨時柜臺也滿了再有客戶進門就只能拒絕服務(wù)。這個模型對應(yīng)代碼邏輯幾乎一一匹配后面第 2 章會看到 execute 方法本身就是按這個順序?qū)懙摹?.2 看懂 ctl 這個魔法變量一個值同時保存狀態(tài)和線程數(shù)在進入 execute 之前必須先認識線程池里最核心的字段ctl。它是個 AtomicInteger但只用了一個 int 就同時保存了兩個信息——線程池運行狀態(tài)runState和工作線程數(shù)workerCount。private final AtomicInteger ctl new AtomicInteger(ctlOf(RUNNING, 0)); private static final int COUNT_BITS Integer.SIZE - 3; // 29 private static final int CAPACITY (1 COUNT_BITS) - 1; // 2^29 - 1 private static int runStateOf(int c) { return c ~CAPACITY; } private static int workerCountOf(int c) { return c CAPACITY; } private static int ctlOf(int rs, int wc) { return rs | wc; }設(shè)計是這樣的高 3 位存 runState低 29 位存 workerCount。所以 workerCount 的理論上限是(1 29) - 1約 5 億實際開發(fā)中幾乎不可能觸頂addWorker 里的 CAPACITY 判斷只是留個安全邊界。為什么這么設(shè)計核心原因是“原子性”。線程池的狀態(tài)和線程數(shù)經(jīng)常需要同時變化比如 shutdown 時把狀態(tài)從 RUNNING 改成 SHUTDOWN同時希望線程數(shù)不被干擾。如果分兩個字段就得加鎖保證一致性合成一個 int 放進 AtomicInteger一次 CAS 就能同時修改兩部分性能和安全兼顧。五個狀態(tài)的具體值也很講究狀態(tài)數(shù)值行為說明RUNNING-1 29負數(shù)接收新任務(wù)處理隊列任務(wù)SHUTDOWN0不接收新任務(wù)但繼續(xù)處理隊列任務(wù)STOP1 29不接收新任務(wù)不處理隊列任務(wù)中斷所有線程TIDYING2 29所有任務(wù)已結(jié)束workerCount 為 0即將執(zhí)行 terminated()TERMINATED3 29terminated() 執(zhí)行完畢徹底結(jié)束注意一個反直覺的細節(jié)RUNNING 是負數(shù)所以狀態(tài)之間的數(shù)值比較是RUNNING SHUTDOWN STOP TIDYING TERMINATED。源碼里大量使用runStateLessThan(c, STOP)或runStateAtLeast(c, STOP)這類判斷本質(zhì)上就是利用這個單調(diào)遞增的數(shù)值鏈來做范圍判斷。看懂這個后面讀源碼就能順下來。2. 任務(wù)提交的完整鏈路execute 的三次機會2.1 源碼級拆解 execute核心線程、隊列、非核心線程的優(yōu)先級任務(wù)提交的入口是 execute 方法submit 底層也會轉(zhuǎn)到這里。JDK 1.8 的源碼非常緊湊邏輯全部濃縮在幾行里public void execute(Runnable command) { if (command null) throw new NullPointerException(); int c ctl.get(); // 第一次機會核心線程未滿 if (workerCountOf(c) corePoolSize) { if (addWorker(command, true)) return; c ctl.get(); } // 第二次機會線程池還在運行嘗試入隊 if (isRunning(c) workQueue.offer(command)) { int recheck ctl.get(); if (!isRunning(recheck) remove(command)) reject(command); else if (workerCountOf(recheck) 0) addWorker(null, false); } // 第三次機會隊列滿了嘗試創(chuàng)建非核心線程 else if (!addWorker(command, false)) reject(command); }逐個拆開看。第一次機會只要當前工作線程數(shù)小于 corePoolSize就直接 addWorker(command, true)創(chuàng)建核心線程并立刻執(zhí)行任務(wù)。這里有個細節(jié)如果 addWorker 失敗比如線程池剛好被 shutdown需要重新讀取 ctl因為剛才的 c 已經(jīng)過期了。第二次機會核心線程滿了進入隊列。入隊前要判斷線程池是否還在 RUNNING 狀態(tài)只有運行中才允許入隊。入隊成功不等于萬事大吉緊接著有一個 recheck雙重檢查。這個 recheck 非常關(guān)鍵因為入隊和 recheck 之間線程池可能被另一個線程調(diào)用了 shutdown此時池狀態(tài)變了但任務(wù)已經(jīng)進了隊列如果不做處理這個任務(wù)可能永遠等不到執(zhí)行。所以發(fā)現(xiàn)狀態(tài)已經(jīng)不是 RUNNING就調(diào)用 remove(command) 把任務(wù)從隊列移除然后走拒絕策略。recheck 里還有個隱藏邏輯如果 recheck 時發(fā)現(xiàn) workerCount 為 0需要 addWorker(null, false) 補一個非核心線程。為什么因為可能出現(xiàn)了“共享池但核心線程全部退出”的極端情況比如啟用了 allowCoreThreadTimeOut如果不補線程隊列里的任務(wù)就永遠沒人消費了。第三次機會入隊失敗說明隊列滿了此時嘗試 addWorker(command, false) 創(chuàng)建非核心線程。如果這也失敗說明線程數(shù)已經(jīng)達到 maximumPoolSize只能 reject。整個流程非常清晰地體現(xiàn)了線程池的哲學(xué)能復(fù)用核心線程就復(fù)用復(fù)用不了就緩沖緩沖不下才擴編擴編還不行就拒絕。我建議讀者把 execute 這段源碼背下來面試手撕題和實際排查都會用到。2.2 addWorker 的雙重校驗與線程啟動細節(jié)addWorker 是真正干活的地方。這個方法做了兩件事先通過 CAS 把 workerCount 加上去再創(chuàng)建 Worker 對象、啟動線程。源碼較長核心骨架如下private boolean addWorker(Runnable firstTask, boolean core) { retry: for (;;) { int c ctl.get(); int rs runStateOf(c); // 第一道攔截狀態(tài)不允許 if (rs SHUTDOWN !(rs SHUTDOWN firstTask null)) return false; for (;;) { int wc workerCountOf(c); if (wc CAPACITY || wc (core ? corePoolSize : maximumPoolSize)) return false; if (compareAndIncrementWorkerCount(c)) break retry; c ctl.get(); if (runStateOf(c) ! rs) continue retry; } } // 之后是創(chuàng)建 Worker、加鎖、再次檢查、啟動線程 ... }第一道攔截判斷池狀態(tài)如果已經(jīng) SHUTDOWN 以上通常不允許再創(chuàng)建線程。但保留了一個特例——rs SHUTDOWN firstTask null也就是允許在 SHUTDOWN 狀態(tài)下創(chuàng)建一個“空轉(zhuǎn)線程”。這是為了處理 2.1 里那種 workerCount 為 0 但隊列還有任務(wù)的情況線程池必須允許補一個線程去把剩余任務(wù)消費完。第二道攔截判斷線程數(shù)不能超過 CAPACITY也不能超過 corePoolSize 或 maximumPoolSize根據(jù) core 參數(shù)選擇。CAS 失敗就重試如果期間線程池狀態(tài)變了就跳回 retry 重新做狀態(tài)檢查避免用舊狀態(tài)做出錯誤判斷。創(chuàng)建 Worker 并啟動線程的部分也很講究。拿到 Worker 和 thread 之后需要加 mainLock 鎖。這個鎖的作用是保護 workers 集合同時保證與 shutdown 的 interruptIdleWorkers 操作互斥。加鎖后還要再檢查一次池狀態(tài)確認沒有在創(chuàng)建期間被 shutdown 或 stop確認安全才 t.start() 啟動線程。這里有個小細節(jié)如果 t.start() 因為 ThreadFactory 返回的線程為 null 或啟動異常addWorker 會把已經(jīng)加上的 workerCount 回滾并把 Worker 從集合移除。所以 addWorker 失敗時線程池的線程數(shù)不會虛高。提示很多人以為 addWorker 只是“new 一個線程然后 start”其實它做了狀態(tài)校驗、CAS 計數(shù)、加鎖、二次校驗、啟動、異常回滾六件事。只記住一個“創(chuàng)建線程”是遠遠不夠的。3. Worker 線程的運作模型用任務(wù)循環(huán)理解整個生命周期3.1 為什么 Worker 要繼承 AQS不可重入鎖的設(shè)計意圖Worker 是 ThreadPoolExecutor 的內(nèi)部類同時也是線程池真正“干活”的單元。它本身實現(xiàn)了 Runnable又繼承了 AbstractQueuedSynchronizerprivate final class Worker extends AbstractQueuedSynchronizer implements Runnable { final Thread thread; Runnable firstTask; volatile long completedTasks; }一個很自然的疑問是為什么不直接 new Thread 跑任務(wù)非要套一個 Worker 類答案在于 Worker 給它自己裝了一把鎖。這把鎖是不可重入的互斥鎖它和任務(wù)執(zhí)行狀態(tài)嚴格綁定執(zhí)行任務(wù)前 lock執(zhí)行完 unlock。外部代碼通過 tryLock 就能判斷這個 worker 是否空閑。這個判斷是 shutdown 機制的核心???interruptIdleWorkers 的實現(xiàn)邏輯for (Worker w : workers) { Thread t w.thread; if (!t.isInterrupted() w.tryLock()) { try { t.interrupt(); } finally { w.unlock(); } } }tryLock 成功說明 worker 當前沒有在跑任務(wù)鎖是空閑的可以安全中斷tryLock 失敗說明它正在執(zhí)行任務(wù)不能中斷否則會把一個正在跑的業(yè)務(wù)邏輯打斷。為什么不用 ReentrantLock關(guān)鍵在于“不可重入”。如果換成可重入鎖同一個線程在持有鎖的過程中再次獲取鎖也能成功那 tryLock 就無法準確反映“該 worker 是否正在執(zhí)行任務(wù)”。ThreadPoolExecutor 需要的是“已鎖 執(zhí)行中”這個強等價關(guān)系所以 JDK 特意用 AQS 實現(xiàn)了一個非重入鎖而不是直接復(fù)用 ReentrantLock。Worker 還有一個很隱蔽的初始化細節(jié)構(gòu)造函數(shù)里會 setState(-1)而不是 0。這是為了讓 worker 在真正進入 runWorker 之前不會被 interruptIdleWorkers 誤判為空閑線程給中斷掉。runWorker 一開頭會執(zhí)行 unlock() 把狀態(tài)恢復(fù)為 0從此才允許被外部中斷。這個防“搶跑中斷”的設(shè)計許多人看源碼都不會注意到但正是它保證了線程初始化期的安全。3.2 runWorker 主循環(huán)與 getTask 的四個出口Worker 啟動后線程就跑進了 runWorker 方法這是線程池工作的主循環(huán)final void runWorker(Worker w) { Thread wt Thread.currentThread(); Runnable task w.firstTask; w.firstTask null; w.unlock(); // 恢復(fù)可中斷狀態(tài) boolean completedAbruptly true; try { while (task ! null || (task getTask()) ! null) { w.lock(); // 池處于 STOP 及以上狀態(tài)需要設(shè)置中斷標志 if ((runStateAtLeast(ctl.get(), STOP) || (Thread.interrupted() runStateAtLeast(ctl.get(), STOP))) !wt.isInterrupted()) wt.interrupt(); try { beforeExecute(wt, task); Throwable thrown null; try { task.run(); } catch (RuntimeException x) { thrown x; throw x; } catch (Error x) { thrown x; throw x; } catch (Throwable x) { thrown x; throw new Error(x); } finally { afterExecute(task, thrown); } } finally { task null; w.completedTasks; w.unlock(); } } completedAbruptly false; } finally { processWorkerExit(w, completedAbruptly); } }主循環(huán)的邏輯是先拿 firstTask拿不到就阻塞等待 getTask() 從隊列取任務(wù)。拿到任務(wù)后 lock設(shè)置中斷狀態(tài)如果池已 STOP執(zhí)行任務(wù)前后調(diào)用 beforeExecute / afterExecute 鉤子任務(wù)結(jié)束后統(tǒng)計 completedTasks 并 unlock。循環(huán)直到 getTask 返回 null最后進入 processWorkerExit 收尾。如果任務(wù)執(zhí)行拋出了 RuntimeException 或 Error會直接向上拋導(dǎo)致線程退出。這看起來可怕但線程池有補救機制processWorkerExit 會在 finally 中檢測到 completedAbruptly 為 true然后補充一個新 Worker。所以單次任務(wù)的異常不會把線程池打到“沒人可用”的狀態(tài)反而會自動換一個線程繼續(xù)扛活。getTask 是決定 worker 生死的取任務(wù)邏輯它一共有四個出口。第一個出口池狀態(tài)已經(jīng) SHUTDOWN 且隊列為空或者池狀態(tài)已經(jīng)達到 STOPgetTask 直接返回 null。此時線程退出線程池進入“收拾尾聲”的階段。第二個出口workerCount 大于 maximumPoolSize。這個情況通常發(fā)生在運行時調(diào)用 setMaximumPoolSize 把上限調(diào)小了多出來的線程需要盡快退出。第三個出口超時未取到任務(wù)。timed allowCoreThreadTimeOut || wc corePoolSize當線程數(shù)超過核心數(shù)、或允許核心線程超時時用workQueue.poll(keepAliveTime)等待超時拿不到任務(wù)就返回 null。這里有一個安全條件wc 1 || workQueue.isEmpty()也就是說池里最后一個線程在隊列非空時不能因為超時退出否則隊列里剩下的任務(wù)就沒人處理了。第四個出口被中斷。線程在 take 或 poll 時被 interrupt 后會回到循環(huán)頂部重新檢查狀態(tài)如果碰上池已經(jīng) SHUTDOWN就會走第一個出口退出。這也是 shutdown 后所有線程能陸續(xù)結(jié)束的原理。核心線程能不能被回收就藏在這個 getTask 里。默認情況下allowCoreThreadTimeOut false核心線程走workQueue.take()無限期阻塞永遠等待任務(wù)所以不會被回收。只有顯式開啟 allowCoreThreadTimeOut核心線程才會變成“臨時工”享受同樣的超時回收待遇。這個參數(shù)要謹慎開啟它改變了線程池“保持核心線程常駐”的語義但也避免了低峰期線程白白占內(nèi)存。4. 線程池狀態(tài)機從 RUNNING 到 TERMINATED 的完整遷徙4.1 五種狀態(tài)各自的權(quán)限與遷移路徑前面列了五個狀態(tài)的數(shù)值這里再從行為角度梳理一遍它們在“接收新任務(wù)、處理隊列任務(wù)、中斷線程”三個維度上的權(quán)限差異狀態(tài)接收新任務(wù)處理隊列任務(wù)中斷工作線程RUNNING允許允許否SHUTDOWN拒絕允許只中斷空閑線程STOP拒絕拒絕中斷所有線程TIDYING拒絕拒絕已無線程TERMINATED拒絕拒絕已結(jié)束狀態(tài)遷移路徑只有五條RUNNING - SHUTDOWN調(diào)用 shutdown()RUNNING 或 SHUTDOWN - STOP調(diào)用 shutdownNow()SHUTDOWN - TIDYING隊列已空workerCount 為 0STOP - TIDYINGworkerCount 為 0TIDYING - TERMINATEDterminated() 鉤子執(zhí)行完畢真正推動狀態(tài)從 SHUTDOWN/STOP 走到 TIDYING 的核心方法是 tryTerminate。它的判斷邏輯很精巧for (;;) { int c ctl.get(); // 運行中直接返回已終止也返回 // SHUTDOWN 且隊列非空說明任務(wù)還沒消費完不能終止 if (isRunning(c) || runStateAtLeast(c, TIDYING) || (runStateOf(c) SHUTDOWN !workQueue.isEmpty())) return; // 還有存活線程中斷一個空閑線程推動其退出 if (workerCountOf(c) ! 0) { interruptIdleWorkers(true); return; } // 線程數(shù)為 0CAS 到 TIDYING執(zhí)行 terminated()然后置 TERMINATED ... }注意 workerCount 不為 0 時它不會傻等而是中斷一個空閑線程讓這個線程在 getTask 的下一次循環(huán)里發(fā)現(xiàn)狀態(tài)變化而退出從而逐步收斂到 0。這就是“中斷一個空閑線程”代替“阻塞等待所有線程結(jié)束”的推進策略避免 tryTerminate 被卡死。4.2 shutdown 與 shutdownNow優(yōu)雅關(guān)閉和強制關(guān)閉的區(qū)別這兩個方法名字像語義差別非常大實際使用中經(jīng)常被搞混。shutdown 走的是 SHUTDOWN 狀態(tài)它只做三件事狀態(tài)改為 SHUTDOWN、中斷所有空閑線程、執(zhí)行 onShutdown 鉤子。注意它不會中斷正在執(zhí)行任務(wù)的線程也不會清除隊列里尚未執(zhí)行的任務(wù)。也就是說調(diào)用 shutdown 之后線程池會像一個已經(jīng)下班但還留在工位上把手頭活兒干完的同事把隊列里的任務(wù)全部處理干凈才進入終止流程。shutdownNow 則完全不同。它把狀態(tài)直接推到 STOP然后中斷所有線程最后把隊列中還沒執(zhí)行的任務(wù) drain 出來作為 List 返回。調(diào)用方拿到這個 List就能知道哪些任務(wù)“還沒干成”可以自行處置。維度shutdownshutdownNow移入的狀態(tài)SHUTDOWNSTOP未開始的任務(wù)繼續(xù)處理返回未執(zhí)行列表不再處理正在執(zhí)行的任務(wù)不中斷讓它跑完發(fā)送中斷信號是否能強制終止任務(wù)否否任務(wù)需響應(yīng)中斷最后一點值得強調(diào)shutdownNow 的“中斷所有線程”只是給線程發(fā)送中斷標志。如果任務(wù)代碼不檢查中斷標志、不響應(yīng) InterruptedException正在執(zhí)行的 run 方法照樣會跑完。很多“shutdownNow 之后池子還在跑”的疑問根因就在這里——任務(wù)本身不配合中斷。4.3 鉤子方法、awaitTermination 與監(jiān)控擴展ThreadPoolExecutor 留了三個擴展點beforeExecute、afterExecute、terminated。默認它們都是空實現(xiàn)子類重寫后可以實現(xiàn)很多實用功能。beforeExecute 在任務(wù)執(zhí)行前調(diào)用可以記錄任務(wù)開始時間、往 ThreadLocal 寫入交易號afterExecute 在任務(wù)執(zhí)行后調(diào)用哪怕任務(wù)拋了異常也會進入這里異常信息放在第二個參數(shù) thrown 里是最可靠的“任務(wù)異常觀測點”。terminated 則在池走完 TIDYING 后、變成 TERMINATED 前執(zhí)行適合做資源清理、記錄最終統(tǒng)計指標。awaitTermination 是等待池終止的利器。調(diào)用 shutdown 之后如果想確認線程池真的結(jié)束了再去做后續(xù)操作可以用它做超時等待返回 true 表示池已經(jīng)進入 TERMINATED返回 false 表示超時仍未結(jié)束。生產(chǎn)環(huán)境的應(yīng)用關(guān)閉流程基本標配就是 shutdown awaitTermination 超時后的強制兜底。提示重寫 beforeExecute/afterExecute 時不要拋異常。尤其是 beforeExecute 一旦拋異常任務(wù)本身不會執(zhí)行而且 worker 會直接退出處理起來異常麻煩。5. 參數(shù)調(diào)優(yōu)與實戰(zhàn)推演隊列、拒絕策略和線程數(shù)怎么配5.1 核心線程數(shù)到底該設(shè)多少從公式到壓測線程數(shù)設(shè)多少是 ThreadPoolExecutor 配置里最玄學(xué)的問題。網(wǎng)上流傳兩個通用公式CPU 密集型設(shè) N1N 是 CPU 核數(shù)IO 密集型設(shè) N * (1 等待時間 / 計算時間)。這兩個公式能用但只能作為起點。原因很簡單真實業(yè)務(wù)很少是純 CPU 或純 IO中間還有鎖競爭、GC、網(wǎng)絡(luò)抖動公式算出的數(shù)大概率不是最優(yōu)值。我更建議按這個思路落地先估算單任務(wù)的平均計算耗時和平均等待耗時代入 IO 密集型公式得出一個初始線程數(shù)然后把隊列長度設(shè)為“在目標響應(yīng)時長內(nèi)最多能積壓的任務(wù)數(shù)”最后用壓測工具逐步加壓觀察三個核心指標——activeCount 是否穩(wěn)定、queueSize 是否持續(xù)上漲、有沒有拒絕異常。如果 activeCount 還沒到 max 就開始拒絕說明隊列太短或線程數(shù)偏低如果 queueSize 一直漲但 activeCount 很低說明任務(wù)在等鎖或者線程在空轉(zhuǎn)。還有一個很容易被忽視的維度線程不是越多越好。超過一定數(shù)量后CPU 上下文切換開銷會吃掉并發(fā)紅利線程內(nèi)存占用每個線程默認棧約 1MB也會成為隱性成本。生產(chǎn)環(huán)境寧可把線程數(shù)調(diào)得保守一點靠有界隊列和拒絕策略做防護也不要一次性把 maximumPoolSize 拉滿。5.2 隊列選型與四種拒絕策略的本質(zhì)隊列決定了線程池的“緩沖能力”選錯隊列參數(shù)調(diào)得再合理都可能失效。四種常見隊列各有脾性隊列特性適用場景ArrayBlockingQueue有界固定容量底層數(shù)組生產(chǎn)環(huán)境默認首選能兜底限流LinkedBlockingQueue默認容量無限可指定容量無界時吞吐穩(wěn)定但任務(wù)積壓會占滿內(nèi)存SynchronousQueue不存任務(wù)直接交接給線程配合 CachedThreadPool線程按需飆升PriorityBlockingQueue無界按優(yōu)先級出隊需要任務(wù)優(yōu)先級時使用但仍要防堆積一個重要的認知如果隊列是無界的maximumPoolSize 其實形同虛設(shè)。因為隊列永遠不會滿execute 的第三次機會永遠走不到非核心線程也就不會被創(chuàng)建任務(wù)只會越積越多直到內(nèi)存撐爆。所以生產(chǎn)環(huán)境一定要優(yōu)先有界隊列給線程池一個明確的“承載力邊界”。拒絕策略有四種內(nèi)置實現(xiàn)外加自定義方案AbortPolicy默認策略直接拋 RejectedExecutionException。好處是錯誤明顯壞處是調(diào)用方?jīng)]有心理準備容易崩。CallerRunsPolicy誰提交誰執(zhí)行。提交任務(wù)的線程親自把任務(wù)跑掉等于把壓力傳導(dǎo)回去天然形成背壓而且不丟任務(wù)。我比較偏愛這個策略。DiscardPolicy靜默丟棄。適合日志、打點這類允許丟的任務(wù)但丟之前最好在自定義 handler 里記一條告警。DiscardOldestPolicy丟棄隊列里最早的任務(wù)再嘗試提交新任務(wù)。適合不介意丟舊任務(wù)、只要新任務(wù)的場景。實際項目中重要業(yè)務(wù)任務(wù)我一般用 CallerRunsPolicy防止高峰直接拋異常導(dǎo)致接口 5xx非核心的埋點、日志用 DiscardPolicy 并配告警對賬、訂單這類絕對不能丟的任務(wù)則自定義 handler把失敗任務(wù)寫入本地緩沖由補償任務(wù)重放。5.3 提交20個任務(wù)推出的完整走向理論講再多不如推演一遍。假設(shè) corePoolSize2maximumPoolSize5workQueue 容量為 10連續(xù)提交 20 個任務(wù)逐條跟蹤提交序號線程池行為當前線程數(shù)隊列長度1創(chuàng)建核心線程執(zhí)行102創(chuàng)建核心線程執(zhí)行203入隊等待214~12繼續(xù)入隊22~1013隊列滿創(chuàng)建非核心線程執(zhí)行31014繼續(xù)創(chuàng)建非核心線程41015~17繼續(xù)創(chuàng)建非核心線程51018~20線程數(shù)已達 5隊列已滿觸發(fā)拒絕策略510這個推演暴露了一個容易混淆的點任務(wù) 3 到任務(wù) 12 這 10 個任務(wù)并沒有立刻執(zhí)行而是全部進了隊列等待。只有當隊列滿到第 11 個任務(wù)塞不進去時線程池才開始把線程數(shù)從 2 往 5 擴。所以觀察線上線程池的 activeCount 時如果看到它長期小于 corePoolSize說明任務(wù)量根本沒打滿如果等于 corePoolSize 且 queueSize 在漲說明隊列在承擔(dān)緩沖壓力只有 queueSize 頂滿activeCount 才開始往 max 漲。如果隊列換成無界 LinkedBlockingQueue那整個推演在任務(wù) 3~20 都會停在“入隊等待”線程數(shù)永遠是 2。這就是無界隊列掩蓋 maximumPoolSize 的原因。理解這個推演配置參數(shù)時就能少走很多彎路。6. 線上排查實錄高頻問題與避坑指南6.1 線程數(shù)漲滿但隊列為空先看是不是 SynchronousQueue我見過一個很典型的案例某服務(wù)配置了 SynchronousQueue 和很大的 maximumPoolSize高峰期線程數(shù)直接沖到幾百CPU 被打滿接口超時率飆升。排查時先看隊列發(fā)現(xiàn) queueSize 永遠是 0——這不是“沒有任務(wù)排隊”而是 SynchronousQueue 本身就不排隊。SynchronousQueue 的語義是“生產(chǎn)者直接把任務(wù)交給消費者線程”沒有中間緩沖。任何提交進來的任務(wù)都會立刻觸發(fā) addWorker 創(chuàng)建線程線程數(shù)自然容易一路頂?shù)?maximumPoolSize。它非常適合線程可快速創(chuàng)建銷毀、任務(wù)量波動大的場景但要求 maximumPoolSize 必須設(shè)得克制同時做好限流。如果業(yè)務(wù)需要穩(wěn)定的緩沖和削峰SynchronousQueue 就是錯誤選擇。遇到線程數(shù)異常上漲第一反應(yīng)應(yīng)該是去看線程池用的是哪種隊列、max 設(shè)多大再配合線程棧確認線程都在干什么。別一上來就猜業(yè)務(wù)問題很多“并發(fā)異?!逼鋵嵤蔷€程池配置與業(yè)務(wù)模型不匹配。6.2 execute 與 submit 的異常差異靜默失敗的高發(fā)區(qū)execute(Runnable) 和 submit(Callable/Runnable) 都能提交任務(wù)但異常處理路徑完全不同這是線上“任務(wù)靜默失敗”的高發(fā)原因。execute 提交的任務(wù)如果拋出 RuntimeException異常會直接冒出 runWorker導(dǎo)致當前 worker 線程退出。線程池感知到異常后processWorkerExit 會補一個新線程進來。這個異常會打印到 System.err但對業(yè)務(wù)代碼來說幾乎是透明的——你沒有辦法在提交方捕獲它唯一可靠的觀測點是重寫 afterExecute。submit 則不同。任務(wù)被包裝成 FutureTask異常會被 FutureTask 內(nèi)部捕獲并存起來提交方必須調(diào)用 future.get() 才能拿到 ExecutionException。如果沒人調(diào) get這個異常就被吞得干干凈凈日志里什么都看不到。所以我的建議是異步任務(wù)要么統(tǒng)一走自定義 handler afterExecute 記錄異常要么全部用 submit 并且及時處理 Future。不要混用 execute 和 submit否則排查問題時你不知道哪個任務(wù)在哪一層丟了異常。尤其是批量異步任務(wù)提交后一定要集中等待 Future 完成并對異常做分類處理。6.3 線程池關(guān)不上的兩個陷阱泄漏與退出卡住線程池“關(guān)不上”是另一個高頻問題常見原因有兩個。第一是線程池泄漏。比如在方法里每次請求都 new 一個 ThreadPoolExecutor執(zhí)行完既不 shutdown也沒有把實例放進容器管理。時間一長線程數(shù)不斷累積內(nèi)存和句柄都被耗盡。這種問題用 jstack 看線程名最明顯——大量同類前綴的線程堆在等待隊列的 take 上。解決方式是讓線程池全局單例由 Spring 容器或靜態(tài)字段管理生命周期而不是每次用都新建。第二是退出卡住。應(yīng)用要關(guān)閉線程池調(diào)了 shutdown 但進程一直不退出。常見原因有兩種池里還有線程在跑長任務(wù)或者隊列里還有大量任務(wù)沒消費完。shutdown 本來就會等待這些任務(wù)完成如果業(yè)務(wù)本身沒有結(jié)束點進程就會一直掛著。正確做法是使用 shutdown awaitTermination 組合等待超時后對未完成任務(wù)做兜底比如取消、落庫再配合應(yīng)用關(guān)閉鉤子統(tǒng)一處理。另外ThreadFactory 會把線程創(chuàng)建成非守護線程如果池不關(guān)閉JVM 也會因為存在非守護線程而拒絕退出。6.4 問題定位速查表把高頻問題整理成一張速查表排查時直接對著看能省不少時間現(xiàn)象可能原因檢查方法處理建議線程數(shù)漲到最大但隊列空使用了 SynchronousQueue打印隊列類型與 activeCount換有界隊列或調(diào)低 max任務(wù)被大量拒絕隊列滿 線程滿看拒絕策略異常次數(shù)增加隊列容量或調(diào)大 max否則換 CallerRunsPolicy核心線程不斷被回收allowCoreThreadTimeOut 被開啟檢查配置項按業(yè)務(wù)決定是否關(guān)閉此選項提交后長時間不執(zhí)行隊列積壓嚴重查看 queueSize縮短單任務(wù)耗時或拆分任務(wù)任務(wù)異常但沒有日志submit 后未調(diào) get檢查 afterExecute 是否有埋點統(tǒng)一 afterExecute 記錄異常進程退出卡住線程池未優(yōu)雅關(guān)閉jstack 看存活線程shutdown awaitTermination 兜底最后說點個人體會。線程池這種東西源碼讀三遍不如自己把狀態(tài)流轉(zhuǎn)圖畫一遍。我當初就是在紙上把 RUNNING 到 TERMINATED 的路徑、execute 的三次機會、getTask 的四個出口全部畫完才真正把“線程池”三個字從 API 變成模型。學(xué)完原理之后要做的第一件事就是去看看生產(chǎn)環(huán)境里線程池的監(jiān)控指標——activeCount、queueSize、completedTaskCount、拒絕次數(shù)這四個數(shù)字組合起來基本能解釋掉絕大多數(shù)線程池疑難雜癥。掌握這套底層邏輯再遇到詭異問題先別猜抓線程棧、看隊列深度、看拒絕計數(shù)根因通常就藏在組合的數(shù)據(jù)里。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久综合五月天| 激情 久久 婷婷| 九色91国产| 日本狠狠干| 色综合色| 亚洲成人电影aaaa| 国产亚洲精品AAAAAAA片| 51XX午夜影福利| 丁香五月开心亚洲| 能看的AV| 五月婷婷开心丁香| 久久九九99.www| 婷婷丁香在线播放| 国产成人亚洲综合亚洲| 久99久99精品免| 99啊精典免费视频| 亚洲第一黄网| 激情久久四色| 免费视频WWW在线观看网站| 男人天堂伊人五月丁香| 五月网站| 五月丁香六月婷婷无码| 九九亚洲综合| 五月天婷婷久久| 深爱丁香激情| 四川操逼站| 精品色| 丁香六月婷婷缴情欧美| 综合图区激情| 亚洲免费电影2| 97五月久久丁香婷婷| 免费视频舔| 国产毛片欧美毛片久久久| 丁香色五月天| 思思热久久阴99| 熟妇人妻中文字幕无码老熟妇| 色婷婷五月天视频网站| 五月天婷婷激情在线色图| 国产毛片欧美毛片久久久| 色五月丁香com| 色婷婷亚洲综合网站| 五月婷婷六月丁香在线视频| 91肏| 久久九九99.www| 五月天伊人| 精品人妻伦一二三区久| 激情涩播| 丁香五月欧美色综合| 天天操五月天| 超碰97在线观看免费| 99热免| 欧类av怡春院| 欧美色久| 青草久久五月婷伊人| 91碰碰碰| 丁香五月天在线| 五月婷婷综合激情| AAA久久久| 97久久视频| 97激情五月天| 六月丁香激情综合网| 亚洲AV中文在线| 99色天堂| 91九色白丝| 99热人人| 99热碰碰| 夜夜干天天操| 99热永久在线观看| 色婷婷免费观看| 韩国不卡AC视频| 婷婷丁香六月天| 在线观看婷婷5月| 色综合色综合婷婷热| 激情久久综合网| 天天婷婷综合亚洲亚洲| 五月天伊人| 激情五月综合亚洲另类| 五月天婷婷色综合| 日韩爱操视频| 狠狠干天天内射| 久久99精品久| 国产激情久久久| 91精品久久久久久久久| 久久丁香综合| 99热只有精品在线观看| 97人人超| 丁香九月婷婷综合| 99久久婷婷国产综合亚洲| 婷婷五月天成人| 亚艹艹| 色欲九区| 久青操| 一本大道嫩草AV无码专区| 五月天婷婷操逼视频| 亚洲色情一区二区三区四区| www.超碰在线| 996热| 日本三级日本黄色| 99爱操| 综合色色五月| 婷婷综合网| 婷婷综合网| 色吊丝永久访问网址 | 嫩草AV久久伊人妇女超级A| 99久久五月婷婷| 久久婷婷六月综合资源| 日日干综合| 丁香色六月| 五月激情啪啪啪| 久久日曰| 五月婷婷六月丁香首页| 9热在线观看| 亚洲狠狠丁香婷婷香蕉| 日韩三十六页| 996热re视频在线观看视频| 免费视频WWW在线观看网站| 夜夜撸日日操| 99色视频| 色婷婷8| 男人先锋久久| 色婷婷丁香AV综合| 丁香五月天堂| 国产精品人人做人人爽人人添| 婷婷五月天色色| 亚洲色视频| 婷婷丁香五月亚洲| 中文字幕综合网| av在线观看网站| 夜夜 操无码| 日韩亚洲视频| 97人人操在线| 中文av网站| 久9无码视频| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 色婷婷色丁香色欲av| 久久ri精品| 国产乱码久久| 久久久婷婷色五月资源网| 五月天色软件| 玖玖婷婷视频| 麻豆忘忧草午夜| 六月婷婷九月丁香亚洲综合| 日本 @ va 免费| 五月天久久网站| 五月婷婷之综合激情| 99亚洲精品视频| 九九性爱网| 亚洲婷婷91丁香| 婷婷操逼| 色五月丁香五月| 五月天大香蕉| 这里只有精彩视频| 久久久www| 亚洲色频| 婷婷五月丁香激情| 大伊香蕉玖玖爱| 日本在线wwww| 日韩成人av在线| 婷婷五月天视| 婷婷久久亚洲| 五月丁香婷婷色| 五月婷婷久久综合| 色久影院| 99免费| 欧美成人精品A片免费一区99| 思思re99视频在线观看| 嫩草AV久久伊人妇女超级A| 色色婷婷综合| 久久综合影院| 婷婷五月情| 思思久ren热| 亚洲综合婷婷| 色色色免费视频| 日本欧美国产| 中文字幕网伦射乱中文| 亚洲成人在线电影网站| 在线99色| 安息电影在线观看完整版| 玖玖视频福利| 五月天婷婷在看| 操操操AV| 激情綜合W W W,激情五月天| 日逼影音先锋男人资源站| 伊人三级激情| 婷婷五月天.com| 婷婷九月激情网| 激情文学五月丁香六月婷婷| 亚洲婷婷五月天激情| 成人欧美日韩| 日本色色影片| 丁香花狠狠婷婷亚洲中文字幕| 天天干,天天操,天天射| 色色婷五月天| 五月丁香色婷婷色| 丁香五月激情久久麻豆| 亚洲愉拍99热成人精品| 五月天深爱激情网| 五月婷婷深深爱| 五月丁香色婷婷| 美女被操一区二区| 婷香五月网在线| 开心五月深爱婷婷| 啪啪综合网| 在线免费观看激情视频| 伊人青草成人| 婷婷玖玖五月天| 激情五月丁香五月| 婷婷五月天中文字幕| 激情 婷婷| 综合五月草| 色播五月婷婷五月| 国产精品久久欧美久久一区| 久久久久久9| 综合视频五月| 五月花免费视频| 久久丁香婷婷色情综合| 久久这有这里精品| 五月天伊人综合| 激情丁香五月天| 91九九热| 99热这里精| 色五月婷婷基地| 1024AV视频| 色很很96| 婷婷色五月激情强奸四射| 国产毛片精品一区二区色欲黄A片| www.久久久久久| 5月婷婷性视频| 色五婷婷开心缴| 日本久久精品| 五月丁香婷婷综合久久| 久久这里只有精品1| 五月色情婷婷开心五月色情| 97狠狠色| 欧美人人超级碰| 五月丁香婷色| 五月综合激情网| 91chinese 在线| 天天碰天天插天天操| 亚洲五月婷婷| 日韩啪| 婷婷激情五月综合| seuuu婷婷| 综合网色| www.99婷婷| 91综合网| 五月婷婷天天色| 五月天婷婷綜合院| 亚洲AV无码一区二| 欧美成人网99网| 99在线精品免费视频| 91精品国产91久久久久青草| 黄网在线观看免费| 久久婷婷丁香五月宗合| 婷婷的激情五月| 日本九九视频| 久久99久久久| 久久a热| 99丁香五月| 天天色综合色色色色色。| 九九热婷婷| 无码人妻一区二区一牛影视| 色狠狠色噜噜噜a天堂一区| 五月天激情婷婷| 久久98| 欧美99视频| 色色网91| 99热这里只有精品中文字幕| 久热9热| www,婷婷| 91人无码久久久久久| 色色色色av777| 亚洲国产精品二二三三区| www.天天色综合| 激情深爱综合网| 狠狠五月婷婷| 欧美黑人大吊| 久久久精品色| 密黄站| 色色色色五月| 亚洲艹网| 五月激情影院| 五月激情婷婷六月丁香| 最新无毒无码AV| 狠狠狠人妻| PORNY九色9l自拍视频成人| 日韩无码人妻一区二区| 婷婷五月天激情网| 99碰网站| 五月天婷婷丁香| 欧美日韩成人在线| 国产精品电影| 婷婷性爱无码视频| 色五月丁香91| 色婷婷狠狠干| 久久97| 啪啪激情综合| 亚洲天天| 蜜乳.comcom| 热99这就是精品视频| 成人看片网站| 狠狠操综合| 色之综合网| 亚洲色婷婷| 激情播丁香| 五月婷婷丁香五月婷婷丁香| 国产免费av网站| 噜噜色com| 无码人妻一区二区一牛影视| 久久婷婷内射| 五月丁香爱婷婷深深| 五月色网| 成人无码精品1区2区3区免费看| 夜夜AVV| 五月丁香久久网| 无码任你操| 丁香六月激情| 一本久道综合色婷婷五月| 狠狠干五码| 深爱五月激情| 丁香五月大香蕉在线99| 久久6这里只有精品| 婷婷五月天综合AV| 五月激情久久| 婷婷五月天日本无码| 国自产拍偷拍精品啪啪一区二区| 婷婷爱综合| 色色色激情网| 婷婷色操| 再綫Av免费視品| 三级片AAA久久久AAA久久久AAA | 欧美成人精品A片免费一区99| 天天操夜夜玩!| 99精品手机在线视频| 激情五月天婷婷在线网址发给我| 亚洲精品亚洲人成人网| 免费看欧美成人A片无码| 久久视频这里99| 婷婷色在线视频| www.色五月| 激情播丁香| 亚洲区在线| 香蕉人在线香蕉人在线 | 综合色五月亭亭| 亚洲久热无码| 亚洲成人AV在线播放| 在线只有精品| 婷婷五月天激情综合深爱激情| av最新在线| 深爱五月激情| 综合五月激情网| 黄久久久| 国产3p露脸普通话对白| 丁香五月伊人| 天天爽天天日人人爱| 婷婷五月激情基地| 久久婷婷五月综合激情国产| 五月丁香999| 操操操91| 97色干| 永久AⅤ1| 日本人妻A片成人免费看片| 国产精品涩涩涩视频网站| 丁香五月日啪| 99色.com| 婷婷五月天网| 婷婷五月影院| 伍月激情天| 九九中文字幕九| 婷婷五月天福利| 开心五月深爱五月丁香五月激情五月 | 狠狠va| 日本三级片片| 欧美在线视频99| 丁香五月另类小说| 2050人人操免费工开爱| 日本九九网| 成人无码精品1区2区3区免费看| 欧美成人色婷婷| 丁香蜜臀黄色婷婷五月天| ww超碰在线| 婷婷深爱五月天| 99久久大片| 丁香五月亚洲激情婷婷射| 婷婷干| 激情文学久久| 五月色色激情网| 久久视这里只有精品| 97超碰色| 亚洲国产无线乱码在线观看| 五月丁香久人妻中文| 另类小说五月天综合网| 超碰国产在线| 人人妻人人澡人人爽| 99热成人| 久久性爱视频久久性爱视频| 婷婷久久综合久| 超碰成人影视| 亚洲无AV在线中文字幕| 五月丁香啪啪啪| 日本操B视频| 青青草搞屄视频网站| 99re热在线视频观看| 免费无码毛片一区二区A片| 亚洲熟女色| 激情九九综合网| 丁香婷婷六月激情文学| 天天肏高清在线| 曰韩五月丁香色婷婷无码| 久久九九99| 99色网站| 九色色| 色婷婷久久综合久色| 97色在线观看视频| 9色免费网| 国产99久久久国产精品免费看 | 超碰99在线观看| 超碰激情五月| 天堂美国久久| 极品人妻VIDEOSSS人妻| 婷婷六月激情| 可以直接看的AV网站| 天天日天天狠狠操| 五月丁香久久综合| www.久久爱.com| 婷婷五月丁香性爱| 婷婷五月丁香五月基地| 国产露脸150部国语对白| 综合婷婷| 51XX午夜影福利| 丁香五月成人社区| 五月丁香婷爱在线| 26uuu亚洲欧美| 五月天久久婷婷婷| 青青草搞屄视频网站| 91性高潮久久久久久久久| 久热婷婷在线视频| 一起草aV| 大胆伊人久久| 午夜日韩久久久网站| 潘金莲AAAAAAAAAA| 黄色录像网点| 日韩av一区二区在线/日产精品久久久| 99热都是精品| 五月婷丁香| 色色色99| 婷婷五月天激情综合深爱激情| 五月天堂婷婷| 久久久久久久久久久久久久人妻视频| 久思思久视频| 丁香五月丐人妻| 九九九精品视频免费观看| 日本一级| 97碰啪啪| 超碰久热| 亚洲性受XXXX五月丁香| 777色婷婷爱五月| 思思99热这里只有精品| 久久视网36| 99啪啪视频| 五月丁香六月香香蕉| 久久婷婷综| 色色色婷婷五月天| 天天射综合网站| 婷婷无码视频| 色玖玖| 99热久| 性爱AV天堂| 99久久精彩视频。| 丁香女人五月天| 第四色色六月色综合| 欧美激情 日韩无码 婷婷 五月天| 99热欧美在线观看| 天天日天天摸天天| 五月天久久www| 99精品无码网站| 日韩中文欧美| 天天综合亚洲综合网天天αⅴ| 国产黄色av| 91久久免费| 久久视频婷婷| www久久99| www.粉嫩av.com| 六月丁香视频网站| 狠狠人妻久久久久久综合丁香| 91视频久久久| 色婷婷综合在线| 欧美性爱中文字幕| 久久国产性爱A V| 色婷激情网| 99热在线成人网站| 色色五月婷| 丁香五月天社区| 香蕉网婷婷| 激情久久 婷婷| 97久久超碰| 丁香六月婷婷高清| 这里有精品| 色香欲综合| 欧美婷婷色| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月丁香啪啪网| 欧美性猛交99久久久久99按摩| 亚洲99一级无嗎特制在线| 日本高清久| 激情五月婷婷欧美极品| 免费看欧美成人A片无码 | 色爱爱综合网| 婷婷九月丁香| 六月综合在线| 成人做爰A片免费看视频| 成人无码中文| 丁香五月天殴美激情| 六九色综合婷婷五月天| 成人无码精品1区2区3区免费看| 99综合成人视频在线观看| 丁香九月婷婷| 婷婷在线视频| 青青草99re| 五月婷婷高清| 五月丁香六月激情| 九九爱激情| 婷婷激情五月综合| 免费看欧美成人A片无码 | 久久人人妻| 97精品人人A片免费看| 久婷婷五月综合欧美| www.操逼comm| 久久婷婷亚洲| 五月色网| 色婷婷免费观看| 九九爱精品网站| 天天综合情| 九九激情| 碰碰碰碰碰99| 99热精这里只有精品| 国产免费一区二区在线A片视频| 中文字幕在线人妻| 超碰狠狠色| 婷婷五月色| 色欲九区| 亚洲无码成人| www.婷婷,com| 天天日天天爽| 国产操肏网站| 狠狠草在线观看| 91丁香色| 思思久久青草热| 国产暴力强伦轩1区二区小说| 青草青草久热这里只有精品| 91se在线视频| 日本三级中国三级99| www.狠狠艹| 天天干天天av天天射| 五月天综合区| 激情5月婷婷| 九九热思思热| 色色色色色九九九九九| 丁香五月在线看| 五月婷婷av在线| renre人人操国产超碰在线| 久久香蕉影院| www.狠狠狠狠| 九月婷婷在线视频| www.丁香五月| 色玖玖玖| 欧美99热| 涩涩涩,com| 狠狠操综合| 热这里只有精| 婷婷五月丁香图片人人操| 97色伦另类图片小说视频 | 天天天天天久久久久久| AV中文字幕夜夜操b天天摸bb | 中文字幕,综合,91| 高清激情av在线观看| 亚洲欧美成人在线| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ| 国产午夜一区二区三区| 深爱女色婷婷丁香五月亚洲图区| 嫩草AV久久伊人妇女超级A| 婷婷五六日| 美女久久婷婷| 五月开心久久| 九色视频91| 一起草av| 欧美激情综合色丁香婷婷五月天| 人人妻人人澡人人爽| 成人版视频在线观看| 精品久久99码| 日本不卡高字幕在线2019| 狠狠操狠狠干综合| 久99热在线观看| 天天干天天干天天操| 狠狠做五月婷婷| 丁香久久在线| 黄色成人网站在线播放| 亚洲在线激情婷婷五月| 日本123区日韩欧美不卡在线看| 国产免费AV在线| 五月丁香综合激情在线观看| 狠狠爱丁香婷| 亚洲热综合| 婷婷色五月情| 涩综合网| 五月婷婷六月激情| 五月综合丁香婷婷| 我要看激情五月天| 婷婷五月激情欧美| 激情九月婷婷九月| 久久丁香五月天| www.五月婷婷久久.com| 91久久久久久久91| 日本欧美成人片AAAA| 夜夜操夜夜操| 综合色天天| 丁香五月婷婷天堂大香蕉| 婷色五月| 在线观看欧美| 久久这里只有国产视频| 九九無碼| 成人短视频在线免费观看| 91日韩在线| 亚洲精品婷婷| 色五月五月丁香| 久9热在线视频| 91麻豆国产三级精品福利在线观看 | 久久综合天天综合| WWW,色五月| 婷婷六月色情| 久久se 综合网| 激情五月丁香五月| 丁香五月婷婷亚洲色图| 97色色色视频| www婷婷亚洲| 狼人久草| 婷婷色在线视频| 26uuu成人网| 婷婷五月天AV| 色色色色综合| 99热新网址| 天天舔天天操| 蜜臀嫩草| 人妻VideOssS人妻| 五月婷婷伊人网| 婷婷五月激情四月综合| 婷婷综合视频| 色玖玖玖| 五月婷婷日| a毛片二逼wwwwwwwwww| sS丁香五月婷婷| 操人91| 狠狠干综合| 99热免费| 色视五月天婷婷| 成人在线二区| 色婷婷久久综合丁香五月| 久草婷妨| 五月婷婷啪啪综合网| 色激情五月| 67194成I人在线观看线路1| 91九色精品熟女内射| 天天操天天操天天操天天操天天操 | 色五月激情五月| 久久人妻系列| 99人人干人人操| 日韩色久| 色婷婷丁香网| 97干干干丁香| 久久丁香五月婷| 日日夜夜狠狠| 五月丁香六月婷婷综合伊人| 五月丁香色色色| 人人摸人人| 九九九九国产| 日产精品久久久久久久蜜臀 | 亚洲国产精品VA在线看黑人| 五月天深爱激情网| 97人人爱人人操| 伊人婷婷五月天| se99热久久一本| 婷婷五月天桃花网| 五月丁香A∨在线| 国产婷婷久久| 五月丁香婷婷五月色| 丁香狠狠干| 五月丁香六月激情| 日韩色色一区| 色播丁香| 五月婷婷五月天天| 五月天涩涩| 天天插天天插| 囯产精品久久欠久久久久久九大| 成人视频网| 天天插操| 五月天婷婷社区久久综合| 色区久久| 激情五月婷婷综合网| 丁香婷婷色五月| 爆乳熟妇一区二区三区爆乳照片| 亚洲va综合va国产va中文| 99在线免费视频| 久久44| 操逼六区| 婷婷五月天激情偷拍| 亚洲第一色区| 久超超碰| 搡BBBB搡BBB搡18 | 色五月婷婷影院| 婷婷第六色| 99综合一区| 97精品自拍| 色噜噜狠狠色综无码久久合欧美| 婷婷五月丁香综合桃花色网| 婷婷综合| 国产99久久久| 狠狠干,狠狠操| 丁香五月天在线直播观看| 玖玖热99| 1024AV视频| 激情五月天色色色| 色综合激情| 涩五月丝袜婷婷| 五月天婷婷婷| 99久久終合| 五月婷婷天| 超碰在线资源| 综合成人小说婷婷| 99狠狠色| 欧美一级色| 开心五月色婷婷综合开心网| 疯狂做受XXXX高潮A片| 五月丁香色婷婷伊人| 亚洲精品亚洲人成人网| h在线看免费版在线看| 秋霞AV美国| 婷婷丁香五月激情图片| 久操热线| 97自拍99| 久8色色| 狠狠爱综合| 4399高清无码视频| 五月婷婷综合潮喷| 久久99久久99精品免视看婷婷| 色射7856五月天激情四射| 中文字幕丁香五月| 色屌丝中文字幕| 99精品国产在热久久婷婷| 开心激情站婷婷五月天| 色婷婷六月| 99ri精品视频在线观看| 激情五月婷黄版| av网址在线| www.五月婷| 天天色综合综合| 97人人草| 国产亚洲色婷婷99精品| 操97| 成人五月丁香社区| 色欲影香| 九色无码| 婷婷五月天激情小说| 亚洲在线网站| 视色综合| 大香蕉福利导航| 99色热综合| 中字幕视频在线永久在线观看免费 | 碰99在线| 婷婷激情五月综合丁香社| 日韩免费视频| 五月丁香六月色情网欧美| 五月花婷婷| 性色播| 99热最新| 夜夜噜夜夜奇| 亚洲综合网在线| 99秘 在线| 亚州在线中文字幕| 婷婷基地五月色| 婷婷色色欧美综合网| 狠狠操狠狠狠| Www.se.久久| 婷婷干五月综合在线播放| 91嫩草国产线观看亚洲一区二区| 色五月婷婷婷婷| 五月刺激丁香月综合| 亚城区在线| 影音先锋偷偷色男人站| 婷婷五月天激情电影| 最新av在线观看| 91超级碰碰碰| 秋霞三级色戒| 四LLL少妇BBBB槡BBBB| 久久这里只有精品视频26| 丁香花社区av| 天天插天天插天天插天天插| 伊人玖玖网| 久久色婷婷| 日韩好吊操| 99年操人人爽| 亚洲色爱综合| 五月婷婷欧美| 丁香五月激情网| www色中色综合| 成人在线网站| 成人va在线播放| 亚洲人妻一区二区 | www.zbzhongsen.com| 五月综合激情婷婷六月色窝| 婷婷五月丁综合| 97精品综合久久内射| 日本综合久久| 天天cha成人综合网| 久久久噜噜噜www成人| 超碰超碰在线| 色综合五月在线| 五月丁香婷婷综合网色欲| 色色色色色色色色五月先| 99re在线观看视频| 久热久re| 色色色综合| 亚城区在线| 亚洲sesesese| 亚洲精品第一国产综合亚AV| 翔田千里 50岁 无码| 涩涩涩婷婷| 五月丁香在线观看99| 婷婷亚洲综合| 婷婷六月综合激情| 夜夜人妻五月天| 丁香视频| 荫道BBWBBB高潮潮喷| 综合网天天| 婷婷在线操| 九色91视频| 韩国不卡AC视频| 色婷婷婷婷| 五月丁香综合在线| 激情欧美婷五月| 天天肏高清在线| 五月Huangsewang| 色色色干| 五月亭亭六月天| 91免费在线视频6| 影音先锋一区| 久久99jiu9| 国产日韩精品SUV| 91丨九色丨丰满人妖| 欧美综合五月丁香六月婷| 99精品在线观看视频| 色婷婷五月天av在线| 99热免费观看| 婷婷久久五月天丁香| 婷婷五月天成人网站| 99热 免费| 91人人澡人人爽人人看| 色色综合网。| 最新高清无码专区| 伊人五月天在线| 狠狠色噜噜狠狠| 婷婷五月天综合小说网| 欧美天天综合网站上去吧| 久99视频在线观看| 色婷婷操逼网| 伊人影院久久网| 噢美99| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色五月丁香伊人| 99色最新在线视频| 人妻狠狠操| 超碰91av| 久久色五月| 亚洲另类毛片| 极品五月天| 亚洲天堂色| 成人丁香婷婷| 秋霞少妇AV网站| 亚洲精品99| www.婷婷六月天| 99热这里只有精品8| 99热自拍| 综合色色网| 亚洲在线操| 曰曰久久| 综合久久9| 超碰九九热| 啪啪激情综合| 亚洲成人综合在线| AV人人操| 婷婷成人五月天| 日本狠狠干| 亚洲亚洲人成综合网络| 国产成人精品一区二三区熟女在线| 人人干av| 少妇性按摩无码中文A片| 色婷婷成人做爰A片免费看网站| 国产精产国品一二三在观看| 熟妇无码乱子成人精品| 六月成人网| 丁香五月婷婷图片综合| 99欧美精品99日本精品| 免费日本aⅴ中文字幕| 1769在线观看欧美国产| 成人色图情色成人网 www.5b5b5bcom 五月天 | 五月激情综合美女久久| 亚洲第一第二网站| 日本WWW九九九| 亚洲欧美成人在线| 婷婷在线视频| 丰满少妇乱A片无码| 激情四射亚洲| 99小视频在线观看| 五月丁香啪啪综合网| 九九Av| 99在线观看视频蜜臀| 91大屁股| 九九热在线精品| 伊人久久大香网| 五月天婷婷成人网| 五月天丁香婷婷视频网址| 大香蕉天堂色| 五月丁香另类图片| 激情综合网,婷婷| 色婷婷视频综合| 久久色五月天| 久久小视频| 婷婷桃色网| 五月丁香啪综合| 日韩砖区| 欧美黄色AA片哗啦啦啦| 久草大| 98国产精品综合一区二区三区| 五月丁香亭亭A片| 九九九九综合| 99久久成人| 日本视频99| 亚洲精品V天堂中文字幕| 一区二区三区四区牛| 爱射综合| 可似看的AV| 狠狠综合网| 九九九九无码| 国产伊人五月天| 天天干天天干天天干天天干天| 亚洲AV成人片无码网站| 日逼AV影音先锋男人资源站| 五月天婷综合| 3p日韩网站视频| 干一干xxxx| 精品国产乱码久久久久久免费| 久久玖玖综合| 激情五月婷婷综合视频| 9l视频自拍9l九色9l成人| 欧美日韩欧美| 极品色丁香| 亚洲99在线视频| 草草视频91| 4438全国最大视频成人网站在线观看| 99精品国产在热久久| 丁香 婷婷 亚洲 熟女| 国产无套精品一区二区| 色综合av超碰| 97激情五月天| 久久东京热婷婷五月| 欧美一级a| 色婷婷中文字母五月丁香| 九九热最新| j五月香在线| 午夜色色色极品视频| 九九干视频| 激情综合五月丁香六月婷婷| Av性爱网| 中文激情网| 99草视频在线观看| 婷婷五月丁香六月天亚洲综合| 丁香六月综合激情| 久久久久久激情| 婷婷五月激情中文字幕| 激情久久伊人| 色情·com| 婷婷综合五月天| 五月丁香久久色| 久久久久久五月天| 国产真人做爰视频免费| 久久九九怡红院| 91啪啪视频| www.maotanji.com| 狠狠草狠狠草| 大操人妻| 婷婷丁香人妻久久在线观看| 精品夜夜澡人妻无码AV| 色色五月婷婷| 天天日,天天插| 婷婷少妇激情| 亚洲乱码w在线观看| 九九超日本| 婷婷色五月色| 色五月色开心开心五月| 99热这里只有精品23| 大战熟女丰满人妻AV| 99在线观看视频精品| 99精色| 亚洲1区| 亚洲色啪| 五月丁香久久精品在线观看| 热99在线| 五月丁香六月综合情在线观看| 久热人妻| 天天射综合网站| 国产激情久久| 婷婷丁香社区网| 9l视频自拍9l九色成人| site:901-07.com| 九九综合久久| 啪啪干伊人婷婷| 2025超碰| 亚洲aV写真天天综合网久久| 91干99| 丁香六月婷| 精品久久婷婷| 九九99久久| 99热欧美在线观看| 天天综合精品| 人人舔天天| Www.Av网9| 99色色视频| 91超碰在线播放| 五月丁香六月婷| 婷婷四色五月| 无码人妻一区二区一牛影视| 99热成人精品网站| 丁香五月婷婷啪| 六月丁香啪啪| 99视频精品8| 五月婷综合| 五月综合激情| 久久亚洲婷婷综合色五月| 国产69久久久欧美黑人A片| 久久精品亚洲一级牲爱综合| 百度4399有码精品V在线观看 | 97五月久久丁香婷婷| 99热精品在线播放| 免费看欧美成人A片无码| 区区欧美你爱| 激情视频91| 激情六月婷婷| 婷婷草| 亚洲操操| 99久久97| 五月丁香婷中文| 777丁香六月青青草婷婷综合久月| 丁香五月婷婷总啪啪| 日韩在线视频网站| 五月婷婷综合激情| 亚洲AV电影美洲AV电影| 色婷婷视频| 五月丁香婷婷激情澎湃四射| 色色色五月婷| 国产毛多水多女人A片| 婷婷亚洲欧美丁香五月| 天天搡日日搡aaaaⅩ| 99re热视频这里只精品| 久久这里只有精品热在99| 亚洲sesesese| 免费观看日韩成人av| 五月丁香六月成人| 婷婷五月天欧美图片在线播放电驴| 久久香蕉丁香| 亚洲字幕AV一区二区三区四区| 色婷婷视频在线| 99免费视频久久| 99热99草97| http:色情日本com| 色综合久久44| 色射婷婷五月天| 婷婷丁香六月| 综合九色| 熟妇人妻中文字幕无码老熟妇 | 婷婷无码五月天| 久久这里只有精品07 | 婷婷五月天天aV| 五月丁香啪| 婷婷激情四射五月天| 韩国真做片在线观看| 亚洲成人中心| 天天舔天天摸视频| 国产乱码久久| 99啪99| 婷婷五月天最新网址| 99热国产| 五月丁香999| 99热精品在这里| 先锋男人99资源| 激情五月婷婷| 久久色五月天| 天天综合网色欲香| 日韩综合成人| 激情五月天丁香| 大香蕉精品视频| 丁香五月天激情免费在线观看AV777 | 综合色久| 99热这里只有精品66| 婷婷五月色惰| 久草热视频在线观看| 五月综合亚洲婷婷| 激情q青青草在线婷婷| 色播六月| 六月婷婷综合激情| 色婷综合| 99福利视频导航| 激情内射人妻1区2区3区| 99∨VTV| 色婷婷基地| 综合激情在线| 九九精品热播| 日日噜噜夜夜狠狠久久丁香六月| 我要看激情五月天| 深爱激情久久| 五月婷婷六月爱| 色情·com| 婷婷色五月婷婷姐妹| 久久草大香蕉| 亚洲网视屏| 99黄色性生活| 99精品在线观看| 日本一级一级一级一级| 亚洲精品无码久久| 婷婷九月丁香| 久热9| 色婷婷狠狠| 五月丁香六月婷婷精品| 亚洲天堂热| 丁香五月影院| 丁香五月天欧美成人| WWW夜夜| 五月丁香直播| 五月丁香六月色婷婷| 久久久99精品| 五月丁香婷婷中文网| 热99热9| 亚洲色爱综合| 五月婷婷激情日本| 国产成人av在线播放| www.久久爱| 欧美一级色| 国产精品久久久爽爽爽麻豆色哟哟| 国产乱妇无乱码大黄AA片| 日韩二区搞逼插逼毛片| 久操香蕉| 亚洲AV无码影院| 成人在线网| 亚洲欧洲色色| 呦呦视频无码播放| 玖玖资源在线视频| 午夜激情婷婷| AV九九| 九九综合影音先锋| 婷婷国产五月天17c| 超碰a女人的天堂| 99超级碰免费视频| 婷婷五月综合欧美在线播放| 亚洲色欲AAAAAA| 激情伊人五月天| 狠狠色噜噜狠狠狠狠综合| 久久久久er热| 99燥99日| 色婷婷女优有码五月亭| 丁香婷婷网| 九九热思思热| 六月激情综合| 久色视频| 欧美日韩成人综合9| 中文AV在线观看| 亚洲色激婷| 色偷偷色婷婷| 婷婷狠狠干| 五月四色激情| 97碰碰在线看视频免费| 国产裸舞福利资源在线视频| 大陆肏屄视频| 夜夜 操无码| 久久精品一区二区三区四区| 69色婷婷| 天天日夜夜高潮| 狠狠高潮精品亚洲1| 五月花免费视频| 91免费试看| 狠狠搞五月天| 亚洲狠狠狠| 玖玖在线视频| 99热国产在线| 久热欧美| 99久久久| 色九九综合| 九九综合网色全集| 丁香五月狠狠综合欧美| 色婷婷国产精品综合在线观看| 婷婷大乡焦噜噜| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 五月天操逼网| 九九这里精品| 99操视频| 久久38视频| 亚州欧美国产久精国产99综合视频| 99色精品| 天天色综网| 色九九综合| 婷婷狠狠操| 久久AV无码精品人妻系列试探| 99热精品99| 色天天综合成人网| 日韩视频99| 26uuu偷拍亚洲欧洲综合| 甈你aaaaa| 九九这里只有精品| enecarbon-materials.com污K127封锁请涟系@wip1688 | 十月色综合| 欧美在线视频99| 99re在线精品视频| 九九色综合视频| 国产亚洲精品AAAAAAA片| 97在线精品视频| 婷婷香五月天| 开心色色五月天综合| 99爱这里只有精品| 九月丁香婷婷综合| 日本三级网址| 婷婷五月丁香综合人妻| 99色在线| 九九热这里只有精品7| 久久99精品久久久久久三级| 啪啪啪丁香五月| 五月天婷婷影院影院| 超碰在线人妻| 91碰碰碰| 97碰碰视频在线观看免费| 五月婷婷丁香大香蕉| 开心五月婷| 成人亚洲精品久久久久| 欧美又粗又大一区二区在线观看| 五月婷婷啪啪网| 色婷婷AV在线| 丁香五月婷婷六月丁香| 91免费试看| 久久成人人妻| 久久性都花花世界成人免费视频| 婷婷五月天AV激情| 专区无日本视频高清8| 99色在线视频观看| 九九热免费| 欧美噜噜噜草| 开心激情五月天网| 中海油常州环保涂料有限公司| 97色婷| 色色五月丁香婷婷| 日本一级| 天天射美女| 91色综合| 成人亚洲精品| 色五月婷婷久久| 日本色噜| 国产亚洲成AV人片在线观黄桃| 人色五月天婷婷| 天天干人人奸97| 深爱激情五月婷婷| www.com色播五月天|