99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐

從裸用Flowable到統(tǒng)一流程平臺:工作流引擎治理實踐 Flowable這個開源工作流引擎在我們系統(tǒng)里躺了大半年之后我終于決定在它上面再蓋一層統(tǒng)一流程平臺。說實話這一步不是一開始就想好的而是被現(xiàn)實逼出來的最初只是想找一個能畫BPMN流程圖、能跑審批的引擎結(jié)果半年后十幾個業(yè)務(wù)系統(tǒng)都在各自調(diào)Flowable的API每個項目組自己部署一套流程模型散落各處待辦任務(wù)互相看不見。寫這篇文章是想把我們從“裸用Flowable”到“建設(shè)統(tǒng)一流程平臺”的完整過程、關(guān)鍵設(shè)計和踩過的坑整理出來給正在用工作流引擎、或者正準(zhǔn)備做流程中臺的團隊一個參考。這篇文章適合三類人一是已經(jīng)用上Flowable、但覺得有點失控的開發(fā)者二是正在做流程平臺選型或架構(gòu)設(shè)計的技術(shù)負責(zé)人三是對BPM、工作流領(lǐng)域感興趣、想了解這套東西落地長什么樣的同學(xué)。我會從為什么選Flowable開始講然后說清楚Flowable直接使用會遇到的典型問題再重點展開統(tǒng)一流程平臺的整體設(shè)計、核心實操細節(jié)、以及我在真實業(yè)務(wù)里踩過的坑和排查思路。內(nèi)容會以實際可落地的方案為主不是泛泛的架構(gòu)概念。1. 為什么拿Flowable當(dāng)起點先說一個很多人會問的問題既然最終要做統(tǒng)一流程平臺為什么不一開始就自己寫一套流程引擎說實話工作流引擎這件事看起來不難無非就是“節(jié)點流轉(zhuǎn)、條件判斷、任務(wù)分配”但真要把BPMN 2.0的網(wǎng)關(guān)、子流程、事件、多實例、定時器都做穩(wěn)定沒有一兩年持續(xù)投入是做不出來的。所以當(dāng)時我們很務(wù)實地選擇了先站在Flowable的肩膀上。1.1 Flowable到底是什么Flowable是基于BPMN 2.0標(biāo)準(zhǔn)的開源工作流引擎它起源于更早的Activiti 5/6分支后來獨立發(fā)展目前社區(qū)版和企業(yè)版并行。核心能力包括解析和執(zhí)行BPMN 2.0流程定義、維護流程實例和任務(wù)、記錄歷史數(shù)據(jù)、支持定時器、消息事件、信號事件以及比較完整的表單集成方案。Java生態(tài)里用得非常廣這也是我們當(dāng)時選它的一個重要原因——團隊都是Java背景排查問題、二次開發(fā)都比較順手。在Flowable里幾個核心對象要心里有數(shù)流程定義ProcessDefinition相當(dāng)于“圖紙”部署好之后不可變流程實例ProcessInstance是按圖紙創(chuàng)建的一次具體流轉(zhuǎn)相當(dāng)于“一棟按圖建出來的樓”任務(wù)Task是流轉(zhuǎn)過程中待辦的一個節(jié)點執(zhí)行實例Execution則更細代表當(dāng)前運行到哪條分支。理解這幾個概念的層級關(guān)系后面做平臺封裝才會心里有底。1.2 選Flowable而不是自己造輪子的三個理由第一BPMN 2.0的覆蓋面很全。會簽、或簽、并行網(wǎng)關(guān)、排他網(wǎng)關(guān)、子流程、邊界事件、補償事件這些都是業(yè)務(wù)上非常高頻的需求自己從零寫一個能讓模型穩(wěn)定跑在生產(chǎn)環(huán)境的引擎工作量遠超想象。第二Flowable的表結(jié)構(gòu)公開、數(shù)據(jù)模型清晰運行實例、任務(wù)、歷史都分開存放對于做監(jiān)控和二次開發(fā)非常友好。第三它的API設(shè)計相對穩(wěn)定RuntimeService、TaskService、HistoryService、RepositoryService這些核心服務(wù)接口多年沒有大變動意味著平臺層可以相對穩(wěn)定地建立在它之上。當(dāng)時我們是拿一個請假審批的Demo做了驗證部署流程圖、發(fā)起流程、查待辦、審批通過、查詢歷史半天時間全部跑通。這個速度讓我們很確定流程引擎本身不需要自己寫精力應(yīng)該放在業(yè)務(wù)能力的抽象上。但也是從這個時候開始隱患已經(jīng)埋下了。2. Flowable直接裸用用著用著就疼了流程引擎跑起來之后業(yè)務(wù)團隊很快發(fā)現(xiàn)這東西好用于是“請假審批”剛上線緊接著就有報銷、合同、采購、出入庫等各種流程需求找過來。每個系統(tǒng)各接各的Flowable看著熱鬧實際是問題的集中爆發(fā)期。2.1 最直接的問題業(yè)務(wù)代碼和流程代碼糾纏不清在裸用階段每個業(yè)務(wù)系統(tǒng)都要自己維護一套啟動流程、處理任務(wù)的代碼。比如一個業(yè)務(wù)系統(tǒng)要發(fā)起審批它要做的事包括往自己的業(yè)務(wù)表里插一條單據(jù)數(shù)據(jù)再調(diào)flowable的RuntimeService.startProcessInstanceByKey發(fā)起流程還要準(zhǔn)備一個業(yè)務(wù)表主鍵和流程實例ID的映射關(guān)系審批回調(diào)時再根據(jù)流程實例ID去反查業(yè)務(wù)數(shù)據(jù)。這套代碼寫一次兩次沒問題寫了十幾個系統(tǒng)之后問題就來了每個系統(tǒng)的映射方式不一樣有的用businessKey有的用流程變量有的自己在擴展表里存關(guān)聯(lián)后續(xù)做統(tǒng)一查詢、統(tǒng)一待辦的時候數(shù)據(jù)根本對不齊。更麻煩的是沒經(jīng)過平臺約束的流程模型寫起來很隨意。有的流程把所有審批邏輯塞進一個ServiceTask里有的把業(yè)務(wù)規(guī)則寫在網(wǎng)關(guān)條件表達式里有的干脆用排他網(wǎng)關(guān)模擬一切。流程圖最后淪為了擺設(shè)真真正正的邏輯都藏在Java delegate里流程定義換代時根本不敢動。2.2 重復(fù)建設(shè)與權(quán)限割裂審批意見、加簽、轉(zhuǎn)辦、撤回、催辦、待辦提醒這些跟流程強相關(guān)但又非常通用的功能我們當(dāng)時在每個系統(tǒng)里都重復(fù)實現(xiàn)了一遍。A系統(tǒng)寫了一套加簽邏輯B系統(tǒng)又寫了一套實現(xiàn)方式還不一樣——有的用Flowable的ADD_AND_APPROVE變更任務(wù)辦理人有的直接在任務(wù)變量里存了一個加簽人列表由應(yīng)用層自己判斷處理。這套東西的時間成本和維護成本都很高。還有一個讓人頭疼的問題是權(quán)限割裂。崗位A的管理者在系統(tǒng)1里能看到待辦在系統(tǒng)2里又得重新配置一遍權(quán)限才能看到那套流程的待辦同一個人的待辦任務(wù)散落在多個系統(tǒng)里沒有一個匯總視圖。用戶每天都得去各個系統(tǒng)里翻一遍有沒有需要自己審批的單子。這種體驗很差而這其實是流程平臺治理缺失的典型表現(xiàn)——流程引擎只是提供了“流轉(zhuǎn)”的技術(shù)能力并沒有把“人的視角”統(tǒng)一起來。2.3 運維與治理基本是空白Flowable裸用階段運維基本是靠“流程沒跑掛就沒人管”。某次有一個定時器任務(wù)因為執(zhí)行節(jié)點所在服務(wù)重啟一批定時器全部錯過觸發(fā)時間要不是業(yè)務(wù)人員反饋“單子卡住了”我們根本發(fā)現(xiàn)不了。再比如流程模型更新當(dāng)時直接覆蓋部署結(jié)果因為新版本的流程圖里刪了一個節(jié)點導(dǎo)致還在途的舊流程實例在查詢?nèi)蝿?wù)時出現(xiàn)空指針最后只能手工改數(shù)據(jù)庫才把流程救回來。還有一個隱藏問題歷史數(shù)據(jù)無限膨脹。Flowable默認會往歷史表里寫大量數(shù)據(jù)ACT_HI_ACTINST這張表幾乎記錄了流程實例的每一個執(zhí)行節(jié)點動作高并發(fā)流程跑上幾個月這張表就是千萬級起步。我們沒有做歸檔策略數(shù)據(jù)庫越來越慢最后拖累了正常的流程任務(wù)查詢。到這一步我們基本意識到Flowable解決的是“單個流程怎么跑”的問題而公司需要的其實是“所有流程怎么被管起來、被統(tǒng)一使用”的問題。這二者之間有巨大的工程缺口。3. 統(tǒng)一流程平臺設(shè)計的關(guān)鍵決策統(tǒng)一流程平臺這個東西說起來容易做起來需要非常清醒地想清楚一個問題我們做的到底是一個給開發(fā)者調(diào)用的SDK還是一個給全公司業(yè)務(wù)系統(tǒng)使用的平臺。這兩者的設(shè)計思路完全不同。我們最后明確平臺必須成為一個獨立的、可獨立部署的中間層Flowable只是這個平臺內(nèi)部的一個引擎組件對外完全屏蔽。3.1 平臺定位流程資產(chǎn)的統(tǒng)一管理入口統(tǒng)一流程平臺的本質(zhì)是把自己定位成所有流程資產(chǎn)的統(tǒng)一管理入口。所有流程模型都必須在平臺上注冊所有流程的發(fā)起、審批、查詢、歸檔都通過平臺進行業(yè)務(wù)系統(tǒng)不允許繞過平臺直接操作引擎底層API。聽起來像是一刀切的規(guī)定但實際上這是避免失控最有效的手段。平臺化之后各個業(yè)務(wù)系統(tǒng)的角色從“自己管流程”變成了“向平臺申請流程能力”。比如業(yè)務(wù)系統(tǒng)需要一個新的審批流程開發(fā)同學(xué)只需要在平臺上設(shè)計BPMN模型、配置好表單地址和權(quán)限策略、申請一個唯一的流程Key然后通過統(tǒng)一的API發(fā)起流程、接收回調(diào)即可。流程模型、運行數(shù)據(jù)、歷史數(shù)據(jù)、待辦權(quán)限全部沉淀在平臺側(cè)方便統(tǒng)一治理。3.2 兩個決定性架構(gòu)決策第一個決策統(tǒng)一入口。所有流程發(fā)起統(tǒng)一走平臺的“發(fā)起流程”開放接口而不是允許業(yè)務(wù)系統(tǒng)直接new一個ProcessEngine然后調(diào)用startProcessInstanceByKey。這樣做的好處非常實際平臺可以在發(fā)起的必經(jīng)之路上做權(quán)限校驗、參數(shù)規(guī)整、冪等控制、數(shù)據(jù)埋點。第二個決策統(tǒng)一運行時。Platform模式即平臺內(nèi)部只維護一個Flowable引擎實例所有流程跑在同一個引擎上。而不是每個業(yè)務(wù)域獨立部署引擎實例來跑自己的流程。統(tǒng)一運行時的好處是待辦任務(wù)天然就匯合在一起查詢所有系統(tǒng)流程的待辦只需要對ACT_RU_TASK表做一次查詢不需要跨庫聯(lián)表。這兩個決策做下來后面很多模塊就順理成章了。3.3 整體架構(gòu)分層我們的平臺架構(gòu)大致是四層最上層是接入層也叫Open API層面向業(yè)務(wù)系統(tǒng)提供發(fā)起流程、審批、查詢、撤回等統(tǒng)一接口。接入層負責(zé)身份鑒權(quán)、參數(shù)校驗、數(shù)據(jù)權(quán)限過濾業(yè)務(wù)系統(tǒng)通過這些接口與平臺交互不感知底層引擎。往下一層是流程編排層負責(zé)流程模型的注冊、流程分類管理、表單配置、權(quán)限策略配置、流程擴展點配置。這一層做的是“建模與業(yè)務(wù)策略的綁定”比如某個流程發(fā)起前要校驗什么、審批通過后要回調(diào)哪個系統(tǒng)都在這一層配置。第三層是引擎適配層這是對Flowable的二次封裝。把RuntimeService、TaskService、HistoryService等原生API包裝成平臺內(nèi)部的服務(wù)并補充了流程實例與業(yè)務(wù)單據(jù)的關(guān)聯(lián)映射、統(tǒng)一任務(wù)模型、事件監(jiān)聽分發(fā)等能力。最底層是數(shù)據(jù)層包括Flowable自身的ACT_*表以及我們自己補充的業(yè)務(wù)關(guān)聯(lián)表、平臺配置表、擴展字段表。數(shù)據(jù)層做的事情很簡單讓平臺的數(shù)據(jù)模型能自洽地支撐上層業(yè)務(wù)。3.4 平臺的核心模塊統(tǒng)一流程平臺從功能上可以拆成幾個核心模塊。流程模型管理模塊負責(zé)BPMN文件的上傳、校驗、部署、版本管理、下線處理。這個模塊把“流程模型”從開發(fā)者的本地文件變成平臺的可管理資產(chǎn)。流程運行模塊負責(zé)發(fā)起流程、驅(qū)動任務(wù)流轉(zhuǎn)、處理各類事件。這個模塊封裝了Flowable最核心的運行時操作是業(yè)務(wù)系統(tǒng)調(diào)用最頻繁的地方。任務(wù)中心模塊負責(zé)統(tǒng)一展示所有待辦、已辦、抄送、我發(fā)起的任務(wù)。它不只從Flowable取任務(wù)數(shù)據(jù)還要聚合業(yè)務(wù)摘要、表單地址、優(yōu)先級、超時信息等讓用戶在一個頁面處理所有系統(tǒng)的審批。權(quán)限與策略模塊負責(zé)流程發(fā)起權(quán)限、任務(wù)操作權(quán)限、數(shù)據(jù)權(quán)限的集中控制。這塊是平臺能否落地的關(guān)鍵后面實操章節(jié)我會細說。監(jiān)控運維模塊負責(zé)流程積壓、超時、異常實例、歷史數(shù)據(jù)歸檔等運維能力。沒有這個模塊平臺就只是個能跑的引擎而不是一個能長期穩(wěn)定服務(wù)的平臺。4. 核心實操從裸用Flowable到平臺化改造平臺化的改造不是重新寫一套系統(tǒng)而是一個個把能力收攏到平臺側(cè)的過程。下面按實操順序講每一步都是我們能直接復(fù)用的經(jīng)驗。4.1 流程定義統(tǒng)一注冊與管理第一步把所有存量流程模型收攏到平臺統(tǒng)一管理。我們建了一張流程模型注冊表我們叫PROC_MODEL_REG字段包括流程Key、流程名稱、所屬分類、版本號、部署ID、狀態(tài)草稿/已發(fā)布/已下線、負責(zé)人、表單標(biāo)識、回調(diào)地址。這張表是流程資產(chǎn)的“戶口本”所有模型在平臺里都有一個正式檔案。一個容易出錯的地方是Flowable自身的流程定義版本機制。同一個流程Key每次部署會生成一個新的流程定義ID帶有版本號。如果業(yè)務(wù)系統(tǒng)用老的部署方式直接按Key發(fā)起流程Flowable默認會使用最新版本。這在流程在途的情況下容易出問題明明A流程實例是上個月發(fā)起的中間的邏輯應(yīng)該按舊版本來但新發(fā)起的流程已經(jīng)使用了新版本。我們的做法是在注冊表里維護每個流程當(dāng)前允許發(fā)起的最小版本和默認版本發(fā)起流程前明確指定要使用的部署版本避免模糊匹配。BPMN文件的來源也要管好。我們從一開始就確定了“模型入庫 Git備份”雙保險BPMN文件上傳到平臺后既存一份到數(shù)據(jù)庫用來部署和展示也同步提交一份到Git倉庫用來追溯和Diff。上線一段時間后回頭看這個習(xí)慣救了我們好幾次——某次模型誤覆蓋我們就是靠Git歷史版本還原的。4.2 發(fā)起流程的統(tǒng)一入口發(fā)起流程是業(yè)務(wù)系統(tǒng)使用頻率最高、也最容易出問題的一個動作。平臺提供的“發(fā)起流程”接口我們定義為platform.startProcess(procKey, businessId, operatorId, variables)。其中businessId是業(yè)務(wù)系統(tǒng)里的單據(jù)主鍵operatorId是發(fā)起人variables是這次流程攜帶的業(yè)務(wù)變量。這里重點說businessId的用法。我們要求業(yè)務(wù)系統(tǒng)必須以業(yè)務(wù)單據(jù)主鍵作為業(yè)務(wù)關(guān)聯(lián)標(biāo)識平臺內(nèi)部會維護一張流程實例與業(yè)務(wù)單號的關(guān)聯(lián)表PROC_BIZ_REL。這個設(shè)計解決了之前在途流程單和流程實例映射混亂的問題。后續(xù)所有“根據(jù)單據(jù)查流程狀態(tài)”“根據(jù)流程實例查業(yè)務(wù)單號”的操作都只查這一張表性能非常好邏輯也干凈。發(fā)起流程前平臺要做三件事一是校驗這個業(yè)務(wù)系統(tǒng)是否有權(quán)發(fā)起該流程Key二是校驗該流程Key當(dāng)前是否在可發(fā)起狀態(tài)而不是已下線三是做冪等控制。冪等控制這點特別容易被忽略但實際很重要。比如前端按鈕被雙擊或者消息隊列重復(fù)投遞如果同一個businessId重復(fù)發(fā)起流程就會產(chǎn)生多條重復(fù)的流程實例業(yè)務(wù)上很難處理。我們的方案是在PROC_BIZ_REL里給businessId和procKey建唯一索引重復(fù)發(fā)起時直接攔截并返回原流程實例ID而不是新建。4.3 統(tǒng)一任務(wù)中心與任務(wù)操作統(tǒng)一任務(wù)中心是平臺讓用戶“有感”的關(guān)鍵模塊。它要做的事情是把Flowable的待辦任務(wù)加上業(yè)務(wù)摘要、表單地址、優(yōu)先級、截止時間等維度后統(tǒng)一展示給用戶。TaskService.createTaskQuery()直接用起來很快會發(fā)現(xiàn)幾個問題。第一待辦任務(wù)查詢條件復(fù)雜后SQL不好優(yōu)化第二Flowable返回的任務(wù)對象上沒法直接關(guān)聯(lián)業(yè)務(wù)摘要比如“采購申請單號PO20250801”這種信息需要二次回業(yè)務(wù)表查詢第三權(quán)限過濾如果靠Flowable的taskCandidateUser表達式配置起來非常繁瑣且不靈活。所以我們沒有直接讓前端查詢Flowable而是做了一層任務(wù)視圖平臺定時任務(wù)把待辦數(shù)據(jù)從Flowable同步到自己的任務(wù)寬表里寬表冗余了Flowable任務(wù)ID、任務(wù)Key、流程實例ID、業(yè)務(wù)單號、表單標(biāo)識、業(yè)務(wù)摘要、當(dāng)前節(jié)點名、接收人、創(chuàng)建時間、優(yōu)先級等字段。業(yè)務(wù)系統(tǒng)統(tǒng)一查這個寬表體驗和性能都遠超直查Flowable。任務(wù)操作方面除了基礎(chǔ)的審批同意、駁回我們重點實現(xiàn)了加簽、轉(zhuǎn)辦、委派、撤回。這四個操作本質(zhì)都是修改Flowable任務(wù)辦理人但細節(jié)差異很大。加簽ADD_AND_APPROVE是當(dāng)前任務(wù)繼續(xù)保留、同時新增一個會簽任務(wù)轉(zhuǎn)辦是把任務(wù)直接交給另一個人處理當(dāng)前人不再是辦理人委派是當(dāng)前人把任務(wù)委派給另一個人被委派人處理后任務(wù)還會回到當(dāng)前人撤回一般是發(fā)起人在流程還在第一個節(jié)點時主動把整個流程結(jié)束起來。這些操作我們都封裝成平臺接口業(yè)務(wù)系統(tǒng)不需要再自己調(diào)用TaskService去改辦理人也就不容易出現(xiàn)辦完任務(wù)后歷史里看不到是誰處理的這種問題。4.4 權(quán)限模型從流程級到任務(wù)級權(quán)限設(shè)計直接決定平臺能否被業(yè)務(wù)方接受。我們經(jīng)過幾輪調(diào)整最后沉淀了一套比較務(wù)實的權(quán)限模型分兩層流程發(fā)起權(quán)限和任務(wù)處理權(quán)限。流程發(fā)起權(quán)限比較簡單就是“誰能發(fā)起某類流程”的策略配置可以按部門、崗位、角色、用戶甚至可以按業(yè)務(wù)數(shù)據(jù)規(guī)則來限制。我們把這部分做成了頁面配置而不是寫死在代碼里。這樣業(yè)務(wù)調(diào)整發(fā)起范圍時不需要發(fā)版。任務(wù)處理權(quán)限復(fù)雜一些核心是解決“誰能看到這個待辦、誰能處理這個待辦”。之前裸用Flowable時有人通過候選組的方式配置待辦候選人的判斷邏輯分散在各處。平臺的做法是統(tǒng)一在任務(wù)分配策略里管理任務(wù)創(chuàng)建時根據(jù)流程模型里預(yù)先配置的分單規(guī)則把任務(wù)分配給具體用戶或候選組并在任務(wù)數(shù)據(jù)里寫入允許操作的用戶列表。后面做待辦查詢時直接按“處理人當(dāng)前用戶”或“當(dāng)前用戶在候選組列表里”過濾簡單直接也方便做數(shù)據(jù)權(quán)限控制。4.5 事件擴展點讓流程和業(yè)務(wù)系統(tǒng)解耦一個審批流程“審批通過后自動更新單據(jù)狀態(tài)”這件事如果寫在Flowable的監(jiān)聽器里那Flowable就和你業(yè)務(wù)系統(tǒng)強耦合了。平臺的處理方式是提供標(biāo)準(zhǔn)的事件回調(diào)機制。我們在Flowable的監(jiān)聽器里只做一件事把事件拋到平臺的消息管道里。比如任務(wù)創(chuàng)建、任務(wù)完成、流程結(jié)束、流程取消這些事件統(tǒng)一封裝成標(biāo)準(zhǔn)消息體包含事件類型、流程實例ID、流程Key、任務(wù)ID、業(yè)務(wù)單號、操作人等字段然后推送給在平臺上訂閱了這個流程事件的回調(diào)地址。業(yè)務(wù)系統(tǒng)側(cè)只需要提供一個接收回調(diào)的HTTP接口在配置中心里登記一下即可。這個設(shè)計把流程引擎和業(yè)務(wù)系統(tǒng)徹底解耦了。后面新的業(yè)務(wù)系統(tǒng)接入時不需要去改平臺代碼不需要再往Flowable里塞業(yè)務(wù)邏輯只需要注冊回調(diào)就行。哪怕是改業(yè)務(wù)邏輯也不會造成流程實例運行中途找不到監(jiān)聽類的問題。4.6 監(jiān)控與歷史歸檔平臺上線后的第一件事是把積壓任務(wù)監(jiān)控做起來。我們寫了一個定時任務(wù)每隔5分鐘統(tǒng)計ACT_RU_TASK里各流程節(jié)點的任務(wù)數(shù)量、停留時長超過閾值的就推送告警。這個告警此前救過一次緊急事故某個系統(tǒng)調(diào)用回調(diào)接口一直失敗任務(wù)在“已辦結(jié)但回調(diào)失敗”的狀態(tài)下堆積了幾百條正是停留時長告警幫我們第一時間發(fā)現(xiàn)的。歷史數(shù)據(jù)歸檔策略也得盡早訂。我們按月份分區(qū)管理ACT_HI_ACTINST和ACT_HI_TASKINST這兩張大表每個月定時把三個月前的明細數(shù)據(jù)遷移到歷史庫。同時借助Flowable自帶的歷史數(shù)據(jù)自動清理機制把不需要保留的流程定義級數(shù)據(jù)、已有歸檔副本的流程實例數(shù)據(jù)做異步清理。這塊做好了數(shù)據(jù)庫規(guī)模才能穩(wěn)定住不會跑著跑著突然因為磁盤和慢查詢出事。5. 關(guān)鍵設(shè)計細節(jié)與踩坑實錄平臺建設(shè)過程中有大量看似不起眼、但影響巨大的細節(jié)。這一節(jié)我把印象最深的幾個單獨拿出來講都是實際踩過的坑希望能幫大家繞開。5.1 流程定義ID還是KEY一定要分清Flowable里有兩個標(biāo)識容易搞混流程定義Key和流程定義ID。Key是BPMN文件里process元素的id屬性比如leaveProcess部署之后Flowable會生成一個帶版本號的流程定義ID形如leaveProcess:1:25031004。很多調(diào)用場景要傳流程定義ID比如按版本發(fā)布、按版本查詢模型如果混用輕則查不到數(shù)據(jù)重則把流程部署到了錯誤版本。我們的統(tǒng)一策略是平臺內(nèi)部所有操作都以“流程Key 版本號”作為邏輯標(biāo)識部署ID只在需要調(diào)用Flowable原生API時臨時獲取不落庫、不傳遞。這樣業(yè)務(wù)系統(tǒng)只跟平臺的Key體系打交道版本歧義在平臺層就消化掉了。5.2 業(yè)務(wù)單號與流程實例綁定必須用獨立關(guān)聯(lián)表很多教程里推薦用Flowable的businessKey來關(guān)聯(lián)業(yè)務(wù)單號我們在早期也這么干過后來發(fā)現(xiàn)不行。原因是businessKey只能在發(fā)起時設(shè)置一次后續(xù)如果業(yè)務(wù)單號因為某種原因需要改變或者一個流程實例要關(guān)聯(lián)多個業(yè)務(wù)單據(jù)businessKey就不夠用了。我們最終采用了獨立關(guān)聯(lián)表方案。PROC_BIZ_REL表記錄了流程實例ID、流程Key、業(yè)務(wù)主單據(jù)ID、業(yè)務(wù)擴展單據(jù)ID列表、創(chuàng)建時間。查詢流程狀態(tài)時先根據(jù)業(yè)務(wù)單號反查流程實例ID再查流程狀態(tài)反過來的需求也同理。這張表是我們整個平臺數(shù)據(jù)模型里承擔(dān)壓力最大的一張表一定要做好索引和分表規(guī)劃。5.3 歷史表膨脹不是等到慢了才處理Flowable的歷史數(shù)據(jù)寫入非常積極尤其ACT_HI_ACTINST幾乎每個活動進出都記一條。高并發(fā)場景下這張表的增長速度超出很多人預(yù)期。我們曾經(jīng)在生產(chǎn)上出現(xiàn)過ACT_HI_ACTINST達幾千萬行的情況導(dǎo)致所有帶歷史表查詢的接口響應(yīng)時間從幾十毫秒變成幾秒。兩條處置經(jīng)驗分享一是從平臺上線第一天就把歸檔任務(wù)寫好不要等出了問題再補二是歷史數(shù)據(jù)查詢接口不要總是直查Flowable歷史表可以定期把需要長期保留的流程快照數(shù)據(jù)冗余到自己的歷史寬表里查詢走寬表Flowable歷史表只作為原始數(shù)據(jù)留存。這樣既保留了數(shù)據(jù)完整性又保證了查詢性能。5.4 上傳BPMN文件的校驗不能省我們對外開放模型上傳功能后業(yè)務(wù)方經(jīng)常從各種建模工具里導(dǎo)BPMN文件上來。有些文件的命名空間不規(guī)范有些引用了一些Flowable不支持的擴展屬性甚至還有的XML在其他工具里能打開、Flowable解析就報錯。平臺做的校驗包括三層一是XML格式的解析校驗確保文件能被正常解析成文檔對象二是BPMN語義校驗檢查是否存在孤立節(jié)點、未閉合網(wǎng)關(guān)等基礎(chǔ)問題三是Flowable部署前的集成校驗直接調(diào)用引擎的部署接口試部署一下部署成功才允許發(fā)布。雖然這個校驗會多花幾秒鐘但省掉了大量上線后才發(fā)現(xiàn)模型錯誤的尷尬。5.5 任務(wù)查詢的索引與緩存設(shè)計Flowable的ACT_RU_TASK在生產(chǎn)環(huán)境數(shù)據(jù)量不小待辦查詢?nèi)绻蛔咚饕頀呙璺浅V旅?。我們觀察下來以下三個查詢場景必須建好索引按任務(wù)辦理人查詢、按流程實例ID查詢、按任務(wù)Key和流程定義Key組合查詢。Flowable的ACT_RU_TASK表默認有一些索引但不同數(shù)據(jù)庫版本上的索引覆蓋并不完全一致所以建好表之后最好由DBA結(jié)合真實慢查詢?nèi)罩景阉饕a一輪。另外流程定義本身是只讀資產(chǎn)非常適合做JVM級緩存。我們把流程Key對應(yīng)的最新部署ID、模型元數(shù)據(jù)都要緩存在平臺進程內(nèi)熱流程發(fā)起時不再反復(fù)查詢數(shù)據(jù)庫。這個緩存命中率高、失效時機清晰只在流程部署新版本時刷新效果非常好。6. 常見問題排查速查表平臺在線上跑了這段時間有幾類問題反復(fù)出現(xiàn)。我整理了一個排查速查表按“現(xiàn)象、可能原因、排查思路、預(yù)防建議”的格式列出來方便團隊各位直接參照?,F(xiàn)象可能原因排查思路預(yù)防建議發(fā)起流程后待辦里看不到任務(wù)任務(wù)創(chuàng)建后又被代碼主動刪掉或者任務(wù)分配給了候選組而當(dāng)前用戶不是候選成員查ACT_RU_TASK確認該流程實例是否有任務(wù)查平臺事件流里任務(wù)創(chuàng)建事件是否正常發(fā)出任務(wù)分配統(tǒng)一走平臺策略不裸調(diào)Flowable流程實例執(zhí)行到某節(jié)點后不再往下走網(wǎng)關(guān)條件表達式?jīng)]有分支命中或JavaServiceTask執(zhí)行拋異常被吞掉查ACT_RU_EXECUTION當(dāng)前停留的節(jié)點看平臺異常日志是否有引擎執(zhí)行錯誤網(wǎng)關(guān)條件要寫兜底分支ServiceTask異常要拋出來并告警會簽任務(wù)只產(chǎn)生了一個人的任務(wù)多實例的collection表達式寫錯或者輸入變量沒傳對查流程發(fā)起時variables集合是否正確檢查節(jié)點多實例配置多實例輸入集合統(tǒng)一由平臺注入不靠業(yè)務(wù)系統(tǒng)傳菜名定時器事件不觸發(fā)引擎時鐘沒有開啟或執(zhí)行節(jié)點上的服務(wù)實例沒有運行查Flowable時鐘配置查看定時節(jié)點所在服務(wù)是否存活定時任務(wù)單獨跑在獨立服務(wù)并配置進程守護流程審批完結(jié)但業(yè)務(wù)系統(tǒng)沒有收到回調(diào)監(jiān)聽器拋異常被忽略或回調(diào)接口網(wǎng)絡(luò)超時查平臺事件表和回調(diào)重試記錄確認回調(diào)地址可達回調(diào)必須配置重試機制和失敗告警歷史數(shù)據(jù)查詢特別慢ACT_HI_ACTINST表過大索引缺失看慢SQL是否都命中歷史表確認歸檔任務(wù)是否正常運行從上線第一天就啟動歸檔查詢走自定義歷史寬表同一個單據(jù)被重復(fù)發(fā)起了流程前端重復(fù)點擊或MQ重復(fù)投遞查PROC_BIZ_REL是否同一businessId對應(yīng)多個流程實例發(fā)起接口做冪等校驗businessIdprocKey建唯一索引新發(fā)布流程模型后老流程實例跑掛老實例走到已刪除的節(jié)點或引用了不存在的bean查老流程實例當(dāng)前停在哪一步和分析新老模型差異發(fā)布新模型前做兼容性檢查不允許刪除仍有在途實例的節(jié)點這個表基本覆蓋了我們?nèi)粘_\維中需要處理的80%問題。排查時記得先看現(xiàn)象發(fā)生在運行期還是流程定義期能少走很多彎路。7. 結(jié)合實際運維再說幾點真心話寫到最后我想分享一些個人在推進這件事時形成的體會。第一做統(tǒng)一流程平臺最難的往往不是技術(shù)而是推動業(yè)務(wù)系統(tǒng)按規(guī)范接入。我們給業(yè)務(wù)方定的規(guī)矩是“平臺提供能力但禁止繞過平臺動引擎”。聽起來像是對業(yè)務(wù)方的限制實際上反而幫他們省了很多事——不用自己維護流程代碼、不用自己處理流程歷史和權(quán)限只需對接平臺的標(biāo)準(zhǔn)API。但前期的溝通量確實很大建議從簡單增量的流程開始試點做出示范案例之后再推全量。第二流程平臺的價值要在“運行三個月后”才能真正體現(xiàn)。初期業(yè)務(wù)系統(tǒng)會感覺平臺多了一層聯(lián)調(diào)多了一些成本看不到明顯收益。真正跑起來之后統(tǒng)一待辦、統(tǒng)一監(jiān)控、權(quán)限集中、模型管理這些能力才逐步顯現(xiàn)出價值。所以如果你們也在推進類似的事情給自己和團隊多一點耐心關(guān)鍵節(jié)點放在上線后第一次大促或月度結(jié)算峰值時那時候平臺的承壓能力一目了然。第三擴展性要給后面留好口子。我們平臺建設(shè)時最擔(dān)心的是“Flowable有一天不能滿足需求怎么辦”。為此我們在引擎適配層做了模塊化封裝核心接口都定義在平臺自己的服務(wù)里底層是Flowable還是其他引擎只影響適配層實現(xiàn)不影響上層業(yè)務(wù)。目前還沒發(fā)生引擎替換但這個設(shè)計給了團隊很大的安全感。第四平臺化之后那些“清理歷史數(shù)據(jù)”“監(jiān)控積壓任務(wù)”“巡檢流程執(zhí)行異?!敝惖氖虑榫筒辉偈悄硞€業(yè)務(wù)系統(tǒng)自己的事了而是平臺團隊的日常職責(zé)。這其實是一件好事當(dāng)你從“把流程跑通”上升到“管理流程資產(chǎn)”時才能發(fā)現(xiàn)哪些流程長期沒人用、哪些流程頻繁超時、哪些流程的模型寫得亂七八糟。流程本身也變成了需要治理的數(shù)字資產(chǎn)。這套方案做到現(xiàn)在平臺已經(jīng)穩(wěn)定支撐了公司內(nèi)部多個業(yè)務(wù)域的上百個流程每天承載數(shù)萬次任務(wù)操作統(tǒng)一待辦入口成為了大家日常工作必不可少的部分。如果你也正在從單點使用Flowable走向流程平臺化的路上希望這篇總結(jié)能幫你對整體規(guī)劃和細節(jié)設(shè)計有一個清晰的參考。別想著一步到位先圈定邊界、統(tǒng)一入口、做好模型和權(quán)限的治理再從運行中逐步補齊監(jiān)控、歸檔和擴展能力這條路走下來是踏實的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷天堂站| 久久综合综合综合| 亚洲欧洲午夜成人精品av| 91婷婷在线| 五月天婷婷综合网| 婷婷成人综合| 天天草比天天爽| 深爱五月激情网| 丁香色情五月综合激情| 成人美女网| 亚洲成人av在线播放| 爽tv | 日日干天天| 亚洲中文无码成人| 丁香五月婷婷欧美成人色图| 91a片爽| 九九综合色| www.26uuu.com亚洲电影| 久9免费视频| 99ER热精品视频| 久9无码视频| 久久996re热这里只有精品无码| 亚洲欧洲午夜成人精品av| 亚洲精品久久久无码| 99福利导航| 色婷婷五月视频| 婷婷五月天天| 五月久久噜噜| 婷婷五月丁香影院| 丁香五月成人论坛| 同性gv国产精品一区二区| 激情 婷婷| 国产人妻777人伦精品HD| 99色精品| 久久婷色| 777精品久无码人妻蜜桃| 日本色婷婷| 激情综合丁香五月| 激情综合五月开心狠狠| 久久免片| 99网99热| 激情五月婷| 五月天精品视频| 激情综合网,五月| 久久网日本| 婷婷五月天精品| 丁香五月狠狠在线观看| 午夜AV网| 大香婷婷| 色婷婷综合亚洲| 久热精品在看| 婷婷色啪| 天天综合情| 天天肏视频| 这里只有精彩视| 久久性爱网站| 欧美色色网| 精品久久久久久久人妻| 五月激情综| Va另类视频| 色婷婷伦理| 五月花综合网| 色五月五月天| 综合久久五月天| 噜噜五月天综合| 色情婷婷五月天| 色婷婷婷婷五月天| 成人网址在线观看| 五月天婷婷综合网| 99在线视频观看| 激情综合色婷婷啪啪五月天| 国产AV不卡福利| 欧美久人人| 婷婷丁香www视频日本韩国| 亚洲国产成人AV在线| 99精品网址| 五月天婷婷激情四射综合| 色444综合网| 亚洲精品444久久久久久| 色婷婷色综合激情91| 99精品高潮| 五月婷婷丁香啪啪| 欧美久久五月婷婷| 99re热视频这里只精品| 婷婷四色五月| 激情五月成年| 婷婷五月激情欧美| 亚洲瑟瑟精品在线| 天天爽天天爽| 婷婷伊人| 日韩无码人妻一区二区| 五月在线婷色| www.minyis.com【JT】实力收量可预付QQ2101460746| 天天谢天天操| 99热这里是精品| 99热这里有精品| 成人精品视频99在线观看免费| 超碰在线日夜| 色狠狠色| 丁香六月婷婷高清| 五月婷婷丁香| 国产亚洲精品久久久久苍井松| 碰超亚洲| 色婷婷五月天激情| 这里只有精品免费视频| 婷婷色影院| 天堂美国久久| 成人五月天在线观看| 99热这里只有精品13| 可以免费看AV网站| 天天综合网在线| 精品爱欲五| 神马欧美精| 色丁香五月婷婷婷| EEUSS鲁片一区二区三区| 五月丁香天堂网| 三级三久久线久久99久目本WW| 北京熟妇搡BBBB搡BBBB| 97碰碰在线看视频免费| 五月丁香激情欧洲啪啪| 婷婷六月啪啪| 国产精品操| 亚洲 精品 综合 精品| 69婷婷丁香午夜| 激情五月天影院| 五月婷婷婷| 拍色综合| 天天粽合合合合| 综合一区二区三区| 色色色1网址| 丁香五月性| 天天天天天天天操| 99色视频| 人妻AV在线| 婷婷五月天狠狠| 亚洲色在线观看| 五月婷性爱| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 狠狠干综合| 深爱激情五月天| 丁香五月天天| 99re热视频这里只精品5| 五月天激情小说| av线电影| 99这里只有精品|v| 五月婷婷 自拍| 国产色色网址网站| 天天射影院| 五月间天堂综合| 操日本人妻视频| 色色综合网站| 99久.| 79精品视频| 99ER热精品视频| 五月天社区| 色婷婷五月天久久| 91狼友视频在线观看| 丁香亭亭久久| 日本色婷婷| 久久9久久| 夜夜骑夜夜撸| 亚洲AV免费国产电影| 丁香五月综合网亚洲综合欧美狠狠| 99精品网| 狠狠干总合| 噜噜视频| 99热99日…..| 亚洲第一成人无码A片| 玖玖资源站国产| 99色干| 色婷婷久久视屏| 久久99激情丁香婷婷小说网| 婷婷五月丁香综合桃花色网| 开心婷婷丁香五月| 亚洲色婷婷五月天| 丁香五月天成人网站| AV色色天堂中文| 婷婷激情蜜桃玖玖丁香| 香蕉久日夜| 婷婷色日本| 校花娇喘呻吟校长陈若雪视频| 亚洲va日| 日韩二区搞逼插逼毛片| 丁香五月天的网址。| 青柠影视免费高清电视剧 | www.AV在线| 日日狠狠久久偷偷四色综合免费 | 激情五月天综合网| 婷婷五月色色| 五月丁香啪啪网| 香蕉久久国产AV一区二区| 99热亚洲精品| 99这里只有精品| 男人的天堂999| 五月天激情久久| 婷婷丁香在线| 丁香六月婷婷综合| 操丝袜视频影院导航| 婷婷99狠狠躁天天久久久九九九| 五月天婷婷综合免费| 18久久| 五月丁香六月玩女人| 99色久| 深爱婷婷丁香五月激情| 亚洲无线视频| 青草视频在线观看视频| 九九精品网| 草草影院爱爱| 丁香啪啪| www.99视频| 色婷亚洲| 开心五月激情网| 狠狠干狠狠干狠狠干狠狠干| 免费看成人747474九号视频在线观看| 国产在这里只有精品| 蜜臀av无码久久久久久久久| 97色综合| 五月天婷婷在线视频| 五月天激情网图片 - 百度| 精品人妻午夜一区二区三区四区 | 爱射综合| 五月天成人网在线观看| 丁香五月AV在线| seuuu婷婷| 99热这里只有精品免费| 亚洲激情 久久| 六月五月天婷婷涩播在线| 99热免| 色射7856五月天激情四射| 激情五月天在线观看婷婷| 欧美激情综合色综合啪啪五月| 怡红院院久久| 婷婷基地爱| 亚洲小视频免费看| 大胆伊人久久| 熟妇人妻中文字幕无码老熟妇| 婷婷五月天在婷| 色人久夂| 拍色综合| 国产暴力强伦轩1区二区小说| 欧美人人草| 99热国产精品| 国产在线自| 国产激情综合五月久久| 99噜噜| 激情五月综合色婷婷| 久久免费试看120秒| 色爱亚洲| 站长推荐无码播放| 日韩色五月| 婷婷五月天成人五月天| 99re8在这里只有精品| 狠色狠色综合久久| WWW丁香五月| 9 1在线视频| www.久久| 色色色色色色色色色色色色色97| 日本妈妈乱| 七七久久综合| 狠狠爱青青草| www.久久爱| 日本丁香五月| 五月天色婷婷成人| 婷婷五月天性| 色综合色欲综合天天免费| 六月丁香色色| 日韩色色一区| 日韩人妻白浆视频系列| 26uuu国产| 美欧日韩国产成人在战| 亚洲综合激情五月久久| 狠狠色综合久久| 五月丁激情| 99ri在线视频| 九色视频91| 亚洲色图欧美色图日本视频| 内射丰满人妻| 五月人人丁香婷婷五月人人丁香| 思思久久99热| 丁香五月婷婷久久综合激情网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 色老久久| 婷婷人人操| 九玖欧洲亚洲| 人人操人av| 99er免费在线观看| 青草性爱视频| 亚洲婷婷丁香五月天激情小说| 亚洲Av成人在线观看| 在线免费视频caop| 免费日本aⅴ中文字幕| 成人无码精品1区2区3区免费看| 欧美人妻一区二区| 六月婷婷五月天| 九色91国产| 色香欲综合| 午夜婷婷五月天| 欧美性爱特黄一级aaaassss| 狠狠干2007| 天天爽夜夜爽夜夜爽精| 激情伊人五月婷婷久久| 五月丁香欧美| 亚洲热久久| 婷婷瑟瑟五月天| 岛国av电影网站| 五月婷婷深爱六月| 亚洲日日操| 综合激情五月天六月婷免费视频| 五月婷庭丁香在线| 99r这里| 一本伊人色婷| 99无码精品| 97极品在线| 久久3p| 开心五月综合激情网| 九九热10| 狠狠爱综合网| 免费在线观看av网站| 丁香花狠狠婷婷亚洲中文字幕| 午夜在线成人网站免费观看| 久久99精品久久久久久三级| 91精品国产91久久久久青草| 久久99热免费| 五月草影视| 99热精品一区| 99热12| 夜夜干夜夜操| 九九99在线免费在线观看视频| 性色五月天| 色五月亚洲| 人妻熟人中文字幕一区二区| 怡红院成人AV| 色噜噜狠狠色综合无码久久欧美| 五月丁香好婷婷A片网| 激情的五月| 中文不卡一二区| 九九热精品视频| 99九色视频在线观看| 日韩啪啪视频| 五月综合激情网| 激情5月婷婷| 日韩性爱AV| 9精品国产在热久久| 婷婷五月无码| 人人操Av| 天天色视频| 99精品在线| 五月天综合视频| 婷婷伊人久久无码色五月| 久久五月天 91| 五月天婷婷色综合| 99自拍视频在线| 五月人人丁香婷婷五月人人丁香| 久久婷婷色五月| 可以免费看的av网站| www.99热视频| se99在线| 五月丁香婷婷爱| 女婷久久| 激情内射人妻1区2区3区| 九月婷婷综合网| 丁香六月狠狠| 丁香五月中文字幕色播| 激情五月成年| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 天天撸天天干天天插| 五月婷婷狠狠干| 五月丁香久久| 成人网站在线观看视频| 丁香五月无码| www.色五月| 久久玖玖综合| 特级片神马电影| 另类综合激情| 婷婷五月乱交换| 51XX午夜影福利| 久久这里只有精品无码| 日本超碰在线| 九九99在线| 亚洲丁香五月美女| 九九99精品视频| 激情AV综合| 色综合婷婷| 色色色色av色色色色| 思思热久久艹| 婷婷午夜激情| 婷婷丁香黄色| 激情五月天婷婷激情| 天天摸天天日天天舔| 日日夜夜天天| 九九RE视频在线精品| Www.激情| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 婷婷激情中文综合| 风流少妇A片一区二区蜜桃| 79亚洲精品少妇| 婷婷精品| 九九激情视频| 婷婷99热| 中文中文在线| 伊人五月综合网| 亚洲中文字幕av| 五月天综合在线| 我爱婷婷五月天综合88| 日本WWW九九九| 伊人婷婷五月天| 成人色五月天| 五月丁香婷婷成人版| 人人操99| 开心婷婷五月中文字幕组| 四季AV综合网| 婷婷丁香六月天| 91精品综合久久久久久五月丁香| 99热超碰在线| 久久电影五月天丁香电影| 五月婷婷色| 五月天无码| 91婷婷视频| 激情综合九月| 人妻久久久久久久久久| 成人短视频在线观看| 无码91中文字幕| 激情都市丁香婷婷| 五月丁香六月欧美综合| 婷婷激情人妻| 五月婷婷黄色网址| 五月天婷婷无码| 激情五月深爱五月| 国产人妻777人伦精品HD| 婷婷五月天综合久久| 99re在线观看视频| 亚洲视频二区| 午夜日韩久久久网站| 狠狠色婷婷| 六月婷婷久久大全| 高清无码 一区 二区 三区| 五月天丁香综合在线| 99ER热精品视频| av色色国产| 26UUU精品一区二区c〇m| 色色色综合色| 色播五月综合网| 国产精品色情AAAAA片软件| 色婷婷激情四射视频| 夜夜夜叫天天天做| 婷婷爱综合| 亚洲乱码w在线观看| 日日噜噜夜夜狠狠久久丁香五月| 久久机热/这里只有精品| 色综合天天| 色噜噜狠狠狠综合曰曰曰| 亚洲综合在线伊人婷| 99热欧美精品| 操婷婷久久| 四川BBB搡BBB搡多人乱亂| 五月天婷婷影院| www.99热这里精品| 久久久久久丁香五月| 天天干,噜噜色,狠狠色| 亭亭色天香| 婷婷四月 成人 狠狠干| 五月天丁香六月综合| 538任你爽视频不一样的| 69凹凸成人综合网| 丰满少妇乱A片无码| 天天日天天摸| 99热激情| 欧美色五月| 99这里只有| 美日韩成人| 996er热| 婷婷色片| 99黄色性生活| 久热这里| 99年操人人爽| 色婷婷AV久久| 人妻中文字幕精品| 99人妻碰碰碰久久久久| 色噜噜五月丁香婷婷| www.久操| 91精品婷婷国产综合| 伊人影院久久网| 六月丁香婷婷爱| 亚洲mm免费| 丁香五月婷婷啪啪视频| HD久久精品视频| 欧美激情久| 99啪在线| 丁香六月婷婷激情综合| 日本www五月婷婷| 中文无码精品一区二区三区| 色99欧洲色19| 伊人色综合久久久| 人人播| 搡BBBB搡BBB搡五十| 无码91中文字幕| 亚洲日比视频| 婷婷色情网| 狠狠干婷婷| 婷婷五月丁香五月丁香| 丁香丝袜五月| 亚洲天堂啪啪| 99国产精品久久久久久久久久久| 人妻有码乱操| 丁香花五月天激情| 中国AV性爱观看| 色久综合天天做视频| 伊人五月天在线| 一起草无码| 九九色综合| 欧美色综合天天久久综合精品| 99精日本久久| 超碰97人人操| 六月婷婷无码| 婷婷午夜综合| 无码激情AAAAA片-区区| 五月天婷婷久草丁香| 91久久久久久久久| 日本va视频| 五月天停婷基地| 日韩成人综合网| 丁香深五月婷婷| 最新色色五月天| 色情五月天首页| 五月天激情视频| 狠狠干婷婷| 久久五月天丁香花| 亚洲俩性性爱图片久久第六页| 激情五月天免费视频| 日本久久人| 婷婷五月天基地| 婷婷五月天首页激情| 婷婷综合色五月天| 丁香五月天av| 日日做天天操夜夜爽| 五月婷婷亚洲天堂激情在线| 99在线公开视频| 雪千夏麻豆| 激情综合五月婷婷| 丁香五月六月综合激情| 91久久婷婷| 久久久WWW| 庭庭久久内射| 婷婷久久五月| 婷婷丁香人妻天天爽| 丁香五月色色| 婷婷五月激情丁香| 色五月首页| www.夜夜操| 丁香久久| 丁香网五月天| 久久综合综合综合| 婷婷色中文| 成人综合视频在线| 97碰在线| 日日日,com| 99色最新在线视频| 六月色婷婷色| 日本一区二区三区精品视频| 伊人大香久久| 99狠狠| 中文字幕在线资源| 激情久久四色| 丁香婷五月| 26uuu欧美激情另类| 99热精品免费在线观看| 色婷婷电影网| 日本一级一级一级一级| 激情丁香五月| 日本97在线看片| 美女91一起草| 日本三级日本三级99| 99色干| 亚洲人成播放网站| 热99只有里视频| 99精品偷自拍| 丁香丝袜五月| 免费视频在线观看的网站| 夜夜天天天天天干天天爽| 97人人草| 九九爱看亚洲| 九九热视频精品999| 丁香五月婷婷乱| 成人亚洲精品久久久久| 色五月综合婷婷| 玖玖婷婷色欲| 天天草天天摸| 亚洲午夜电影| 丁香五月天啪啪| 99热只有精品综合| 开心五月婷婷| 麻豆五月丁香婷婷| 激情淫乱男女| 国产综合色婷婷精品久久| 色丁香婷婷| 中文AV网站| 日本天天综合| 丁香婷婷浪潮AV久久综合| 成人欧美一区二区三区在线观看| 鲁鲁色五月| 五月WWW| 玖玖激情网| 五月婷婷偷拍| 99热香港| 久久五月热| 激情五月天色播| 99热这里都是精品| 欧美色五月| 99热九九在线| 久久伦乱| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 五月视频日本免费观看| 99热自拍| 1024在线视频| 五月开心婷婷网| 狠狠激情五月天| 开心激情综合| 欧美69色| 五月激情综合网| 五月丁香六月欧美| 97人人搞| 激情五月婷婷视频| 思思99久久| 亚洲激情无码久久| 久久婷婷综合拍| 婷婷五月天色| 99九九精品| 97婷婷在线视频| 午夜性做爰电影| 丁香五月成人av| 丁香五月激情宗合网| 91男女视频在线观看| 五月婷婷开心五月| 另类五月婷婷| 91嫩草久久| 五月天激情视频| 俺去也五月天| 久久婷婷五月草视频在线播放| 东北黄色一级| 亚洲亚洲人成综合网络| 久久色区| 激情五月六月婷婷| 色亚洲视频| 国产.亚洲.欧洲视频在线| 激情五月婷婷| 99热在线观看精品| 丁香六月色婷婷综合| 午夜成人综合| 色婷婷丁香AV综合| 亚洲成片在线观看| 久久丁香久久| 丁香九月色| 亚洲99在线视频| 精品人妻伦九区久久AAA片| 亚洲丁香花色| 激情五月综合网| 丁香五月欧美色综合| 色婷婷五月天视频网站| 香蕉色色网| 999影院成人在线影院| 久久婷婷六月综合国际| 丁香五月人妻熟女| 久99婷婷色综合| 手机AVAV天堂看网| 超碰免费成人网站| 夜夜操天天爽| 久久久国产精品黄毛片| 精品99网站| 国产AV一区二区三区最新精品| 欧美天天草人人草| 色五月激情五月开心五月| 五月婷婷xxx| 伊人啪啪网| 全亚洲最大的婷婷五月天网站COM| 激情六月婷婷| 99日韩| 九九亚洲| 超碰免费在线| 五月天激情婷婷| 亚洲色婷婷婷婷人人爽| 高清资源站日A美A欧亚…| www.五月天婷婷姐姐| 婷婷97色| 五月天狠狠| 久久天堂网| 色久丁香五| 丁香五月亚洲综合| 99色丁香婷婷综合网| 手机AVAV天堂看网| 五月色网| 91丨九色丨东北熟女| 大战熟女丰满人妻AV| 无码啪啪| 99热综合| 99热在线观看这里只有精品| CAOBIBI| 亚洲av日韩无码| 超碰在线99| 九九视频在线观看视频6 | 26uu| 夜夜爱爱亚洲| 日本高清久久| 丁香月五月天婷婷久久| 婷婷情色五月| 婷婷五月丁香啪啪| 欧美成人热| 色综合中文综合网| 色婷婷欧美| 丁香六月亚洲| 丁香花五月天婷婷成人社区| 日本色色网站| 天天舔夜夜操www com| 国产午夜精品一区二区三区四区| 99热久| 思思热天天看| 六月丁香婷婷爱| 涩综合网| 熟女乱论网| 色色丁香五月天社区| 激情小说五月天| 99爱视频在线免费观看| 99热天堂| 亚洲宗合激情| 综合色99| 欧美婷婷色五月| 久色网址| 久久久噜噜噜操操操| 任你爽视频| 伊人狠狠操| 色五月天激情| 五月婷婷综合成人| 婷婷五月天电影网| 亚洲99手机免费看视频| 五月婷婷人人人操| 五月婷婷伊| 激情AV| 激情五月,婷婷五月,丁香五月| 日本久久精品| 日本在线观看91| 这里只有精品日韩精品| 琪琪色影音先锋| 五月天激情小说| 天天综合久久| 亭亭五月天黑人2014| 成人一级片| 99久操视频| 狠狠干狠狠色| 综合XX网| 夜夜骑天天玩天天日| 99亚色色色| 第四色网婷婷| 美女久久天堂| 少妇性按摩无码中文A片| 激情亚洲婷婷| 丁香色综合| 国产日批视频| 色婷婷99| 日本久久超碰| 超碰A V在线| 免费看欧美成人A片无码| 丁香五月自拍| 午夜成人综合| 中文av网| 亚洲AV色婷婷人禽五月天| 久久狠色噜噜狠狠狠狠97| 99热这里只有精品1025| 成人免费在线电影| 9热久久在线| 日韩ww| 大地9中文在线观看免费高清 | 九九色色网| 欧美月久久| 婷婷成人av| 人妻第九页| 202丰满熟女妇大| 深爱五月婷婷| 这里只有精品视频在线| 99热99色| 91日本在线观看| 91人操人人人操人| 五月天婷婷激情| 操日挥操日日| 丁香五月色欲| 天天夜夜六月丁香五月婷婷老师| 春色激情第四色| 五月婷婷色男女| 99热热九九| 99热大全在线观看| 婷婷五月天受日本法律保护| 91蜜桃婷婷狠狠久久综合9色| 97自拍视频在线| 日本欧美在线| 超碰国产在线| 婷婷午夜丁香| 激情五月色婷婷| 三级三久久线久久99久目本WW| 五月狠狠| 91丨九色丨熟女| 久青操| 色情丁香五月婷婷精品| 九九RE视频在线精品| 在线播放成人网站| 五月丁香五月综合欧美| 色婷婷成人网| AV九九| 熟女人妻一区二区三区免费看| 大地资源色婷婷视频在线 | 五月天 无码| 天天爱综合网| 久久激情网| 亚洲免费观看高清完整版AV线| 超碰在线观看9| 激情五月天色色网| 日韩无码专区| 大香焦啪啪啪| 丁香五月婷婷综合啪啪| 色综合播放| 精品99视频| 97人人干| 婷婷五月激情片| 激情五月婷在线精品| 婷婷五月天伊人网| 另类图片激情五月| 狠狠狠狠狠狠| 99人妻碰碰久久久禁片| 九九综合88| 天堂色婷婷| 狠狠五月丁香色婷| 99亚洲色色| 丁香六月激情四射| 婷婷五月综合激情| 色婷婷狠狠禁久久| 激情综合网五月| 五月激情丁香六月狠狠干| 日韩小视频在线99| 婷婷丁香五月综合免费视频百花| 一级性爱视频| 五月停停大香蕉| 禁片二区| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 久久精品婷婷| 久久久亚洲精品一区二区三区浴池| 婷婷成人av| 久热一本| 天天日夜夜操五月| 99精品久久久久久久婷婷久久| 夜色综合网| 国产午夜精品AV一区二区麻豆| 亚洲成人电影在线免费观看| 99毛片| 亚洲精99| 大天天伊人| 亚洲亚洲人成综合网络| www.刺激色网站www.| 婷婷丁香六月综合激情站| 99免费视频在线观看爱| 婷婷午夜| 日美三级| 丁香六月 婷婷六月| 激情婷婷综合| 裸体美女丁香五月天。| 婷婷在线视频| 偷偷与邻居做爰完整视频| 99视频在线啪| 2020久久婷婷五月| 亚欧州精品视频| 九九爱激情| 日本综合色图| 深爱激情五月网| 无码激情AAAAA片-区区| 婷婷情色五月天| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 夜夜撸夜夜骑| 热久久这里只有精品| 国产肏屄大片| 天天日日人| 8区视频在线| 777影视理论片大全在线观看| 久久五月婷婷丁香| 日韩欧美骚货| 极品人妻VIDEOSSS人妻| 超碰人人操人人干| 亚洲九九视频| 99婷五月| 97婷婷狠狠| 99色网站| yjzz亚洲国产| 俺五月| 五月激情小说网| 性热视频99精品| 久久A V无码视频| 日产精品久久久久久久蜜臀| 亚洲中文字幕av| 激情丁香五月婷婷| 丁香五月激情啪啪综合| 国产精品噜噜在线视频| 久久婷婷精品| 五月婷导航| 深夜婷婷 丁香| 夜夜操夜夜爽| 99色视频在线| 九九九日本熟女| 五月婷婷影院| 九月婷婷综合在线| 激情网五月婷婷| 亚洲精品久久久久久久久久飞鱼| 九月丁香婷婷综合激情| 狠狠香蕉| 久久精彩免费视频精彩免费视频| 99噜噜| 婷婷五月色情| 天天色视频| 人人草碰| 亚洲婷婷免费| 丁香五月天激情四射网络不好 | 伊人久久大香网| 狠狠九九婷婷韩| 五月丁香香蕉| 六月丁香激情| 五月天婷婷久久视频| www.激情五月天.con| 久久九九99亚洲国产久精综合| 九九99九九精品免费| 丁香婷婷六月天| 亚洲爆乳无码精品AAA片蜜桃| 丁香五月天色综合| 中国丰满熟女A片免费观| 五月丁香色婷婷伊人| 色综合色色| 丁香五月 综合| 狠狠色综合网| 天天插夜夜爽| 激情五月天。| www.minyis.com【JT】实力收量可预付QQ2101460746 | 天天婷婷天天| 午夜无码熟熟妇丰满人妻 | 五月丁香九九九综合| 精品人妻午夜一区二区三区四区| 天天天添天天操| 五月婷婷香蕉| 婷婷久久草| 操碰久| 久久婷婷色| 九九热这里有精品视频| 99热9| 99re这里有精品手机在线| 在线看AV| 亚洲男女激情| 99免费热视频在线| 在线观看中文字幕| 超碰免费大香蕉| 99操碰| 国产精品A片在线| 婷婷五月天激情基地| 人人爽欧美婷婷久久久五月丁香| 久久久久亚洲AV无码网影音先锋| 97av在线视频| 99国产精品久久久久久久久久久 | 婷婷丁香花五月天| 色婷婷激情| 日本五月丁香| 91伦| 337p大胆噜噜噜噜噜91Av| wwxx日本| 色99欧洲色19| 丁香五月婷婷啪啪啪| 亚色网站小视频| 亚洲乱码精品久久久久..| 思思热久久婷婷五月天| 色婷婷91| 久久99婷婷| 97深爱伊人综合| 大香蕉娱乐| 九九99久久| 精品久久久久久久人妻| 五月丁香激情综合六月涩涩爱| 五月丁香影视| 色六月视频| A片一曲| 4399无码视频二区| 色老久久| 天天操天天操| 成人中文字幕在线| 狠狠精品干练久久久无码中文字幕| ji'qi'luan'ren'lun| 五月婷婷无码| 亚洲天堂色| 五月婷婷av| 亚洲视频在线观看99| 婷婷激情97| 久久人妻视频| 激情五月天婷婷丁香| 99视频这里只有免费精品| 色婷婷精| 六月激情婷婷| 激情婷婷狠狠干| a色婷婷| 日韩黄色中文字幕| 久久久久亚洲AV成人无码电影| 精品人妻久久久| 久久与婷婷| 日本久久久97| 五月丁香六月激情在线| 亚洲免费婷婷| 久久色五月| 久久在线92| 91se视频| 99热这里只有精品66| 久色欧美| 欧美婷婷五月无砖| 色哟哟精品| 色爱爱综合网| 在线观看免费观看在线9久| 激情九月婷婷| 丁香五月Av| 五月天中文字幕在线婷婷| 伊人久久99| 九九人人看| 影音 五月 婷婷 久久| 少妇人妻人伦A片| 97婷婷五月天| www.久久五月天.com| www.五月婷婷久久.com| 9色免费网| 午夜不卡久久精品无码免费| 亚洲六月色| 日韩在线一级| 五月婷婷天| 婷婷五亚洲| 亚洲人成网亚洲欧洲无码久久| 99热丁香五月| www.久操| 天天久综合网永久入口18| 婷婷丁香六月天| 精品久久9| 99激情视频| 99这里| 国产玖玖资源| 中出内射的人妻视频| 色婷丁香五月| 九九99在线免费在线观看视频| 久久91久久91色欲精品| 噜噜狠狠色综合久| 国产精品香蕉| 亚洲天堂亚洲色色色| 婷婷色在线| 91碰在线| 天堂色婷婷| 98永久精品| www.夜夜爱.com| 五月婷婷影视| 日韩无码专区| 婷婷伊人网| 九月色婷婷| 99ri在线观看视频| 涩综合网| 人妻综合网| 色婷丁香| 97人人操人人爽| 99久久这里只有精品| 91精品综合久久久久久五月丁香| 天天肏视频| 激情丁香婷婷| 激情小说五月天| 五月天婷婷久久| 丁香六月婷婷综合| 五月停停999| 五月丁香好婷婷A片网| 五月丁香六月成人| 女同激情久久av久久| 婷婷综合色| 丁香五月天堂网| 丁香五月伊人| 五月丁香六月| 婷婷丁香97| 热久久99热欧美国产亚洲| 天天操天天曰| 91chinese在线| 国产欧美日韩综合精品一区二区| 精品一二三区久久AAA片| 亚洲春色奇米影视| 思思干精品| 97操男人的天堂| 99热费观看| 婷婷五月天黄色| 五月丁香六月婷婷啪啪综合 | 26uuu国产| 国产成人精品一区二区三区视频| 一区二区成人电影免费播放| 色色色色色九九九九九| 成人AV网站在线| 99九九综合久久九九| 婷婷丁香69精华| 亚洲性爱日韩无码| 五月婷婷天| 噜噜色com| 六月丁香婷婷综合狠狠爱夜夜爱| 色综合久久久久| 亚洲中文字幕在线观看| 欧美激情综合| 亚洲精品又粗又大又爽A片| www超碰com| 色七七九九| 六月婷婷六月天天在线免费| 日本激情五月| 无码髙清| 久久五月激情综合| 婷婷色网| 2025超碰| 五月天社区婷婷丁香社区| 色五月天丁香婷婷| 亚洲性爱99| 久热这里只有精品性色AV| 天天操天天日天天爽| 天天爽夜夜爽夜夜爽精品视频| 婷婷永久在线| 成人无码髙潮喷水A片| 热99一二三| 久久五月天婷婷| 六月色五月天天婷婷| 五月天色丁香| 婷婷五月影院| 激情婷婷五月社区| 99热99色| 天天擼久久擼在线| 丁香九月婷婷综合| 久热婷婷综合| www.色色com| 婷婷色女| 玖玖热视频| 五月丁香婷婷中文| ZpRSw| 色色五月婷| 区区欧美你爱| 中文字幕在线免费观看视频| 婷婷五月天伦理| 在线只有精品| 国产操碰| 婷色天堂| 99@久久@99精品视频| 亚洲综合色色| 色月视频| 人人操日| 色婷小说| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 在线观看亚洲视频影院| 五月丁香啪啪啪啪| 丁香蜜臀黄色婷婷五月天| 亚洲综合视频八| 丁香六月婷婷久久综合八月| 亚洲婷婷五月天激情综合| 婷婷九月色| 日本人妻操| 伊人日日干| 国产99久久久| 99ri视频在线观看| 婷婷六月激情啪啪| 天天操B| 色色色色色色色五月| 九九热在线亚洲免费视频| 婷婷少妇激情| 色九九九综合| 午夜丁香六月婷| 五月婷婷激情综合| 毛片蕉地一二| 亚洲亚洲激情| 91九九| 99热在线看片| 五月婷婷六月基地| www.色婷婷| 欧美A级网站| www.思思99热| 久热91| 高清视频一区| 色婷五月天| 9|在线观看视频| 欧美丁香六月激情视频| 99欧州偷拍视频| 9 1 A v久久久| Www.婷婷五月| EEUSS鲁片一区二区三区| 五月婷婷丁香大陆免费| 六月久久婷婷| 亚洲AV另类| www.99成人视频| 欧美69久成人做爰视频| 爱久综合| 五月丁香影院| www.色9| 丁香婷婷色五月激情综合| 久婷婷视平| 操逼福利视频| 婷婷五月亚洲综合| 超碰无码318604| 婷婷五月色天| 六月婷婷五月天| 九九99九九精品免费 | 可以免费观看的av| 狠狠色丁香婷婷久久综合| 很很干天天干| 欧洲区自拍| 成人五月天视频播放| 久久3级片| 狠狠操性爱av| 国产高清视频91九九九久久久| 91精品国产综合久久密臀 | 久久色五月| 婷婷综合五月天| 91久久1118| 伊人婷婷色| 大天天伊人| 亚卅毛片| 日本色色色| 人人操97| 色丁香五月婷婷| www九九热| 开心五月综合激情网| 人妻激情网| 欧美丁香五月夫妻天| 丁香五月综合无码趴趴| 婷婷五月综合体验看| 久久无码成人| 丁香五月婷婷六月| 久久九⑨| 日本婷婷在线| WWW免费视频碰碰碰碰| 婷婷五月美女直播| 婷婷五月天亚洲综合| 97丁香婷婷| 日本啪啪天堂| 九九RE视频在线精品| 久久丝丝热| 啪啪激情综合| 国产在线网址1| 色色A| 国产探花一片区| 欧美在线97| 久久99免费视屏| 亚州美女| 丁香婷婷成人在线播放| 色99免费视频中文| 丁香五月另类色婷婷麻豆| 天天色综合天天| 色婷婷成人做爰A片免费看网站| 婷婷色五月亚洲| 婷婷五月天综合久久日美女| 色 五月婷婷基地| 激情综合网站| 欧美精品999| 狠狠搞五月天| 99se丁香| 无码髙清| 夜夜骑日日操| 日本猛少妇色XXXXX猛叫| 人人爱国产| 久久婷婷色综合老司机| 婷婷视频网| 这里都是精品99| h在线看免费版在线看| 婷婷丁香色情五月天| 九洲一级A片| 全部老头和老太XXXXX| 开心激情播播五月天| 婷婷丁香五月av| 五月婷婷欧洲| 久久伊人大香蕉|