99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

eladmin后臺系統(tǒng)Redis深度實踐:從緩存配置到分布式鎖與集群部署

eladmin后臺系統(tǒng)Redis深度實踐:從緩存配置到分布式鎖與集群部署 如果你問我后臺管理系統(tǒng)里最容易被低估的中間件是什么我會說Redis。很多團隊把Redis當(dāng)成一個“放Token的緩存庫”就完事了但實際上在eladmin這種基于Spring Boot的后臺管理系統(tǒng)里Redis能承擔(dān)的角色遠(yuǎn)比你想象得多。從用戶登錄態(tài)、驗證碼、在線用戶到字典緩存、分布式鎖、接口限流計數(shù)器再到集群部署后的Session協(xié)調(diào)它幾乎參與了業(yè)務(wù)鏈路的每一層。我最早接手團隊eladmin項目時Redis已經(jīng)配好了但一查監(jiān)控全是問題——key亂碼、緩存不生效、分布式鎖偶爾失效、主從切換后計數(shù)器歸零。這篇文章我把這幾輪踩坑和重構(gòu)的過程完整寫出來包含配置、序列化、緩存注解、分布式鎖、故障處理和部署升級路線適合正在用或準(zhǔn)備用eladmin做二次開發(fā)的朋友參考。先說個結(jié)論eladmin本身自帶一套緩存機制很多基礎(chǔ)代碼里也預(yù)留了Redis的入口但默認(rèn)狀態(tài)下的使用深度遠(yuǎn)遠(yuǎn)不夠。如果你只是把它當(dāng)成“驗證碼臨時存儲”那你既沒發(fā)揮Redis的價值也遲早會在高并發(fā)或集群場景下栽跟頭。接下來我按實際項目推進的順序來講。1. eladmin為什么需要Redis從登錄態(tài)到緩存的架構(gòu)動因1.1 eladmin原生架構(gòu)下的存儲瓶頸eladmin的默認(rèn)設(shè)計里用戶認(rèn)證走的是JWT也就是服務(wù)端簽發(fā)一個Token前端每次請求都帶上后端通過攔截器解析鑒權(quán)。好處是服務(wù)端無狀態(tài)但問題也很明顯Token一旦簽發(fā)服務(wù)端沒法主動讓它失效。你改了用戶權(quán)限、禁用了賬號、踢了下線只要Token沒到期用戶依然能訪問接口。這是我在實際項目里最痛苦的體驗之一。解決思路很簡單把Token的狀態(tài)存到Redis里。用戶登錄后生成一個會話KeyJWT信息、用戶基本信息、權(quán)限快照都放進去鑒權(quán)時先查Redis里的“會話是否還在”。這樣賬號禁用、權(quán)限變動、強制下線都能實時生效。eladmin的登錄邏輯本身是基于在線用戶管理的如果配合Redis做會話存儲整個認(rèn)證鏈路的可控性會提升一個檔次。1.2 Redis在eladmin里的四種典型角色我把Redis在一個成熟eladmin項目里承擔(dān)的工作分成四類緩存層字典數(shù)據(jù)、部門樹、角色權(quán)限、菜單、系統(tǒng)配置項這類讀多寫少的數(shù)據(jù)全部放進Redis降低數(shù)據(jù)庫壓力。會話與臨時數(shù)據(jù)登錄Token、驗證碼、短信驗證碼、文件上傳分片信息、導(dǎo)入導(dǎo)出的臨時文件索引。分布式協(xié)調(diào)定時任務(wù)防重執(zhí)行、庫存扣減、操作冪等、分布式鎖。計數(shù)器與限流登錄失敗次數(shù)統(tǒng)計、短信發(fā)送頻率控制、接口調(diào)用頻控依賴Redis的原子自增操作。這四類場景在eladmin里幾乎都能找到對應(yīng)的業(yè)務(wù)入口。你會發(fā)現(xiàn)Redis在后臺系統(tǒng)里不是“可選項”而是“基礎(chǔ)設(shè)施”。1.3 引入Redis前后的一次對比我團隊當(dāng)時做了一個很小的壓測同樣的字典查詢接口數(shù)據(jù)庫直連查詢平均12ms命中Redis緩存之后平均0.8msQPS從900左右升到接近7000。這個差距在單機環(huán)境不明顯但一旦上了集群、數(shù)據(jù)量上來緩存層的存在就是生死線。而且Redis本身是單線程模型IO多路復(fù)用性能非常穩(wěn)定配合Spring Boot Cache抽象層幾乎不用在業(yè)務(wù)代碼里寫很重的緩存邏輯。提示eladmin的依賴?yán)锲鋵嵰呀?jīng)引入了spring-boot-starter-data-redis但很多分支版本沒有把序列化器配好。第一步不是寫業(yè)務(wù)而是把RedisTemplate的序列化配置修正否則后面全是亂碼和ClassCastException。2. RedisTemplate序列化配置接入eladmin的第一個分水嶺2.1 默認(rèn)JDK序列化帶來的亂碼問題我見過太多eladmin項目Redis里長這樣一堆以\xAC\xED\x00\x05t...開頭的keyvalue用Redis Desktop Manager打開全是亂碼。這是因為Spring Boot默認(rèn)的RedisTemplate用的是JdkSerializationRedisSerializer它會把對象序列化成二進制字節(jié)不僅肉眼不可讀還會因為類結(jié)構(gòu)變化導(dǎo)致反序列化失敗。另外JDK序列化會附帶大量類元信息一條簡單的用戶緩存可能膨脹到幾KB內(nèi)存浪費嚴(yán)重。這在開發(fā)階段還能忍上了生產(chǎn)就是事故。比如你發(fā)版時改了實體類的字段舊緩存的二進制流反序列化直接拋異常緩存層級崩潰數(shù)據(jù)庫瞬間被打爆。2.2 用GenericJackson2JsonRedisSerializer做全局序列化eladmin的RedisConfig應(yīng)該重寫兩個BeanRedisTemplate和StringRedisTemplate。核心思路是key序列化用StringRedisSerializer保證可讀性。value序列化用GenericJackson2JsonRedisSerializer把對象轉(zhuǎn)成JSON字符串存儲兼容性好且能通過class字段保存類型信息反序列化時不丟類型。hash的key和value也分別指定序列化器。一個我實際在用的配置如下Configuration public class RedisConfig { Bean public RedisTemplateString, Object redisTemplate(RedisConnectionFactory factory) { RedisTemplateString, Object template new RedisTemplate(); template.setConnectionFactory(factory); // key 使用 String 序列化 StringRedisSerializer stringSerializer new StringRedisSerializer(); GenericJackson2JsonRedisSerializer jsonSerializer new GenericJackson2JsonRedisSerializer(); template.setKeySerializer(stringSerializer); template.setHashKeySerializer(stringSerializer); template.setValueSerializer(jsonSerializer); template.setHashValueSerializer(jsonSerializer); template.afterPropertiesSet(); return template; } }這里有個細(xì)節(jié)GenericJackson2JsonRedisSerializer默認(rèn)會把類型信息寫在JSON的class字段里。如果你緩存的對象里有接口類型、父類引用或者泛型反序列化時這一手非常關(guān)鍵。但它也不是萬能的遇到LocalDateTime這類Java 8時間類型時容易出問題一個常見的坑是序列化后變成數(shù)組格式。我在eladmin里處理這種場景時會在ObjectMapper里注冊JavaTimeModule并調(diào)整日期序列化的格式避免前后端解析不一致。2.3 緩存key的設(shè)計規(guī)范序列化只是第一步key的命名同樣重要。Redis是鍵值存儲沒有表結(jié)構(gòu)約束key設(shè)計是否規(guī)范直接決定后續(xù)運維的體驗。我在eladmin里定的規(guī)范是業(yè)務(wù)域:模塊:唯一標(biāo)識例如auth:token:{userId}用戶會話sys:dict:{dictName}字典緩存sys:dept:tree部門樹緩存lock:task:{taskName}定時任務(wù)的分布式鎖這樣用Redis Desktop Manager或者命令行SCAN匹配前綴時非常清晰也能通過命名空間做批量清理。另外key盡量短一些能用ID就不拼長字符串節(jié)省內(nèi)存也提高查詢效率。2.4 配置完成后的最小驗證配置改完后不要急著寫業(yè)務(wù)先做一個最小驗證SpringBootTest public class RedisTest { Resource private RedisTemplateString, Object redisTemplate; Test public void test() { redisTemplate.opsForValue().set(auth:token:1, hello-redis); Object value redisTemplate.opsForValue().get(auth:token:1); System.out.println(value); } }跑通這一步再去Redis客戶端看key是否可讀、value是不是JSON字符串。如果看到類似hello-redis的文本內(nèi)容就說明序列化配置生效了。提示不要用RedisTemplate直接存泛型對象比如ListUser如果JSON里只存了class到List內(nèi)部元素類型容易丟失。穩(wěn)妥做法是自定義一個帶類型包裝的DTO或者用redisTemplate.opsForValue().set(key, JSON.toJSONString(list))配合反序列化手動指定類型。3. 緩存注解和RedisUtils兩種緩存方式的邊界3.1 Cacheable適合哪些業(yè)務(wù)eladmin里大量使用Spring Cache的注解緩存比如Cacheable、CacheEvict。注解方式的好處是侵入性小業(yè)務(wù)代碼里不用手寫存取邏輯。適合以下幾類字典類型列表按類型名緩存。部門樹、菜單樹按用戶ID緩存。系統(tǒng)配置項按配置鍵緩存。角色權(quán)限集合按角色ID緩存。一個典型例子Cacheable(value sys:dict, key #type, unless #result null) public ListDictDetail getDictDetails(String type) { // 數(shù)據(jù)庫查詢 }這樣第一次查詢后結(jié)果進入Redis后續(xù)請求直接命中緩存。但注解緩存有幾個隱藏問題我后面還會講失效時間不好精細(xì)控制、緩存擊穿場景下注解幫不上忙、更新時機容易亂。3.2 eladmin里的RedisUtils手動緩存eladmin原生的RedisUtils工具類是非常實用的封裝它把常用的set、get、delete、exists、expire都包了一遍并在設(shè)置值時自動指定過期時間。對于簡單的數(shù)據(jù)我建議直接用這個工具類而不是每個地方都寫redisTemplate.opsForValue().xxx()。手動緩存適合以下場景數(shù)據(jù)短生命周期比如登錄驗證碼5分鐘有效。需要精細(xì)控制過期時間。緩存數(shù)據(jù)需要在業(yè)務(wù)中頻繁更新比如在線用戶狀態(tài)。數(shù)據(jù)緩存與數(shù)據(jù)庫更新之間需要手動維護一致性注解方式很難表達“先改庫再刪緩存”的順序。舉個eladmin里的實際例子登錄成功之后把用戶信息塞進Redis設(shè)置30分鐘過期每次請求時刷新過期時間實現(xiàn)“滑動續(xù)期”。這個需求用Cacheable做不到因為注解緩存不支持動態(tài)刷新TTL但RedisUtils可以輕松完成。3.3 緩存更新機制優(yōu)先刪而不是更新這是我吃了虧才明白的道理。很多人寫完緩存后想當(dāng)然地認(rèn)為數(shù)據(jù)庫更新后把Redis值也更新就好了。但緩存更新的路數(shù)很多組合方式容易出錯。比如先更新數(shù)據(jù)庫還是先更新緩存、失敗了怎么辦、并發(fā)下會不會讀到舊值。eladmin業(yè)務(wù)里我統(tǒng)一采用“先更新數(shù)據(jù)庫再刪除緩存”的策略。下一請求發(fā)現(xiàn)緩存未命中再回源數(shù)據(jù)庫重建緩存。這個策略在大多數(shù)讀多寫少的后臺系統(tǒng)里足夠用而且天然避免了“寫緩存失敗導(dǎo)致數(shù)據(jù)不一致”的問題。刪除緩存這個動作本身也是冪等的就算刪晚了也只是多一次數(shù)據(jù)庫查詢。3.4 字典緩存的完整案例以eladmin的字典模塊為例它的查詢頻率很高但字典數(shù)據(jù)基本穩(wěn)定。如果每次查字典都走數(shù)據(jù)庫查詢接口響應(yīng)會受DB性能影響。我的處理方式啟動時預(yù)熱項目啟動后調(diào)用一次字典查詢接口把常用字典寫進Redis。查詢時先查緩存命中直接返回。后臺編輯字典后調(diào)用刪除緩存接口保證下次查詢回源。這里有一個細(xì)節(jié)分頁查詢的字典列表不適合直接整體緩存因為分頁排序條件太多緩存命中率低還會造成緩存key爆炸。我只對“按字典名稱查詢所有明細(xì)”這種固定場景做緩存列表頁不緩存Excel導(dǎo)出也不緩存。緩存不是越多越好命中率低的緩存不僅浪費內(nèi)存還增加了維護成本。4. 分布式鎖從緩存組件到協(xié)調(diào)組件4.1 為什么單機鎖不夠eladmin里的定時任務(wù)、庫存扣減類操作在單機部署時用Synchronized或ReentrantLock沒問題。但項目上了集群同樣的定時任務(wù)會在每個節(jié)點各執(zhí)行一遍造成重復(fù)數(shù)據(jù)。比如定時同步訂單狀態(tài)如果兩臺機器同時跑數(shù)據(jù)庫可能被更新兩次產(chǎn)生臟數(shù)據(jù)。單機鎖只對本進程生效這時就需要一個跨進程的鎖分布式鎖。Redis實現(xiàn)分布式鎖是最常見的方案因為它本身是共享存儲所有節(jié)點都能訪問且提供了原子操作。4.2 用Redis手寫一個可用的分布式鎖最簡單可靠的方案就是基于SET key value NX EX seconds這個命令能同時保證“key不存在才設(shè)置”和“過期時間自動設(shè)置”。用RedisTemplate實現(xiàn)如下public boolean tryLock(String key, String requestId, long expireSeconds) { // NX: 不存在才設(shè)置 EX: 設(shè)置過期時間 // 注意 SET_IF_ABSENT NX, SET_ABSENT_TIME EX Boolean result redisTemplate.opsForValue() .setIfAbsent(key, requestId, Duration.ofSeconds(expireSeconds)); return Boolean.TRUE.equals(result); } public boolean releaseLock(String key, String requestId) { // 使用Lua腳本保證“校驗持有者再刪除”是原子操作 String script if redis.call(get, KEYS[1]) ARGV[1] then return redis.call(del, KEYS[1]) else return 0 end; DefaultRedisScriptLong redisScript new DefaultRedisScript(script, Long.class); Long result redisTemplate.execute(redisScript, List.of(key), requestId); return Long.valueOf(1).equals(result); }這里有兩個關(guān)鍵點requestId可以是UUID是鎖持有者的唯一標(biāo)識。釋放鎖時必須校驗這個標(biāo)識防止“自己不持有的鎖被自己刪掉”。用Lua腳本包裹“檢查-刪除”操作保證原子性。如果拆成兩步可能在GET之后、DEL之前鎖到期被另一個線程搶走然后你把別人的鎖刪了。4.3 鎖的續(xù)期問題和Redisson選擇手寫鎖有個麻煩業(yè)務(wù)執(zhí)行時間超過鎖的過期時間怎么辦比如加鎖時設(shè)了30秒但業(yè)務(wù)跑了40秒鎖自動釋放另一個線程進來了。解決思路是續(xù)期——在鎖即將到期但業(yè)務(wù)還沒結(jié)束時自動延長過期時間。這個邏輯很煩不建議手寫。我在這塊直接引入了Redisson它內(nèi)置了看門狗機制默認(rèn)鎖續(xù)期到30秒每10秒檢查一次業(yè)務(wù)沒結(jié)束就自動續(xù)期業(yè)務(wù)結(jié)束就釋放鎖。代碼反而簡單很多RLock lock redissonClient.getLock(lock:task:syncOrder); boolean isLocked lock.tryLock(3, 10, TimeUnit.SECONDS); if (isLocked) { try { // 業(yè)務(wù)邏輯 } finally { lock.unlock(); } }引入Redisson的代價是加一個依賴和一點內(nèi)存但省去了自己處理續(xù)期、重入、異常釋放的雜活。eladmin里如果已經(jīng)有Redisson依賴優(yōu)先用它的tryLock如果沒有手寫一個簡單的也夠用。提示手寫鎖務(wù)必設(shè)置過期時間絕不能只用setIfAbsent(key, value)不帶過期時間。一旦分布式鎖的key沒有過期時間而持有鎖的服務(wù)宕機這個鎖就永遠(yuǎn)解不開了下游業(yè)務(wù)全部卡死。4.4 鎖定在eladmin里的實際場景我在eladmin里落地分布式鎖最多的場景是定時任務(wù)。eladmin有定時任務(wù)管理模塊可以動態(tài)啟停任務(wù)但任務(wù)本身可能被多個節(jié)點同時觸發(fā)。處理方式任務(wù)執(zhí)行入口先嘗試獲取鎖。搶到鎖的節(jié)點執(zhí)行任務(wù)沒搶到的節(jié)點直接跳過。執(zhí)行完成后主動釋放鎖。另外批量導(dǎo)入導(dǎo)出、文件分片合并、訂單狀態(tài)機轉(zhuǎn)換這類場景也需要鎖。核心思路是凡是“多實例下同一時間只允許一個執(zhí)行”的操作都值得用分布式鎖。5. 緩存三大故障現(xiàn)場穿透、擊穿、雪崩的解決實錄5.1 緩存穿透不存在的key瘋狂打庫eladmin里權(quán)限校驗接口如果被惡意刷每次都會攜帶一個不存在的用戶ID查數(shù)據(jù)庫Redis里始終沒有緩存數(shù)據(jù)庫壓力直線上升。這種查詢一個“必然不存在的數(shù)據(jù)”的現(xiàn)象就是緩存穿透。最常用的兩個辦法緩存空值查詢結(jié)果為空也寫緩存設(shè)置一個較短的過期時間比如60秒這樣后續(xù)相同Key不會打到DB。但要注意空值過多會占用內(nèi)存需要設(shè)置過期時間。布隆過濾器把所有合法的用戶ID加載到布隆過濾器查詢前先判斷ID是否存在不存在直接返回。適用于ID集合較小且相對固定的場景。我在eladmin里處理驗證碼校驗接口時用的就是緩存空值方案驗證碼錯誤就緩存一個錯誤標(biāo)記過期時間比驗證碼本身還短。這樣既保護了數(shù)據(jù)庫又不會影響正常用戶的重新發(fā)送。5.2 緩存擊穿熱點key瞬間過期打崩DB緩存擊穿和穿透容易混淆擊穿指的是某個熱點key在過期瞬間大量并發(fā)請求同時回源數(shù)據(jù)庫。比如eladmin的系統(tǒng)配置緩存如果剛好在零點過期所有請求都去查數(shù)據(jù)庫一次就夠數(shù)據(jù)庫喝一壺。解決手段通常有兩種互斥重建用分布式鎖包住回源邏輯只允許一個線程回源數(shù)據(jù)庫寫緩存其他線程等待緩存重建完成。缺點是鎖等待會增加接口耗時。邏輯過期緩存中不設(shè)置物理過期時間而是存一個邏輯過期戳。查詢時發(fā)現(xiàn)戳已經(jīng)過期就異步重建。優(yōu)點是接口永遠(yuǎn)有數(shù)據(jù)可返回但實現(xiàn)稍復(fù)雜。在eladmin的字典緩存里我采用的是折中方案熱點key的物理過期時間拉長到小時級后端修改字典后通過ActiveMQ或者直接調(diào)用刪除緩存接口來維護一致性避免“自然過期”引發(fā)擊穿。這個方案簡單但依賴“刪除操作必須可靠”。5.3 緩存雪崩大量key同一時刻失效雪崩和擊穿的區(qū)別在于影響范圍。雪崩是大批key在同一時間過期或者Redis服務(wù)整體不可用導(dǎo)致數(shù)據(jù)庫瞬間被沖垮。解決辦法我總結(jié)三條過期時間加隨機抖動比如基礎(chǔ)過期時間300秒實際設(shè)置時加一個0到60秒的隨機數(shù)避免同一秒集體失效。eladmin里的緩存工具類我已經(jīng)統(tǒng)一封裝了這個邏輯。多級緩存配合Redis之上加一層本地緩存Caffeine本地緩存失效再查RedisRedis失效再查DB。這樣即使Redis短時間不可用本地緩存還能扛一部分。Redis高可用部署主從加哨兵或者Redis Cluster避免單點故障。這個我放在第6節(jié)詳細(xì)講。5.4 曾經(jīng)踩過的坑INCR在分布式環(huán)境下的“不準(zhǔn)”熱詞里有一條“redis incr不準(zhǔn)”我在eladmin里也遇到過。場景是短信驗證碼發(fā)送頻率限制Long count redisTemplate.opsForValue().increment(limit:sms: phone); redisTemplate.expire(limit:sms: phone, 60, TimeUnit.SECONDS);這段代碼在單機Redis下沒有問題。但在主從架構(gòu)下主機自增后同步給從機如果主機宕機、從機頂上自增的值可能丟失或重復(fù)導(dǎo)致計數(shù)不準(zhǔn)。解決方案有幾個使用Redis Cluster的單一分片鎖住key的哈希槽保證只有一臺機器處理該key。頻率限制場景可以接受誤差時改成SETNX 過期時間判斷邏輯?;蛘咴赗edis事務(wù)Pipeline中執(zhí)行減少錯誤概率。另外INCR和EXPIRE是兩個獨立命令如果想讓key自動過期最好用Lua腳本把兩個操作包起來保證原子性否則極端情況下可能key永不過期計數(shù)累加超過預(yù)期。提示eladmin的接口限流功能如果用了IP計數(shù)千萬不要用get再set的復(fù)合操作必須用原生INCR。兩步操作在并發(fā)下會丟失增量計數(shù)這是非常隱蔽的一類bug。6. 從單機到集群eladmin上線后的Redis部署升級路線6.1 單機版夠用嗎開發(fā)環(huán)境和日活幾千的小項目單機Redis完全夠用。eladmin這種后臺系統(tǒng)數(shù)據(jù)庫字段多、接口讀寫比例高單臺8G內(nèi)存的Redis實例支撐幾百個并發(fā)是沒問題的。但是單機的問題在于故障域。Redis宕機所有緩存全部失效數(shù)據(jù)庫被瞬時打滿整個系統(tǒng)雪崩。而且一臺機器上Redis進程如果OOMRedis會直接拒絕寫入進而影響所有依賴Redis的業(yè)務(wù)。因此正規(guī)一點的項目都會考慮主從。6.2 主從加哨兵怎么配更穩(wěn)主從模式解決的是“單點故障”哨兵解決的是“自動故障轉(zhuǎn)移”。我在eladmin生產(chǎn)環(huán)境用的一主二從加三哨兵架構(gòu)主節(jié)點負(fù)責(zé)讀寫。從節(jié)點負(fù)責(zé)讀擴展和備份。哨兵監(jiān)控主從狀態(tài)主節(jié)點宕機后自動從從節(jié)點選舉出一個新主節(jié)點修改客戶端配置的地址指向新主節(jié)點。Spring Boot里配置Sentinel模式的地址很簡單spring: data: redis: sentinel: master: mymaster nodes: - 192.168.1.10:26379 - 192.168.1.11:26379 - 192.168.1.12:26379注意哨兵模式下應(yīng)用連接的是哨兵地址而不是Redis節(jié)點地址。哨兵會告訴你當(dāng)前可寫的主節(jié)點是誰。這塊如果配錯應(yīng)用會一直連不上Redis日志里反復(fù)報Connection refused。主從復(fù)制還有一個核心點需要注意replica-read-only建議設(shè)置為yes。從節(jié)點只做讀寫操作全部走主節(jié)點否則可能會發(fā)生數(shù)據(jù)不一致。6.3 什么時候值得上ClusterRedis Sentinel解決的是“故障轉(zhuǎn)移”但單節(jié)點的內(nèi)存容量上限還在。當(dāng)緩存數(shù)據(jù)量大到單節(jié)點內(nèi)存裝不下或者寫入并發(fā)超過單實例上限時就該考慮Redis Cluster。Cluster采用分片存儲每個key根據(jù)CRC16算法映射到16384個哈希槽中的某一個然后哈希槽分配給不同節(jié)點。好處是容量和性能都線性擴展壞處是配置復(fù)雜、客戶端要支持Cluster模式且Redis Cluster不支持多key操作除非這些key在同一個Hash標(biāo)簽下。eladmin項目的緩存體量通常到不了Cluster的規(guī)模但如果未來做多租戶、數(shù)據(jù)量暴漲可以提前把key的Hash Tag設(shè)計好比如把所有需要一起操作的key都加上{user:1}這樣的Hash前綴確保它們落在同一個槽里。這個設(shè)計越早做越省事。6.4 Docker部署Redis時的常見錯誤很多團隊用Docker部署Redis熱詞里提到的“docker search redis request returned 500 internal server error”我碰到過多次。這個報錯通常是Docker Desktop的引擎沒起來或者API版本不兼容解決辦法是重啟Docker Desktop或者檢查Docker引擎的版本。真正進入docker pull redis階段之后還需要注意掛載持久化目錄比如/data防止容器重啟后數(shù)據(jù)丟失。指定Redis密碼和配置文件不要用默認(rèn)無密碼的配置。如果宿主機和Redis容器不在同一網(wǎng)絡(luò)需要注意防火墻和端口映射。用Docker Compose部署一主二從加哨兵集群是本地復(fù)現(xiàn)和學(xué)習(xí)的好方式比手動敲命令省心很多。但這個更多是運維話題本文就不展開了。7. 體檢清單慢查詢、大key和熱點key的排查手段7.1 Redis慢查詢?nèi)罩驹趺纯碦edis的慢查詢?nèi)罩竞蚆ySQL的slow query log思路類似。配置項slowlog-log-slower-than設(shè)置超時閾值單位微秒slowlog-max-len設(shè)置日志條數(shù)。執(zhí)行SLOWLOG GET可以查看最近慢查詢命令。eladmin的緩存基本都是小Key很少有長命令但如果有KEYS *這類命令出現(xiàn)在慢查詢里基本可以斷定代碼有問題。Redis是單線程的一個耗時的KEYS命令會阻塞所有客戶端響應(yīng)線上絕不能執(zhí)行。我見過有人用KEYS auth:token:*來批量清理用戶會話導(dǎo)致Redis卡了幾秒所有依賴緩存的接口全部超時。正確做法是用SCAN游標(biāo)遍歷分批次刪除。7.2 大key是隱藏的內(nèi)存炸彈大key通常指value特別大的key比如一個Hash里塞了幾十萬個字段或者一個String存了幾MB的數(shù)據(jù)。大key會導(dǎo)致Redis內(nèi)存碎片增加、刪除/序列化耗時變長還會在主從復(fù)制時造成網(wǎng)絡(luò)帶寬壓力。在eladmin里最常見的兩個大key場景緩存的用戶權(quán)限集合沒有控制大小一個超管用戶的權(quán)限菜單串成一個大JSON。字典緩存把所有數(shù)據(jù)一股腦塞進一個key而不是按類型拆分。排查手段用redis-cli --bigkeys它會掃描找出大key并給出類型和建議。治理方式很直接大key拆小key、續(xù)期策略調(diào)整、數(shù)據(jù)結(jié)構(gòu)優(yōu)化。比如權(quán)限集合按角色拆分字典按類型拆分。7.3 內(nèi)存淘汰策略的選擇Redis內(nèi)存寫滿后怎么辦配置maxmemory-policy決定了淘汰策略。后臺管理系統(tǒng)里我推薦volatile-lru只在設(shè)置了過期時間的key里淘汰最近最少使用的數(shù)據(jù)。這樣業(yè)務(wù)緩存是“可淘汰”的但正在使用的會話數(shù)據(jù)不會被強制清掉。相比之下allkeys-lru會對所有key做淘汰包括你不想丟的業(yè)務(wù)緩存可能導(dǎo)致關(guān)鍵數(shù)據(jù)意外消失。還有一點maxmemory不要設(shè)成Redis所在服務(wù)器的全部內(nèi)存要留出一部分給操作系統(tǒng)、其他進程防止Redis OOM把整臺服務(wù)器壓垮。我一般給Redis分配機器內(nèi)存的60%-70%左右。7.4 可視化工具和日常巡檢建議命令行工具就是redis-cli圖形化工具我常用Another Redis Desktop Manager和Redis Insight。選工具主要看是否支持連接哨兵、Cluster、SSH隧道。日常巡檢建議做成定時腳本每天掃一遍INFO memory查看內(nèi)存使用率。INFO replication查看主從復(fù)制狀態(tài)確認(rèn)沒有斷連。INFO stats看連接數(shù)和命中率。SLOWLOG GET 50檢查慢命令。這些指標(biāo)配合Prometheus和Grafana可以做到很完善的監(jiān)控但哪怕沒有專業(yè)監(jiān)控系統(tǒng)定時敲一下命令也比完全不看強一百倍。Redis掛了不可怕可怕的是你不知道它什么時候開始變慢、內(nèi)存什么時候開始飆升。結(jié)尾經(jīng)驗這套東西從頭到尾梳理下來我覺得在eladmin里用好Redis的關(guān)鍵只有兩點一是序列化和key設(shè)計必須在一開始就定好規(guī)范這個決定后續(xù)所有緩存代碼的體驗二是把分布式鎖、緩存擊穿、集群部署這些“進階能力”當(dāng)作標(biāo)配去考慮而不是等出了事故再補。我經(jīng)歷過Redis配置亂碼導(dǎo)致生產(chǎn)環(huán)境接口直接500的夜晚也經(jīng)歷過分布式鎖誤刪把定時任務(wù)數(shù)據(jù)弄亂的尷尬。現(xiàn)在已經(jīng)養(yǎng)成的習(xí)慣是任何redisTemplate的讀寫都先問自己“key規(guī)范嗎序列化對嗎過期時間設(shè)了嗎這行代碼在集群下還成立嗎”這四個問題能擋住絕大部分線上事故。希望這篇實踐對正在折騰eladmin的朋友有幫助。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品色| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 伊人天堂婷婷| 色丁香影院| 亚洲六月色| 99热精品一区| 99狠狠操一| 五月天婷婷小说| 丁香五婷婷| 六月丁香综合| 婷婷丁香六月五月天| 一本色道久久综合狠狠躁小说| 亚洲五月天第一综合干| 激情五月天。| 99视频久久| 久久丁香五月婷婷| 淫视馆av三区| 激情五月综合婷婷| 99re这里| 六月婷五月丁香| 激情综合丁香| 超级碰碰一区| 九九性视频| 丁香六月视频免费观看| 99精品在线观看| 精品国产一区二区三区四区阿崩| 色香欲综合| 久久久久亚洲AV成人无码电影| 天天日天天操心| 激情五月婷婷色播网| 婷婷色色欧美| 91久久久久| 操逼视频一区| 色五月丁香六月欧美综合| 日本专区久久| 91AV视频| 狠狠色婷| 超碰只有精品在线| 无码少妇高潮喷水A片免费| 吉澤明步Av一區二區| 五月天无码| 成人龟情网丁香五月| 狠狠操狠狠| 婷婷五月天激情网站| 伦乱美欧| 久久九网| 免费无码毛片一区二区A片| 五月停停色色丁香| 九九大香蕉黄色影院| 97色在线视频| 91碰免费视频| 中文字幕黄色电影网址| 亚洲无码性爱| 91久久综合亚洲噜噜成人在线 | 久久免费高| 日韩成人无码| 九九视频这里只有精品| 欧美日韩成人免费在线| 国产日韩欧美性爱| 夜夜干夜夜操| 来吧亚洲综合网| 99热欧| 夜夜资源站| 亚洲av无码精品色午夜| 六月丁香婷婷视频综合在线观看| 五月六月丁香婷婷在线观看| 婷婷久热| 日本乱论99| 久久久18| 国产成人av在线播放| 26uuu日韩| 久草热8精品视频在线观看 | 五月天天爱| 五月丁香综合中文| 五月丁香色婷婷伊人| 狠狠操狠狠爱| 久久综合激情| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色呦精品| 亚洲精品久久久无码| 99热色精品| 夜精品无码A片一区二区蜜桃| 成人电影在线免费试看| 欧美槡BBBB槡BBB少妇| 性天堂久久| 国产综合网在线| 色色色五月婷| 亚洲色就是色色色| 婷婷丁香六月| 情婷婷五月天在线| 超碰人人91| 婷婷中文字幕| 任我鲁这里有精品视频| 超碰碰碰碰| 26uuu激情五月天| 五月婷婷伊人网| 婷婷色五月综合| 99A片| 久久婷.com| 热久精品| 久久日婷婷| 婷婷五月丁香欧洲| 99热99re6国产在线播放| 天天做天天爱天天爽在| 牛牛碰免费| 99精品在线观看| 狠狠干综合| 97人人干视频| 丁香婷婷免费| 九九热免费| 不卡在线中文字幕无| www色五月| 五月花丁香婷婷| 色综合色五月| 少妇婷婷五月天| 成人小说 五月天 婷婷| 俺去也综合| 婷婷五月成人社区| 婷婷五月伦理| 国产高潮A片羞羞视频涩涩| 日韩99视频| 五月婷婷m| 五月婷婷综合社区| www.minyis.com【JT】实力收量可预付QQ2101460746 | 欧美激情-区二区三区| 日本色图综合| 色噜噜夜夜夜综合网| 色婷婷五月综合在线| 在线五月色播| AA片在线观看视频在线播放 | 五月丁香直播| 9色91视频| 欧美性二区| 91视频综合网| 91黄操| 五月丁香人妻| xxxx五月天色色| 91成人电影| 开心激情色婷婷五月天| 五月丁香啪| 色欲资源网| 天天色凹凸| 日本狠狠爽| 99九九精品视频| 久久婷婷六月综合综合| 丁香六月综合激情| 96丁香六月婷婷蜜桃综合久久| 色噜噜狠狠色综合网| 亚洲成人在线五月天| 九九九激情综合| av在线超清中文| 婷婷网五月天| 9色在线视频精品观看| 天天爽日日爽夜夜爽| 亚洲亚洲人成综合网络| 丁香六月婷婷综合欧美| 婷婷在线免费| 日本三级黄色大片| 欧美日韩999| 综合色99| 国产99美少妇| 亚洲成人在线在线| 天天精品视频免费观看| 久青操| 亚洲无码11| 亚洲无码成人| 国自产拍偷拍精品啪啪一区二区| 99爱视频免费看| www.射伊蕉婷婷| 色激情五月| 99九九热在线观看| 婷婷五月情色| 色欲一区二区三区精品A片| 青草网在线观看| 深爱激情五月天| 玖玖伦理电影| 久久9RE热视频精品98| 丁香五月欧美色综合| 五月丁香琪琪| 碰碰女| 影音先锋毛片网站| 777影视理论片大全在线观看| 丁香五月激情综合在线观看| 成人VAV视频在线观看| 激情av在线| 久久人操| 996热| 黄色99视频| 欧美色图天堂网| 日韩综合网络男女香蕉a片| 五月天综合在线观看| 大香蕉啪啪啪啪啪啪| 超碰免费99| av九九| 搡BBBB搡BBB搡18| 精品久久久久久久人妻| 在线播放中文字幕| 人人97操| 日韩少妇内射免费播放| 久久九九爽| 六月婷婷网站| 欧洲一区二区| 九热网站| 欧洲亚洲午夜| WWW.HENHENL.| 色婷婷影视| 丁香婷婷久久激情| 91porn一起草| 99热最新国内| 亚洲精品又粗又大又爽A片| 91视频免费后入强操| 超碰人人色| 9这里只有精品| 无码激情AAAAA片-区区| 99超级碰免费视频| 国产精品VA在线| 99惹在线精品免费观看| 亚洲一级 片内射网站在线观看| 五月天婷久精视频| 丁香五月天激情四射网络不好| 久久综合九九| 九月婷婷在线观看| 色吧婷婷五月亚洲| 99热1| 久久人妻乱子伦| 超碰无码318604| 无码AV免费精品一区二区三区| 婷婷 丁香 精品| 欧美美女国产日韩一区二区久| 亚洲激情av| 五月天婷婷久色| 99精品偷自拍| 成人片在线播放| 久久艹99| 久婷五月| 丁香五月婷婷手机| www.热99热| 成人va在线观看视频| 超碰不卡在线| 在线观看免费狠狠色丁香香综合| 五月婷婷婷| 碰99在线| 丁香五月停停av| 九九亚洲天堂| 婷五月天影院| 丁香五夜激情四射夜夜夜| 大伊香蕉精品视频在线| 久久久久久久久久久-久五月天婷婷| www色色com| 日韩婷婷| 久热超碰| 日韩AV免费电影在线播放| 26uuu国产| 91九色丨国产丨爆乳| 天天插天天射| 九九色影视| 99爱视频| 欧美综合激情五月天| 色五月丁香激情| 久久亚洲网| 性爱在线播放av| 99免费热视频在线| 五月丁香在线综合| 99成人| 99综合自拍| 欧美成人日韩| 婷婷五月天欧美图片在线播放电驴| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 欧美婷婷丁香五月| 日本三级中文字幕| 亚洲视频在线观看99| 丁香六月色情| 丁香五月五月婷婷| 激情丁香婷婷六月天| 婷婷色五月激情| 色五月超碰| 色婷婷丁香五月天激情综合网| 九九性爱网| 91黄址| 色吊丝永久访问网址| 激情久久肏屄视频| 五月天激日本色情在线| 天天操夜夜爱| AV在线观看网站| 狠狠另类视频| 《蜘蛛女》梁铮1995| 婷香五月激情视频| 思思久久99| 国产精品久久久久久久久久 | 色综合天天网| 少妇高潮呻吟A片免费看软件| 亚洲日比视频| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 激情综合视频| 婷婷五月天伊人在线| 久久新地址| 高清激情av在线观看| 色人妻五月| 91九色精品| 91综合在线| 伊人久久丁香五月91| 色色色9 9 9| 欧美成人无码高清一区二区三区| 五月丁香在线| 婷婷亚洲在线| 天天 青草 制服丝袜 在线| 五月天婷婷伊人| 亚洲五月天另类小说图片| 激情小说五月天| 天天爱夜夜爽| 99热日本| 99热网址| 26uuu另类| 大香蕉久操| 热久久66| 99re免费精品视频| 成人免费视频一区| 日日日影院| 99精品亚洲| 激情五月天婷婷丁香| 国产亚洲在线观看| 丁XX 成人| 这里只有精品视频| 九九热超碰| 激情五月婷婷网| 六月婷婷综合| 99精品在线播放| 亭亭五月丁香五月天激情| 狠狠干狠狠干| 丁香婷婷五月天亚洲| 色色色综合网| 91操屁股| 思思久ren热| 影音先锋天天日| 婷婷伊人五月天| 日韩一区二区在线播放| 国产成人99久久亚洲综合精品| 丁香五月婷婷影院| www.色五月.com| 大陆极品少妇内射AAAAAA| 9|无码久久久久久| 五月激情综合网| 9久操| 五月丁香婷婷久久| 亚洲乱码日产精品BD| 色综合综合色| 久久机热/这里只有精品| 综合亚洲AV| 青草激情在线| 激情五月瑟瑟| 天天精品视频免费观看| 亚洲色婷婷久久99精品91| 五月婷婷在线网站| 五月天大香焦| 能看的av网站| 婷婷六月天天| 天天狠天天叉| 中文字幕丰满乱孑伦无码专区| 99日本黄站| 丁香五月色网| 激情五月婷婷| 色播五月丁香婷婷| 日碰日| 这里只有精品在线免费视频| 一区操| 九九热这里只有精品556| 亚洲av成人在线| 91丨九色丨国产打屁股| 狠狠操狠狠插| 99综合激情久久精品久久| 教师性爱毛片| 久久综合五月天| 色欲婷婷五月天丁香| 丁香五月亚洲综合| 91九色无码内射| 婷婷色色婷婷| 婷婷五月小说色综合| 婷婷综合视频| 色五月成人在线| 99久久婷婷国产综合精品草原| 日本女天天爽| av一区二区电影免费在线观看| 色色色999| 久久98| 无码一区二区三区四区五区91c| 加勒比久热| 久草热视频在线观看| 激情久久网 | 久久99美女精彩视频| www.狠狠艹| 狠干综合| 欧洲色| 欧美性爱特黄一级aaaassss| sewuyuetingtingiii| 九九AV在线| 草操网| 丁香五月激情五月色综合| 丁香五月婷婷香| 日韩黄色影院| 五月天丁香| 色情性爱视频网址| 99小视频在线观看| 国产人妻777人伦精品HD| 色婷婷激情五月天在线观看| 啊V视频在线观看| 91综合在线| 日韩在线aaa| 久久久99视频| 色色色色色色色色色色色色色色,网站| 综合色影| 丁香五月婷久久| 精品久久9| 黄色视频网站在线播放| 九九久久网| 日本激情五月天‘| 精品五月丁香| 91成人视频| 风流少妇A片一区二区蜜桃| 天天日天天爽夜夜爽| 精品在线| AV操逼网| 色五月欧美| 色五月激情五月| 人妻aV在线| 人人舔天天| 97香蕉碰碰人妻国产欧美| 97色射| 婷婷五月天久久| 99这里只有精| 久久欧洲综合网| 亚洲va欧美| 东京热免费视频网站| 国产欧美熟妇另类久久久| 国产成人高清| 婷婷五月天社区| 婷婷成人小说综合| 亚洲中文无码成人| Av大香蕉| 色色亚洲五月天| 亚洲欧美婷婷五月色综合| 成人在线视频一区| 久9精品视频| 丁香五月很很肏| 丁香婷婷网| 久久九九色| 91欧美| 九九热视| 色色AV色色色东莞| 99热这里只有精品2| 婷婷五月天激情综合| 97影院一级片| 婷婷激情人妻| 婷婷五月激情的图片| 大香伊人婷婷影院| 亚洲视频久久| 99热在线看片| 亚洲色色五月天| 97婷婷五月丁香| 激情5月婷婷| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 婷婷五月综合体验看| 国模淫穴色图| 五月天婷婷激情综合| 婷婷六月激情综合| 永久免费一区二区三区| 色碰碰| 99免费热视频在线| 99色在线视频| 狠狠精品干练久久久无码中文字幕| 五月天婷婷综合网| 亚洲精品久久久久久久久久飞鱼 | 五月天激情黄色网址| 人操综合| 国产免费av在线| 91九色熟女| 六月丁香av| 91男同| 国产精品久久99| 色婷丁香五月| 色综合综合网| 色色色色网| 久久草中文日韩欧美| 婷婷射丁香| 99精品亚洲| 婷婷爱五月| 这里只有精品96| 亚洲视频另类| 久操婷婷| 色五月婷婷啪啪五月| 五月婷婷AV| 9有码中文| 九九热九九| 蜜桃五月天| 色九九九综合| 婷婷中文在线| 三级成人网站| 天天爱天天操| 疯狂做受XXXX高潮A片动画| 婷婷亚洲在线| 五月婷婷综合网| 青青草护士中出内射-欧美电影在线天堂新版 | 小视频久久久aaa| 国产精品扒开腿做爽爽爽A片唱戏| 99惹 精品在线| 国产肏屄大片| 色五月天综合| 九九人人精品| 色婷插| 日本欧美国产| 欧美久久婷婷| 九九99久久| 精品热青草| 色五月激情| 婷婷五月天亚洲天堂| 青青草成人网| 天堂成人A片永久免费网站| 色蜜婷婷| 色色综合视频| 综合五月婷婷| 久热69| 99热久久最新地址| PORNY九色9l自拍视频成人| 国产看真人毛片爱做A片| 五月丁香综合影院| Www.婷婷五月| 婷婷五月花| 亚洲天堂啪啪| 色综合色色| 一本道在线电影| 99re在线视频| 激情5月婷婷| 99无码| 99九九热在线观看| 亚洲操B| 操操操B| 亚洲激情综合| 婷婷九九| 综合一区二区三区| 亚洲操b| 亚洲中文字幕在线观看| 亚洲综合视频天天精品| 国产精品色色| 婷婷五亚洲| 玖玖色综合网| 97精品综合| 成人va视频| 婷婷综合性爱网| 区区久久妻| 99久久久| 婷婷射图| 亚洲综合一区二区| 五月欧美丁香在线观看| 丁香五月婷婷激情中文| 99愛国产| 啪啪视频99| 亚洲99在线视频| 午夜不卡久久精品无码免费| 欧美日韩AAAAA| 91精品丝袜久久久久久| 99热老网站| 五月 成人 婷婷| 无码一级片| 色综合色色色| 在线看黄色| 色导航色婷婷五月天在线观看| 五月天久久婷| 思思热久久久在线| 五月色亭丁香| 欧洲激情精品婷婷| 五月久久网| 天天色视频| 丁香色影院| 超91热| 激情网 五月天| 亚洲国产精品VA在线看黑人| 激情图片婷婷| 99精日本久久| 亚洲五月停停| 色欲色天天香综合| 色五月在线播放| 激情com| 天天综合精品| 丁香五月天啪啪激情综和网| 色五月开心久久网| 97碰碰视频在线观看免费| 丁香五月色色| 熟妇无码乱子成人精品| 六月五月婷婷| 色五月婷婷91| 色情综合| 日日爽天天| 美腿丝袜AV天堂网| 超碰av在线| 五月天六月丁香| 在线看的免费网站| 好大好粗嗯啊-一级黄色大片免费观看-成人AV| 99re这里| 亚洲一区二区无遮挡A片| 色九月婷婷综合| 天天性视频| 在线看九一V图片| 激情五月开心五月丁香五月| 天天摸天天肏| 天天色中文字幕女优AV| 亚洲性爱电影| 欧美综合丁香网| www.婷婷五月天,com| 久热一本| 狠狠五月天婷婷激情网。| 五月天基地| 九九热精品| 亚洲色亚洲精品| 美女激情综合| 精品热青草| 日本久久婷婷| 99久久久国产精品免费蜜乳tv| 爆乳熟女一区二区三区爆乳| 亚洲精品无人区| 五月天综合| 亚洲av无码影院| 99玖玖免费视频| 五月丁香婷婷激情视频| 欧美在线97| 久久精品99国产精品日本| 在热视频精品| 久久久久久天天日天天爱| a免费在线| 五月丁香免费看| 色婷婷激情五月天在线观看| 婷婷爱在线观看| 热久91| 夜夜撸夜夜骑| 欧美乱码国产一级A片| 天天做天天干天天综合网| 91日韩美女被插视频| 久久99国产综合精品免费| 五月婷婷,狠狠操| 天天天天做夜夜夜夜做| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 日撸夜撸日操| 久久五月天激情婷婷| 五月开心久久| 丁香五月激情啪啪啪| 丁香五月天视频| 日韩精品一区二区亚洲AV观看| 伊人丁香婷婷东京| 婷婷五月天视| 91精品91久久久中77777| 亚洲色图日韩网址| 九九爱精品网站| 成人做爰A片免费看视频| 婷婷五月丁香啪啪| 日韩五月丁香| 2050人人操免费工开爱| 99热这里有精力| 五月丁香六月婷婷激情网| 五月婷婷综合潮喷| 亚洲人人操BD| 99re这里只有精品首页| 五月丁香直播| mmm1717.6dbm人人爱人人操| 梁铮版蜘蛛女在线观看| 丁香五月婷婷亚洲人| 超碰色综合| 天堂爱啪啪| 久re热视频| 欧美熟妇一区二区三区| 99视频在线观看视频| 婷婷五月综合色小姐小说| 五月Huangsewang| 三年高清大片免费观看国语| 99国产精品久久久久久久久久久 | 亚洲第一成人无码A片| 六月婷婷色色色| 91精品国产综合久久蜜芽解析速度| 99热在线播放精品| 综合一啪| 久久精品系列| 色琪琪一综合久久激情五月视频| 丁香五月欧美激情| 玖玖视频福利| http://www.lingjunshare.com/| 丁香五月天激情综合网| 五月情涩综合婷婷| 国产成人亚洲综合A∨婷婷| 五月天激情婷婷| 91凹凸在线| 久久婷婷伊人| 夜夜穞天天穞狠狠穞AV美女按摩| 五月天综合在线网| 99re久热| 琪琪色五月天| 亚洲五月丁香综合网| 欧美一区二区三区不卡影视| 婷婷丁香人妻天天| 久99视频在线观看| 国产又粗又大又爽又黄| 99爱在线| 99热99久久| 五月天开心激情网色欲无码| 色综合久久久久久久久五月| 亚洲激情综合| 婷婷啪啪| 99超级超级超级碰| 色三级色三级| 99成人精品| 丁香五月激情在线| 五月丁香啪啪| 久久天堂婷婷五月| 久9视频免费播放| 91jiuseshunv| 啪啪91| 性爱网久久| 五月天激情国产综合婷婷| 99精品人人| 亚洲妇女熟BBW| 99九九视频精彩在线| 777久久综合视频| 色色婷婷色色| 成人综合网站| 九九亚洲综合| 丁香五月亚洲| 婷婷丁香六月影视| 亚洲成人av在线| 两性婷婷丁香五月| 亚洲色婷婷婷婷人人爽| 婷婷九月亚洲| tingtingseav| 五月婷婷色| 亚洲性爱电影| 丁香五月亚洲| 伊人婷婷激情| 综合亚洲六月婷婷在线| 国产精品视频网| 欧美性生交XXXXX无码小说| 91色操| 这里只有精品网| 月婷婷亚洲| 97干网站| 伊人久久大香线蕉综合网站| 亚洲中文字幕AV在线| 色色婷婷丁香| 99热这里只有精品在线观看| 五月丁香五月天现场视频| 色墦五月丁香| 玖玖在线| 综合五月丁香97| 99热在线极品极品| 夫妇交换刺激做爰| 激情五月天影院| 超碰国产在线观看| 欧美成人A片AAA片在线播放| 岛国资源网| 蜜乳9188| 99er这里只有精品| 婷婷91| 亚洲xx网| 色婷婷激情五月天| 日韩成人电影Av| 天天干天天日蜜臀av| 国产日韩欧美| 丁香五月天激情| 国产免费一区二区在线A片视频| 五月丁香综合中文| 激情网五月天| 五月天播播中文字幕| 婷婷五月综合激情免费| 五月天久久综合婷婷丁香| 九九视频热| 丁香五月激情站| 日日干综合| 色婷婷五月基地在线| 久久综合激情五月天| 9.1综合网| 99久久亚洲精品视频| 人人操91| 另类少妇人与禽zOZZ0性伦| 丁香六月综合激情| 九九色逼| 玖玖热视频| 丁香五月天激情综合| 九九热在线观看视频| 九九99久久| 九九热在线精品视频| 日日噜噜夜夜狠狠久久丁香六月| 99在线观看| 婷婷成人五月天| 99只有精品| 丰满老熟妇BBBBB搡BBB| 狠狠婷婷色| 婷婷六久久| 91日精品| 五月丁香六月色| 色啪影院| 天天天天天天天干| 激情综合网激情五月欧美| 呦呦视频无码播放| 狠狠色综合精品视频在线| 久久免费精彩视频| 丁香五月91| 狠狠干婷婷| 三十熟女| 中文成人在线| 五月婷婷三级| 久久视频这里都是精品| 开心色播色五月婷婷| 久久人妻伦理| 91要啪| 色婷婷小说网| 九九无码AV| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 亚洲色色香蕉| 久久五月综合| 51XX午夜影福利| 天天射影院| 操大屄五月天视频| 午夜丁香 婷婷| 日本超碰在线| 狠狠五月天婷婷| 色五月女| 99精品性爱| 人妻日日日| 婷婷六月综合基地| 永久的网站AAAA | 天天插天天草人人玩| 成人网站免费sxj| 久久综合五月| www.99热这里只有精品| 综合久久狠狠| 久久婷婷五月综合精品蜜芽| 思思热思在线精品视频| 丁香 婷婷 亚洲 熟女| 色狠狠综合网| 日韩AV无码影片| 天堂久久性| 成人婷婷五月天| 婷婷五月激情五月激情| 丁香五月在线| WWW.五月com| 天天干,天天舔| 伊人AV五月婷| 99热这里精品| 亚洲综合欧美色丁香婷婷888月图片| 久久资源网五月婷| 丁香激情婷婷网| 久久激情综合| 色婷婷亚洲综合天堂| 九九热a| 激情伊人五月天| 丁香五月天啪啪| 五月丁香综合激情网| 亚洲成av人影院| h亚洲| 亚洲精品久久久久久久久久吃药| 大香蕉婷婷色| 五月婷婷操操| 伊人久久婷婷五月综合97色| 激情黄色小说色五月| 开心色播色五月婷婷| 婷婷五月av| 毛片蕉地一二| 五月激情婷婷六月丁香| 九九99精品视频| www.夜夜爱.com| 亭亭玉立国色天香| 激情婷婷五月天| 操B无码视频国语| 精品九九在线观看视频| 婷婷的色色五月天| 久久电影五月天丁香电影| 怕怕av| 色热久| 欧美人人超级碰| 五月噜噜| 99综合| 久久婷色| 六月天婷婷| 亚洲一二三网| 六月丁香婷婷开心综合基地| 色五月天婷婷| 99爽视频| 亚洲va成人va成人va在线观看| 国产AV一区二区三区日韩| 好好干Av| 久色网址| 99精品人人| 无套内射极品大美女| 抽插特写| 亚洲人人操BD| 在线中文AV| 99热国产国产| 久久亚洲婷婷综合色五月| 激情综合啪啪| 九九这里是免费的视频5| 国产精品人人妻人人爽| 婷婷日韩| 天天干com| 337久久| 天天操夜夜肏| 男同91| 六月亚洲| 中文字幕乱码亚洲精品一区| 梁铮版《蜘蛛女侠》在线| 天天色视频| 五月丁香久人妻中文| 久热91| 超碰人人色| 色墦五月丁香| 激情五月综合网| 色婷婷五月在线| 婷婷色五月丁香六月欧美啪| 91ncom.色| 大香蕉婷婷丁香天堂AV| 久9热在线视频| 丁香色综合| 成人AV在线电影| 欧美一级色| 六月丁丁香| 伦乱美欧| 国产黄大片在线观看画质优化| 九九九午夜影院成人| 97干干干丁香| 天天操狠狠操| 99婷婷色| 99九九视频精彩在线| 日本婷久久| 夜夜操夜夜操| 婷婷五月天无码熟女| 午夜精品人妻无码一区二区三区| 日韩激情人伦人| 奇米色大香蕉| 九九成人视频| 97操操操| 九九av| 婷婷深爱网| 碰超在线九色| 女婷久久| 天天看片日日夜夜| 久久九九热38| 五月天激情国产综合婷婷| AV色婷婷| 色情五月综合婷婷| 婷婷免费无视频| 青青色com久久| 99热青青草| mmm1717.6dbm人人爱人人操| 99热每日| 久热69| 狠狠色噜噜狠狠色噜噜噜999| 狠狠精品干练久久久无码中文字幕 | 99在线视频免费| 五月丁香综合精品欧美| 色五月播五月| 99超级碰免费视频| 国产成人精品一区二三区熟女在线 | 综合久| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 野战J办公桌椅H| 五月婷婷婷| 欧洲毛片基地c区| 亚洲乱码日产精品BD| www色婷婷com| 26uuu欧美日韩| 亚洲黄网在线| 丁香六月啪| 丁香六月婷婷色XXXX| 大香蕉Av在线| 国产人妻人伦精品一区二区| 久久久久久性爱视频| 97人人草| 婷婷久久爱| 久久久性爱视频| 五月天色裸体视频| 97人妻碰碰碰久| 91狼友视频在线观看| 久久性爱视频| 一级二级香港秋霞欧美欧美秋霞| 日本婷久久| 久久R激情| 久久九九网| 可以免费看的av网站| 久久久久9| 婷婷香蕉香| 99这里有精品| 六月激情婷婷| 综合久色五月| av国产精品偷| 高清免费在线视频| 五月丁香综合激情| 六月丁香激情| 丁香涩涩五月天| 影音先锋色婷婷| 色亭亭九月| 91色久| 91九色在线视频| 狠狠插狠狠| 婷婷丁香五月亚洲欧美| 久久五月天丁香| 黄桃AV无码免费一区二区三区| 播播网色播播| 99.色| www.主妇. com| 黄久久久| 68热超碰在线| 久久人妻精品| 综合婷婷久久| 久久人妻人人| 国产资源91在线| 91艹人| 99re在线观看| 五月天婷婷伊人| 啪啪操网| AV成人在线网站| 六月色色| 九九热99热| 超碰成人av| 啪啪小说五月天| 开心五月丁香婷婷| xxxx五月| 九九九这里只有精品| 丁香久久五月婷综合| 亚洲av成人一区二区电影在线| 大地资源色婷婷视频在线| 99热这里是精品| 天天射综合网站| 色婷婷综合影院| 久久人妻伊人| www.夜夜.com| 很很干五月天| 第四色婷婷最爱| 五月丁香激情五月天| 亭亭五月丁香综合欧美| 热久久91| 婷婷五月天综合网| 超碰在线观看9| 九九精品99久久久| 伊人久久大香| 激情五月狠狠喔| 色吧99| 国产首页在线| 丁香五月伊人| 1024AV视频| 1024欧美看片| 五月综合激情网| 97色五月丁香婷婷| 婷婷五月天亚洲综合网| 久久综合站| 丁香五月熟女| 精品国产a| 97ai婷婷| 日韩三及成人AV片| 亚洲成人av在线播放| 碰人人操| 99riAV国产精品视频| 99在线视频资源| 九色91美女| 色婷婷六月天| 色综合com| 香蕉久久国产AV一区二区| 99ri视频| 热99精品视频在线观看| 亚洲成色综合网站免费观看| 亚洲第一色色色色| 超碰renrenai| 中文字幕色色| 五月天激情婷婷| 五月天激情图片| 丁香婷婷久久| AV性爱在线| 202丰满熟女妇大| 欧美婷婷丁香社区在线播放| 大香蕉太香蕉视频97| www.99热这里精品| 97碰| 99热这里只有精品在线免费| 无码激情精品色婷婷久久久久| 日本欧美国产| 丁香五月色| www.99热视频| 色99在线| 激情亚洲五月| 老师把我爽高潮了免费A片| 色播播婷婷| 欧美色图45678| 热久久66| 99这里| 色综合99| 日韩少妇内射免费播放| 日韩啪图| 久热成人| 91操操操| 人人爱人人草| 色五月激情五月天| 丰满少妇猛烈A片免费看观看 | pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 亚洲天堂亚洲色色色| 婷婷亚洲在线| 性爱久久| 开心五月激情网| 美女被操一区二区| 婷婷色色丁香五月天| 免费的日逼视频| 色五月婷婷影院| 婷婷综合| 色色五月天 亚洲| 五月丁香激情综合啪啪| 99热欧美在线观看| 五月丁香另类网| AV在线大香蕉| 亚洲精品白浆高清久久久久久| 日韩av在线播放综合网| 99精品久久久久久久婷婷| 五月丁香五月激情综合色综合| 深爱五月激情| 色色婷婷五月| 99热高清在线| 激情五月激情综合俺也去婷婷小说 | 在线伦子99热| 激情丁香五月婷| 五月婷婷之综合激情| 热久精品| 99热精品超碰| 热99热| 99久久精品国产色欲| 亚洲电影在线观看| 涩综合网| 丁香五月天天高清在线| 五月激情六月综合| 国产高潮白浆一区二区| 99热免费网站| 国产乱妇乱子在线播视频播放网站 | 亚洲色图五月丁香| 99九九综合久久九九| 亭亭玉立国色天香| 99久久思思| 久久性爱视频网站| 久久性爱视频| 欧美精品中文字幕亚洲专区| 思思热精品在线| 六月丁香深深爱| 激情九色| 色婷婷成人做爰A片免费看网站| 激情综合色婷婷啪啪六月天| 99精品视频在线6| 久操激情| 啪啪色激情五月天| 五月丁香久久久日婷婷久久婷婷日| 欧美Va婷色| 五月天啪啪网| 久久这里在精品视频| 伊人www22综合色| 色综合久久8| 丁六月激情| 五月婷婷中文字幕| 2020日日干| 九九99一区| 亚洲精品V天堂中文字幕| 成人看片网站| 五月婷婷久久大香蕉| 久久33视频| 久久婷婷五月综合色播| 亚洲超碰在线| 亚洲av网站| 激情综合激情综合| 婷婷色资源| www,五月丁,com| 久久99综合| 大香蕉AV在线| 大香蕉五月丁香| 久久9热| 丁香六月成人| 五月丁香婷婷激情视频| 亚洲99综合| 夜丁香五月婷婷| 三级av在线| 五月丁香综合伦理片| 五月丁香狠狠爱| 激情五月天婷婷图| 九九黄色网| 综合色五月| 99综合自拍| 色色九九五月天 | 天天操夜夜玩!| 国产精自产拍久久久久久蜜| 色八月婷婷| 开心五月婷婷| 五月天天天综合| 国产激情视频在线观看| 嫩草AV久久伊人妇女超级A| www.色婷婷| 日本一级一级一级一级| 国产亚洲色婷婷久久99精品91| 色五婷婷| 婷婷性爱网| 五月丁香操婷逼| 91超碰九色| 狠狠综合网| 五月丁香婷婷六月| 思思热国产视频| 欧美99热| 综合xx网| 日本黄色一级| 丁香九月婷婷色| AV操一操| 婷婷激情图片| 中文字幕成| 99久久久免费| 人人干人人干骚美女| 婷婷亚洲综合| 3p日韩网站视频| 婷婷在线网| 99性爱视频网站| 9久久久| 香蕉综合在线| 激情网五夜婷婷| 成人无码精品1区2区3区免费看| 久色五月婷婷综合| 色色色色色日韩午夜激情| 亚洲综合五月天| 五月婷婷与六月丁香图片激情| 青草五月天| 五月在在观看| 亚洲99精品九九在线| 97色色综合| 美女网黄| 天天操夜夜操| 操射国产日本| 五月丁香综合成人社区| 五月激情视频| 激情五月天之六月婷婷| 天天操天天插天天射| 激情五月婷黄版| 五月份婷婷| 色婷婷成人色网| 六月激情网| 熟女色专区| 色欲AVV| 干一干xxxx| 狠狠艹狠狠艹| 九九精品视频在线6| 久99久99精品免| 丁香五月成人网| 一级A片天天操夜夜操| 亚州综合色| 五月丁香啪| 亚洲成人噜噜| 亚洲另类电影| 夜夜嗨一区二区三区直播内容| 日日干天天| 久热这里只有精品在线观看| 五月婷婷婷色| 丁香婷婷久久| 婷婷五月激情在线| 久热 91| 婷婷五月综合国产精品| 婷婷色在线播放| 婷婷五月天,影院| 91婷婷在线观看| 国产精品涩涩涩视频网站| 六月综合在线| 五月婷婷免费在线| 超级久久久| 成片免费播放| 久久久久久久人妻| 久草五月天电影网| 欧美精产国品一二三区|