99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Redis三件套實戰(zhàn):redis-cli、hiredis與redis-benchmark完全指南

Redis三件套實戰(zhàn):redis-cli、hiredis與redis-benchmark完全指南 1. 開篇Redis三件套到底指的是哪三樣如果你跟Redis打交道超過一周遲早會在各種文檔、招聘要求、生產事故復盤里撞見這三個名字redis-cli、hiredis 和 redis-benchmark。它們偶爾被混為一談但實際上分工完全不同。redis-cli是Redis官方自帶的命令行客戶端一堆運維命令和日常調試都靠它hiredis是C語言的客戶端庫凡是需要在自己的程序里操作Redis的C/C開發(fā)者基本繞不開它redis-benchmark則是跟Redis一起發(fā)布的壓測工具想搞清楚你的Redis到底能扛多少并發(fā)它是最省事的選擇。這三樣東西放在一起恰好覆蓋了Redis使用場景里最核心的三個維度第一人直接操作Redis也就是調試、排查、管理第二程序操作Redis也就是業(yè)務代碼里的數據讀寫第三Redis本身的能力邊界也就是在沒有業(yè)務邏輯干擾下的極限性能。一個后端工程師如果能把這三樣東西吃透那Redis的日常使用基本不會有什么大坑了。這篇文章我會把自己實際用下來的經驗寫清楚包括命令細節(jié)、C客戶端接入的常見坑、壓測參數怎么解讀以及現在網上特別熱的“redis-cli flushall”這個危險命令的前因后果。適合誰看呢如果你是剛接觸Redis的運維或后端開發(fā)這篇文章能幫你把工具鏈路串起來少走不少彎路如果你已經在生產環(huán)境里用了Redis那中間那些關于hiredis超時設置、benchmark結果誤讀、flushall誤操作的內容應該也能讓你有點收獲。我不打算照著官方文檔復讀一遍那些你隨時能查我這里只講折騰過之后才明白的事情。2. 三者定位與選型邏輯先搞清楚誰負責哪一層2.1 一條Redis請求的完整生命周期在聊工具之前我們得先想清楚一個最基本的問題一條數據是怎么從你的業(yè)務程序里跑到Redis服務器的簡單說就是TCP連接、發(fā)命令、收響應這三步。但工具不一樣它們的關注點差很多。redis-cli站在人的角度幫你把命令拼成RESP協議格式發(fā)送出去再把返回結果顯示在終端上。你輸入GET foo它負責的是把這個命令變成Redis服務器能解析的字節(jié)流。這個過程里你不需要考慮序列化、連接池、重連這些cli全都默默處理了。它的價值在于交互性一條命令敲下去馬上看到結果出了問題也能立刻復現驗證。hiredis是站在C程序的角度。它是一套庫你編譯鏈接它之后可以在自己的代碼里調用redisCommand這類API來和Redis通信。這個時候核心矛盾就不是“人能不能看懂輸出”而是“程序能不能穩(wěn)定高效地跑”。hiredis要處理連接管理、命令拼接、緩沖區(qū)讀寫、響應解析、錯誤處理這些事情在cli里看不見但在庫的使用中全得面對。為什么很多公司把hiredis稱為Redis客戶端的事實標準因為它夠底層、夠穩(wěn)定、夠簡單沒有花里胡哨的框架邏輯一個文件就能集成進去。redis-benchmark有點特殊它不是客戶端而是“壓測負載生成器”。它用最簡單的模型不斷往Redis發(fā)命令統(tǒng)計每秒能完成多少次請求以及延遲分布。它的價值在于基準測試衡量的是Redis服務器本身在不同命令、不同數據大小、不同并發(fā)下的表現。注意它衡量的不是你的業(yè)務程序寫得好不好而是Redis這顆“發(fā)動機”在理想工況下能輸出多少馬力。2.2 日常使用里的場景取舍我在實際工作中見過不少把這三者混為一談的情況。比如有人寫業(yè)務代碼時為了圖省事直接system調redis-cli去執(zhí)行命令這在大促鏈路里就是定時炸彈進程fork、網絡連接反復建立性能損耗遠高于直接用hiredis這類庫也有人拿redis-benchmark的測試結果去估算生產環(huán)境的容量這也是誤區(qū)因為生產環(huán)境有業(yè)務邏輯、網絡抖動、慢查詢、大Key等各種干擾因素benchmark只能作為上限參考。選型邏輯其實一句話就能講清楚你需要交互式排查用redis-cli你的程序要連Redis用hiredis或者你所在語言對應的官方客戶端你想知道Redis的硬件資源能支撐多高并發(fā)用redis-benchmark。三個工具之間不是替代關系而是互補關系。新手最容易犯的錯就是把它們放在同一個維度里比較然后問“哪個更好”實際答案是“哪個更合適你現在要做的事”。3. redis-cli實戰(zhàn)細節(jié)不只是敲命令的工具3.1 連接方式與常用參數很多人用redis-cli就是redis-cli回車連本機的默認端口6379再輸入命令。但這遠遠不夠。生產環(huán)境里Redis往往有密碼、在不同機器上、甚至有多個實例如果只會默認連接那基本寸步難行。我常用的連接寫法是這樣的redis-cli -h 10.0.1.5 -p 6380 -a 你的密碼 --no-auth-warning這里有個細節(jié)容易坑到新手-a參數直接帶密碼的話服務器日志和shell歷史里會留下痕跡所以一般建議用環(huán)境變量REDISCLI_AUTH來傳密碼命令長這樣export REDISCLI_AUTH你的密碼 redis-cli -h 10.0.1.5 -p 6380另外如果Redis實例數量多我強烈建議在配置文件或者啟動腳本里把這些默認值固化下來。用--connect-timeout控制連接超時--tls開啟TLS加密連接--sni指定SNI這些參數在高安全要求的環(huán)境里都用得上。實操中還有個很實用的用法就是不進入交互模式直接執(zhí)行單條命令后返回結果這在shell腳本里非常好用redis-cli -h 10.0.1.5 -p 6380 GET user:123:name配合管道符還可以批量處理比如把一堆key從文件里讀出來挨個查詢cat keys.txt | xargs -I{} redis-cli -h 10.0.1.5 -p 6380 GET {}這會一個key建立一次連接效率不高但勝在簡單直觀。如果key數量大我更推薦用--pipe模式批量導入命令那個后面單獨說。3.2 排查慢查詢和熱Key的實用命令說實話日常排查Redis性能問題用redis-cli的幾個內置命令能解決大部分問題。首推的是SLOWLOG命令它負責查看Redis執(zhí)行的慢查詢記錄。Redis的慢查詢標準是執(zhí)行時間超過某個閾值默認是10毫秒可以通過配置slowlog-log-lower-than調整。實際排查時我會這樣操作redis-cli slowlog get 10這條命令取最近10條慢查詢記錄能看到執(zhí)行時間戳、耗時、執(zhí)行的命令。當年查線上問題時用slowlog get一眼就看出來有個SMEMBERS操作掃了百萬級別的集合耗時1.2秒直接把那個key拖垮了。另一個排查熱Key的思路是--hotkeys不過要注意這個功能需要Redis 4.0及以上版本并且需要打開object-max-scan相關配置運行后它會掃內存找出訪問頻率最高的keyredis-cli --hotkeys輸出里會顯示每個key的訪問頻次、占用內存等信息做緩存熱點分析時相當直觀。不過注意這命令會掃描整個key空間生產環(huán)境用的時候要挑業(yè)務低峰期。還有個排查集群狀態(tài)的命令組合redis-cli --cluster check能檢查集群健康度redis-cli --cluster info能看到槽位分配情況。哪怕是單機環(huán)境redis-cli info memory、redis-cli info stats這些都值得養(yǎng)成習慣畢竟定位問題最快的路徑往往是從基本信息開始的。3.3 --pipe批量導入的正確姿勢如果你要往Redis里塞大量數據一條條SET太慢for循環(huán)也是淚。官方其實給了一個效率很高的方式--pipe參數。它的原理是客戶端把命令按RESP協議格式組裝好一次性發(fā)給Redis服務端服務端再批量執(zhí)行。我實測過千級、萬級的key用這種方式導入速度比逐條命令快一個數量級以上。構建數據格式是個小門檻。注意這里不是簡單的換行分隔而是RESP協議格式。比如要設置一個字符串key對應的數據文件要寫成這樣*3\r\n$3\r\nSET\r\n$3\r\nfoo\r\n$3\r\nbar\r\n人肉寫這個格式容易瘋所以我一般用腳本生成。比如用Pythonimport sys def build_resp_command(*args): parts [f*{len(args)}\r\n] for arg in args: arg_bytes arg.encode(utf-8) parts.append(f${len(arg_bytes)}\r\n) parts.append(arg.decode(utf-8)) parts.append(\r\n) return .join(parts).encode(utf-8) with open(data.txt, wb) as f: for i in range(10000): cmd build_resp_command(SET, fbatch:key:{i}, fvalue-{i}) f.write(cmd)生成后用redis-cli --pipe data.txt導入。注意--pipe模式下如果數據量大會占較多內存因為客戶端要構建完整的輸出緩沖區(qū)。導入完成后命令行的反饋里會顯示導入的數據量、錯誤數、耗時反正我每次看到那個數字都比一條條set快好幾倍心情還是不錯的。3.4 千萬別手滑redis-cli flushall與誤刪數據的保護說道redis-cli我必須專門開一個小節(jié)來講“redis-cli flushall”這件事因為網上相關的討論熱度一直不減身邊也確實有人因此吃過虧。FLUSHALL這個命令的作用是清空當前Redis實例里的所有數據還有個FLUSHDB是清空當前選中的數據庫。開發(fā)環(huán)境里隨便用無所謂但生產環(huán)境一旦執(zhí)行數據瞬間就沒了如果沒開AOF重寫或RDB快照恢復成本能讓人崩潰。為什么隨手敲了FLUSHALL會“誤執(zhí)行”我分析下來主要原因有兩個一是redis-cli默認不會二次確認二是很多人的備份策略不完善。Redis官方其實早就考慮過這個場景從4.0開始你可以在配置文件里開啟rename-command把FLUSHALL重命名成一個別人猜不到的名字比如rename-command FLUSHALL admin_flushall_2024這樣即使別人連上你的Redis敲FLUSHALL也會收到未知命令的錯誤。但說實話這招防君子不防小人真正接入生產系統(tǒng)的程序如果寫了FLUSHALL重命名后它會直接報錯反而暴露了代碼問題。我的建議是生產環(huán)境把下面的保護措施做成標配開啟AOF持久化并配置appendfsync everysec這樣最多丟1秒數據用SAVE或BGSAVE定期做RDB快照備份文件備份到異地禁止應用賬號使用CONFIG SET和FLUSHALL用rename-command把這些高危命令換掉使用Redis 6.0及以后版本中的ACL功能為業(yè)務賬號分配最小權限。再補充一句很多人有個誤解以為FLUSHALL之后馬上用SHUTDOWN NOSAVE可以避免數據落盤從而防止數據被清掉。實際情況恰恰相反如果你開了RDB執(zhí)行FLUSHALL之后再做SHUTDOWN SAVE或自動快照清空后的狀態(tài)反而會被寫進快照文件里恢復出來的還是一個空庫。所以一旦發(fā)生誤操作正確順序是第一時間斷開應用連接檢查有沒有AOF重寫進程或者RDB快照進程正在跑能停就停然后從最近的備份做恢復。這些操作要提前演練過等事故真發(fā)生了再翻文檔那心態(tài)完全不一樣。4. hiredis接入指南C程序里操作Redis的硬碰硬體驗4.1 初始化與連接池基本套路hiredis的安裝方式很直接從GitHub拉源碼或者通過系統(tǒng)的包管理器安裝。在Linux上包名一般是libhiredis-dev裝好后會有/usr/include/hiredis/hiredis.h和libhiredis.so這樣的文件。代碼里最基本的連接方式是這樣#include hiredis/hiredis.h redisContext *ctx redisConnect(127.0.0.1, 6379); if (ctx NULL || ctx-err) { if (ctx) { printf(連接錯誤: %s\n, ctx-errstr); redisFree(ctx); } else { printf(無法分配redisContext\n); } return -1; } redisFree(ctx);很多開發(fā)者第一次寫完這段代碼都會問一個問題為什么每次操作Redis都要重復創(chuàng)建連接如果你只是寫個一次性腳本無所謂但在高并發(fā)服務里每次都重新建立TCP連接的開銷非常大。正確的做法是維護一個連接池把redisContext對象復用起來或者用redisConnectWithTimeout加超時防止連接卡死struct timeval timeout {1, 500000}; // 1.5秒 redisContext *ctx redisConnectWithTimeout(127.0.0.1, 6379, timeout);4.2 命令執(zhí)行與結果解析的幾種寫法hiredis里最常用的命令函數是redisCommand和redisCommandArgv。前者把命令格式化成字符串后發(fā)送后者用參數數組方式避免拼接注入風險。直接看一眼代碼redisReply *reply; reply redisCommand(ctx, SET %s %s, name, 張三); if (reply NULL) { printf(命令執(zhí)行失敗\n); return -1; } if (reply-type REDIS_REPLY_ERROR) { printf(命令錯誤: %s\n, reply-str); freeReplyObject(reply); return -1; } printf(結果類型: %d\n, reply-type); if (reply-type REDIS_REPLY_STRING) { printf(值: %s\n, reply-str); } freeReplyObject(reply);這里有個細節(jié)值得注意redisReply對象的類型有很多種常見的包括REDIS_REPLY_STRING、REDIS_REPLY_ARRAY、REDIS_REPLY_INTEGER、REDIS_REPLY_NIL、REDIS_REPLY_STATUS、REDIS_REPLY_ERROR。每種類型對應的解析方式完全不同。新手最容易踩的坑是把REDIS_REPLY_INTEGER當成字符串解析打印出來全是奇怪的數字或者反過來拿字符串去當數字做運算直接段錯誤。一定要養(yǎng)成先檢查type再決定怎么讀內容的習慣。在非阻塞模式下處理方法是完全不同的。hiredis為異步場景提供了事件驅動APIredisAsyncContext配合redisAsyncCommand注冊回調函數。你的程序在發(fā)出命令后不等結果繼續(xù)處理其他事情Redis返回的數據到了之后事件循環(huán)觸發(fā)回調。這個方式在單線程高性能網絡服務里很有優(yōu)勢但代碼復雜度也上來了。我在自己的工具里用的比較多的是同步模式異步模式一般配合libevent或libuv使用。redisAsyncContext *actx redisAsyncConnect(127.0.0.1, 6379); if (actx-err) { printf(異步連接失敗: %s\n, actx-errstr); return -1; } redisAsyncCommand(actx, callback, SET key value);回調函數里處理redisReply指針記得在回調里用完調用freeReplyObject釋放內存不然內存泄漏得悄無聲息。4.3 超時、重連與內存管理的坑hiredis最被詬病的一點是它不太管“重連”這件事。連接斷了就是斷了它不會自動幫你恢復你需要自己用redisReconnect或者重新redisConnect。我在日志系統(tǒng)里接入Redis時第一版代碼就漏了重連判斷結果Redis實例一重啟日志全丟了排查半天才發(fā)現連接已經是死連接傻傻往里寫。后來養(yǎng)成了習慣每次命令執(zhí)行前檢查ctx-err出錯就嘗試重連。另一個高頻問題是內存管理。我記得redisReply必須用freeReplyObject釋放這是hiredis最基礎的內存紀律。多線程環(huán)境下線程安全同樣要小心同一個redisContext不能被多個線程同時使用每個線程要么建獨立連接要么加鎖。因為hiredis內部緩沖區(qū)不是線程安全的并發(fā)讀寫輕則數據錯亂重則崩潰。命令拼接的安全問題我在這里額外強調一下。用redisCommand(ctx, SET %s, user_input)這種寫法如果user_input里帶了引號或者特殊字符很可能被解析成多個參數甚至導致命令注入。雖然Redis沒有SQL那種強結構注入但安全風格還是要小心。更推薦的寫法是redisCommandArgv它接受參數數組不會把輸入當命令去解析char *argv[] {SET, user:name, 張三}; size_t argvlen[] {3, 9, 6}; redisReply *reply redisCommandArgv(ctx, 3, argv, argvlen);實際編碼時用redisCommand做調試很方便但正式上線代碼我一般全部改成redisCommandArgv省心很多。5. redis-benchmark壓測指南讀懂數字背后的門道5.1 壓測參數的正確打開方式redis-benchmark作為Redis自帶的壓測工具用起來其實很簡單但看懂輸出一點都不簡單。直接跑redis-benchmark -h 127.0.0.1 -p 6379它會用50個并發(fā)客戶端發(fā)100000個請求默認使用PING_INLINE、SET、GET等若干命令進行測試。輸出結果類似下面這樣 SET 100000 requests completed in 1.20 seconds 50 parallel clients 3 bytes payload keep alive: 1 99.57% 1 milliseconds 100.00% 1 milliseconds 83333.33 requests per second我見過不少人一看到83333 requests per second就開始拿這個數字去估算生產容量這是特別危險的。這個數字是極限理想值它沒有經過業(yè)務邏輯、沒有限制連接數、沒有磁盤持久化競爭更不能代表真實線上表現。壓測前有幾個參數值得重點關注我先列出來-n請求總數越大越穩(wěn)定建議至少十萬級。-c并發(fā)連接數模擬同時活動的客戶端數量。-P管道批處理數量用管道時客戶端可以一次性發(fā)送多個請求吞吐會大幅度提升。-d數據大小默認3字節(jié)壓測大Key需要改大這個值。-t只壓測指定命令比如-t SET,GET。-r隨機key范圍避免所有請求都落在同一個key上。-q安靜模式只輸出最終結果。比如你想模擬100個客戶端并發(fā)寫10萬次、數據大小128字節(jié)、key隨機分布在100萬個里命令就可以寫成redis-benchmark -h 127.0.0.1 -p 6379 -t SET -n 100000 -c 100 -d 128 -r 1000000 -q5.2 延遲分布與百分位的解讀很多人只看requests per second這一行忽略了延遲百分位信息。Redis的延遲分布能暴露許多吞吐量掩蓋的問題比如99%的請求都在1毫秒內完成但99.9%的請求突然跳到50毫秒這中間往往有阻塞點可能是慢查詢、網絡抖動、或者Redis后臺的RDB快照在fork時引發(fā)的短暫暫停。壓測輸出里的百分位數據非常重要我一般會關注這幾個值1 milliseconds的占比、10 milliseconds的占比、最大響應時間。如果你發(fā)現尾部延遲很高就需要用--latency參數做更細的統(tǒng)計它會輸出平均延遲、最大延遲和標準差。用--csv參數還能把結果導出成CSV方便做多次測試對比redis-benchmark -h 127.0.0.1 -p 6379 -t GET -n 100000 -c 100 --csv result1.csv在生產環(huán)境做基準測試時最好在Redis服務器上用INFO命令把當時的內存、連接數、命中率、持久化狀態(tài)都記錄下來。這樣后續(xù)再比對壓測數據才能準確歸因。純壓一次不記上下文等于白測。5.3 常見誤區(qū)把benchmark結果當承諾這里我專門辟幾個謠這些全是我見過或踩過的坑。第一個誤區(qū)壓測數字高就代表機器好。不一定。同樣是這臺機器如果壓測時用了管道-P 16吞吐量會大幅上漲甚至翻幾倍但這并不能直接體現在你的業(yè)務里因為業(yè)務程序不可能每時每刻都靠管道把請求攢起來發(fā)。第二個誤區(qū)并發(fā)數越大越好。實際壓測時你會發(fā)現一個規(guī)律并發(fā)數從50提升到500吞吐量一開始上漲隨后會趨于平緩甚至下降。原因是CPU核心數有限一旦處理能力飽和更多并發(fā)只會增加隊列等待和上下文切換開銷。要找準這個拐點就多跑幾組不同并發(fā)數對比比如-c 50、-c 200、-c 500記錄各自的QPS和延遲分布。第三個誤區(qū)壓測命令太單一。生產環(huán)境里有讀有寫有大Key小Key有TTL過期甚至還有LREM、ZADD這類復雜操作。只測GET/SET得出來的結論放到真實場景里基本不可用。想壓測復雜命令可以用-t指定命令比如redis-benchmark -h 127.0.0.1 -p 6379 -t LPUSH,LRANGE -n 50000 -c 100 -r 100000這里LPUSH模擬寫入LRANGE模擬讀列表。把多種命令混合起來才能模擬出比較接近業(yè)務的請求模型。5.4 基準測試的進階用法與擴展方案其實redis-benchmark的定位是“快速驗證用的標準負載發(fā)生器”如果壓測要求更高比如需要自定義腳本模擬業(yè)務邏輯、控制請求的發(fā)送間隔那更合適的方式是用memtier_benchmark這類工具或者直接自己寫壓測腳本。個人實踐中我一般先用redis-benchmark做一輪粗測快速判斷Redis實例有沒有明顯的性能瓶頸比如是不是到了網絡帶寬極限、CPU是不是已經打滿然后如果有必要再編排更復雜的壓測場景。比較推薦的做法是在保持-n請求總量不變的前提下做幾組對照實驗。比如一組是數據大小32字節(jié)一組是1024字節(jié)一組是10KB。Redis的吞吐量會隨數據大小明顯變化這條曲線對你的容量規(guī)劃非常有參考價值。Redis官方還提供了一個調試利器--bigkeys它能掃描Key空間里占用內存最大的key在壓測過程中能發(fā)現是否有大Key拖慢了其他命令。這個配合redis-benchmark使用往往能找到性能問題的根源。簡單說benchmark只是告訴你“多快”而--bigkeys告訴你“為什么沒想象中的快”。6. 守護Redis實例安全指南與日常體檢清單6.1 ACL權限與高危命令治理Redis 6.0之后ACLAccess Control List成為標配。用redis-cli管理ACL非常方便可以為不同程序、不同人員分配不同權限。比如給業(yè)務程序賬號只授權基本讀寫命令不授權FLUSHALL、CONFIG、SHUTDOWN這類高危命令redis-cli ACL SETUSER app_user on 密碼 ~app:* read write -admin這里read write -admin的意思是允許讀取和寫入類命令禁止admin類別命令。~app:*是key模式表示只能訪問以app:開頭的key。這套ACL權限下來就算應用被入侵能造成的最大危害也被限制在app前綴的key里不能翻看全庫的數據。6.2 日常體檢這些信息你多久沒看了我在每周的巡檢里會固定跑幾條redis-cli命令用來判斷Redis的運行狀態(tài)是否健康redis-cli info memory查看used_memory、used_memory_rss、mem_fragmentation_ratio內存碎片率如果長期大于1.5說明內存碎片嚴重可能需要重啟實例或調整jemalloc配置。redis-cli info persistence確認rdb_last_bgsave_status和aof_last_bgrewrite_status是否都是ok一旦出現失敗磁盤IO可能存在瓶頸。redis-cli info stats看total_commands_processed、expired_keys、evicted_keys等指標。突然飆升的evicted_keys說明內存壓力大可能導致緩存雪崩。redis-cli info clients確認connected_clients是否合理有沒有積壓連接。redis-cli info cpu看used_cpu_sys和used_cpu_user如果CPU長期跑滿就需要考慮集群擴容了。不建議每次都敲一長串命令可以把它們寫進一個腳本定時執(zhí)行把輸出拉到一個監(jiān)控系統(tǒng)里去。沒有監(jiān)控的Redis等于蒙著眼睛開車出事是必然的只是時間問題。6.3 誤操作后的恢復流程復盤接前面第3.4節(jié)我再詳細展開一次誤執(zhí)行FLUSHALL后的恢復流程。這個場景我是真真實實在測試環(huán)境里演過的也見過同行分享生產事故復盤。整個流程按時間線分三步第一步凍結。一旦發(fā)現誤操作先別急著重啟Redis。用redis-cli shutdown nosave關閉實例避免后續(xù)的自動快照把清空后的狀態(tài)持久化覆蓋掉最后一份RDB文件。如果你的Redis開啟了AOF關閉過程會觸發(fā)AOF重寫嗎這部分不同版本有差異建議先把Redis停了再檢查磁盤上的AOF文件大小和時間戳。第二步檢查備份。找出最近的RDB文件或AOF文件。注意RDB文件的生成時間非常重要如果在FLUSHALL之前幾分鐘剛剛生成過那是最理想的如果你只開AOF恢復時用redis-check-aof先校驗一下文件完整性再讓Redis加載。用合適的備份文件覆蓋掉本地的dump.rdb和appendonly.aof再啟動Redis實例。第三步回放增量操作。AOF文件里如果有FLUSHALL命令本身恢復時會再次執(zhí)行一遍又把庫清空。所以在啟動之前要手動編輯AOF文件把FLUSHALL、FLUSHDB這樣的高危命令行刪除。用編輯器處理AOF文件時要格外小心必須保留RESP協議的格式刪完再用redis-check-aof驗證一下。如果數據量巨大可以選用Redis 6.2版本以上提供的MODULE或者更自動化的恢復腳本但核心思路還是那兩個字快、準。經過這個流程我最大的體會是與其每次祈禱不要手滑不如提前把權限、備份、重命名高危命令這些事做成自動化。Redis本身是一個極其可靠的工具出事故的從來不是它自己而是用的人。7. 三件套協同工作的一個實戰(zhàn)案例講了這么多概念不如串起來看一個真實案例。假設我有個活動服務用Redis做用戶維度的計數和排行榜一天要處理千萬級請求。為了保證穩(wěn)定我想知道當前這臺機器上的Redis能不能扛住明天的活動峰值。這個場景里三件套是怎么配合的首先我用redis-cli查看當前實例的負載情況內存占用、連接數、慢查詢、命中率。結果發(fā)現used_memory_rss偏高說明內存碎片需要關注同時connected_clients只有40個遠低于預期慢查詢里經常出現ZRANGEBYSCORE對大key的操作這提示排行榜可能需要分片了。然后我用redis-benchmark按業(yè)務比例做壓力摸底參數上模擬活動的兩個主要動作寫計數INCR和讀排行榜ZREVRANGE。命令大概是redis-benchmark -h 127.0.0.1 -p 6379 -t INCR,ZREVRANGE -n 200000 -c 200 -r 1000000 -d 64 -P 2 -q跑完發(fā)現INCR的QPS大約8萬ZREVRANGE因為key長度和數據量的影響只有2萬多差距明顯。這提示如果活動高峰里讀排行占比很高需要給Redis加緩存或者做讀寫分離否則扛不住。最后我需要確認自己寫的C程序接的hiredis連接池參數是否合理。于是我在壓測的同時跑了一個接入hiredis的模擬程序連續(xù)發(fā)起INCR請求。結果發(fā)現hiredis側的最大延遲比redis-benchmark報出來的高了近3倍。排查后定位是因為連接池只開了10個連接在200并發(fā)需求面前嚴重排隊。調大連接池到50后延遲立即掉下來了。整個過程把三件套從運維排查、性能摸底、代碼接入三個角度串聯了起來。沒有redis-cli我很難快速定位到已有的大Key問題沒有redis-benchmark我拿不出量化參數做容量評估沒有hiredis的實戰(zhàn)驗證我只能停留在工具層面根本沒能發(fā)現連接池造成的性能瓶頸。這三樣東西在真實運維和開發(fā)場景里缺一不可。8. 收尾我在實操中的一點體會最后說點個人的經驗吧。用Redis這么多年redis-cli、hiredis 和 redis-benchmark這三樣其實不只是一個工具鏈更像是一面鏡子照出你對Redis整體的理解程度。很多人覺得redis-cli太簡單實際上--pipe、--bigkeys、--hotkeys這些高級用法才是效率分水嶺很多人覺得hiredis只是C語言的API封裝實際上連接池、超時、重連、內存管理這些你想躲都躲不掉很多人拿benchmark跑個分就完事實際上延遲百分位、key大小、并發(fā)數、命令混合度這些變量才是壓測里真正有價值的信息。我自己的習慣是每接手一個新的Redis環(huán)境第一件事就是先跑一輪redis-cli的信息收集和慢查詢檢查再跑一輪benchmark做基線記錄最后再檢查程序接入層用的客戶端庫hiredis或者其他語言等價物的連接參數配置。這套流程走下來大部分風險點基本都能提前暴露出來。至少到目前為止我還沒在Redis上出過特別丟臉的生產事故提前做功課的功勞占一大半。數據無價操作有風險。希望大家在享受Redis高性能的同時也保持一份敬畏心多花十分鐘做權限治理和備份演練這比任何事后補救都值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天干天天爽天天操| 99免费在线视频| 在线成人网站| 影音先锋一区| 五月天久久综合| 婷婷香五月综合激情| 六月婷婷综合| 色婷婷五月天小说网| 国产真人做爰视频免费| 婷婷五月 丁香六月| 超碰在线成人| 五月综合在线婷婷图片| 欧美婷婷综合网| 99国产小视频2013| 国产午夜精品一区二区三区四区| 久久这里都是精品视频| 色九九丁香九月色九九色| 96丁香六月婷婷蜜桃综合久久| 色五月视频无码播放| 91伦| 激情综合网址| er99免费视频在线| 深爱五月中文字幕| 韩日在线熟女| 久婷婷久草| 色婷婷久综合久久一本国产AV| 激情淫乱男女| 久久婷婷一级片| 婷婷五月天狠狠搞干| 精品在线| 婷婷五月天最新综合你懂的 | 国产美女无遮挡裸体毛片A片| 亚洲激情五月| 亚洲国产网址| 五月色网| 深爱激情五月天| 免费色色色| 国外亚洲成AV人片在线观看| 婷婷情色五月天| 丁香五月天婷婷在线视频| YW无码| 五月丁香综合激情| 亚洲妇女熟BBW| A网在线欧洲| 丁香婷婷婷五月综合色情| www.五月婷婷| 五月婷婷婷丁香播| 五月丁香琪琪| 色婷婷五月天偷拍| 丁香五月自拍| 激情婷婷五月天网址| 婷婷香五月天| 碰碰女| 亚洲AV色婷婷人禽五月天| 五月丁香在线精品| 婷婷五月中文在线视频| 狠狠色婷婷7| 欧美色色色色色| 日本99在线视频| 色五婷婷开心缴| 激情久久四色| 九九亚洲小视频| 五月色丁香| 综合色、色综合| 六月香五月婷| 色欲婷婷夜夜| 噜噜噜噜在线| 高清无码中文字幕aVDV| 久色视频在线| 五月激情婷婷开心| 可以免费看AV网站| 伊人在线婷婷草| 婷婷色五月激情强奸四射| 精品久久穴| 久久久久久人妻| 五月丁香婷婷综合| 婷婷综合网站| 五月丁香六月婷婷啪啪| 一本到不卡高清DVD| 日本色99网站| 日本天堂久久| 国产在线自| g00d人体西西| 狠狠色噜噜狠狠狠狠综合| 色婷婷五月天激情在线观看| 欧美25p| 五月天色五月| 亚洲午夜成人av电影网| 五月婷婷性爱网| 丁香五月天婷婷大香蕉| 色天堂A| Av免费网站在线| 成人va在线| 99re青青草| 国产精品99久久久久久猫咪| 极品人妻videosss人妻| 成人 视频免费观看网站| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 欧美成人精品A片免费一区99| 九九热婷婷| 天天操夜夜肏| 噜噜干日本| 色婷婷在线影院| 丁香综合婷婷开心激情网| 色五月婷婷五月天激情综合| 丁香色六月婷婷| 99久久成人| 91人人网| 六月综合婷婷开心伊人| 五月婷婷激清网| 96丁香六月婷婷蜜桃综合久久| 婷婷六月丁香欧美视频在线| 九色自拍| 精品动漫 无码av| 欧美内射AA| 久久最新色色色| 九色色| 国产激情久久久| 五月丁香六月激情| 99久在线| 淫荡综合网| 99热最新| 超碰免费人妻| 中文字幕在线日亚洲9| 天天久久狠狠色综合| www激情网| 久99视频在线观看| 99操逼视频| 99精品视频网站| 欧美大片免费播放器| 操人妻AV| 开心五月丁香综合久久| 色欲午夜无码久久久久久张津瑜| 五月丁香六月婷婷啪啪| 丁香婷婷久久| 99色在线| 丁香五月综合久久八| 日婷婷久久开心| 俺去也五月| 六月婷婷av| 色五月婷婷小说亚洲中文字幕组| 天天综合色| 影音先锋毛片网站| 久久三级视频| 婷婷综合玖玖五月| av婷婷丁香 六月| 波多野结衣AV无码Porn| 在线五月婷| 免费啪啪亚州视频| 另类A片| 激情综合婷婷久久| 日本啪啪网| 国产九九一区二区三区| www.丁香五月| 久久无意婷婷| 久久在线大香蕉| 午夜激情久久| 96精品久久久久久久久| 丁香色情五月天| 久久久网站| 99久在线精品99re8| 97狠狠色| 婷婷综合精品| 色婷婷激情| 欧美激情综合| 日韩AV大全| 97干在线免费| 激情五月天开心| 日本久久9| 五月婷婷导航| 亚洲综合网激情小说| 在线日韩视频| 六月丁香成人| 久久婷婷青青| 丁香五月婷婷色情综合| 婷婷美女精品视频| 五月丁香综合中文| 亚洲精品字幕在线观看| 五月天综合| 秋霞午夜理论| 99这里只有精品| 九月婷婷综合八月丁香在线观看| 91丁香婷婷综合久久欧美| 久久五月天大美女| 91狼友视频在线观看| 色J香五月天| 色婷婷情片| 丁香五月另类色婷婷麻豆| 五月天婷婷久久| 99久久网站| 亚洲色夜| 99综合在线| 婷婷丁香五月亚洲欧美| 91碰操| 九九大香视频| 婷婷伊人綜合中文字幕| 欧洲亚洲欧洲99久久| 国产99久久久国产精品免费看| 综合色色婷婷| 色色丁香| 久久宗合影| 五月丁香综合激情| www.五月天婷婷| 欧美碰碰| 极品少妇XXXX精品少妇偷拍| 五月天婷婷操逼视频| 精a品a视a频| 亚洲色图五月丁香五月婷婷| 亚洲激情综合| 思思99久久| 精品福利911| 非洲一级AV| ..真实国产乱子伦对白在线_欧 | 97碰 在线视频观看| 亚洲欧美婷婷五月色综合| 丁香婷婷激情五月| 亚洲VA欧美VA| 夜夜谢天天干| 欧美五月丁香在线观看| aⅤ79成人片| 日本eVa一区=区视频| 思思热99er在线视频| 久久婷婷亚洲| 五月天激情综合| 五月天成人在线视频丁香| 激情久久丁香| 91精品综合久久久久久五月天| 五月激情站| 日韩九九| 激情五月天婷婷视频| 香蕉综合在线| 91人人爽狠狠狠| 99久久婷婷国产综合亚洲| 日本色婷婷| 色婷婷免费视频| 开心色五月天久久久久久久| 婷婷五月激情视频| 丁香五月天啪啪激情综和网| 五月婷婷碰碰| 亚洲日韩成人三级av| 精品人人操| 色婷婷的五月天| Jh7Uf088VHafNm| 成人精品一区二区三区四区五区| 色就是色婷婷五月亚洲激情| 97操碰在线视频| 一级AV片| 亚洲第一成人AV| 色婷婷成人做爰A片免费看网站| 婷婷久久网| 91啪啪网| 亚洲碰碰碰| 开心激情网在线| 九九色影院| www.色婷婷.com| 国产精产国品一二三在观看| 国产又粗又大又爽又黄| 狠狠色噜噜狠| 九久九精品| 色婷婷在线电影| 婷婷婷狠狠| 少妇大叫太大太粗太爽了A片| 中文激情网| 精品久久9| 五月婷婷丁香六月| 激情亚洲网| 91操熟女| 丁香激情网| 五月丁香六月激情| 色婷婷av综合网| 中文婷婷狠狠| 99riAV国产精品视频| 国内久久亭亭| 天天色月| 好好干av| 国产精品视频| 伊人五月天| 婷婷五月花| 五月婷婷玖玖综合玖玖爱| 激情五月婷婷色综合| 婷婷五月综合丁香久久| 色狠狠色综合久久久绯色AⅤ影视| 99丁香五月婷| 婷婷黄色五月天在线视频| 婷婷六月网| 武汉美女啪啪视频免费一级片| www.成人婷婷综合| 玖玖综合色| 深爱激情六月天| 伊人无码高清| 东京热免费视频网站| AAA久久| 激情com| 开心色播色五月婷婷| 婷婷色五月综合| www五月| 9色在线视频| 97精品综合久久| 九色亚洲| 丁香五月天激情网址| 亚洲尤物在线| 在线观看的av| 免费看片在线观看| 另类色网| 婷婷少妇激情| 色婷婷精| 伊人丁香六月婷婷| 99热国内精品| 红桃91人妻爽人妻爽| 色色色婷| 韩国三级五月天婷婷。| 99久久婷婷国产综合精品草原| 伊人久久婷婷| 色色999三级片| 亚洲国产婷婷色五月| 婷婷五月天香蕉| 欧美色图天堂网| 小香蕉av| 激情综合综合综合| 97综合在线| 久综合4| 91综合国免费久入| 色五月中文网| 玖久久网站| 欧美日韩成人在线| 色婷婷免费观看| 五月激情婷婷偷拍| 99亚洲大片精品永久在线观看| 91精品综合久久婷婷九色| 亚洲乱码日产精品BD在线观看| 玖玖爱导航| 婷婷久久国产视频| se99视频| 91九色在线| 99视频在线精品免费观看2| 综合网色| 人人爱干人人爱草| 综合激情视频| 五夜婷婷| 久久久久久久久久8888| 亚洲免费观看高清完整版AV线| 五月婷婷色播网| 91久久| 91狼友视频网页更新| 五月婷婷深深爱爱| 五月丁香啪啪啪| 色五月超碰| 欧美综合激情丁香五月六月婷| 天堂婷婷综合| av免费人人| 丰满少妇猛烈A片免费看观看| 激情综合啪啪| 五月婷婷综合网| 91九色大屁股| 国产精品成人AV在线| 色射7856五月天激情四射| 天天色,天天操,天天射| 日本eVa一区=区视频| 日韩五月天婷婷| 综合激情五月天| 亚洲婷婷在线播放十月| 五月开心网| 密黄站| 99热97| 久久九九99| 久久久噜噜噜久久人妻| 色欲丁香久久| 七七色综合| 99久久激情视频| 亚洲AV永久无码影院黑人| 国产精品热搜丁香五月婷婷| 日韩另类在线观看| 激情五月丁香五月| 26uuu激情五月天| 久久中文网| 天天天摸夜夜夜玩| 婷婷五月激情的图片| 丁香六月激情| 婷五月丁香| wwwav大香蕉| se影音资源在线观看| 久9久成人精品视频| 五月丁香综合激情网| 日本一道久久| 99噜噜噜在线播放| 激情五月综合免费| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 久久aaaa片一区二区| 99在线视频喷水| 五月天婷综合| 思思99精品视频在线观看| 国产成人精品一区二三区熟女在线 | 亚洲中文字幕在线观看| 免费不卡狠操美女视频网| 国外亚洲成AV人片在线观看| 毛片色五月| 香蕉视频91| 五月开心久久| 色色色色av色色色色| 五月婷婷六月综合| 婷婷丁香六月| 亚洲视频色婷婷| 91婷婷| 国产午夜成人免费看片无遮挡| 玖玖热视频| 91精品丝袜久久久久久| 久久综合激情| 色色色在线免费视频| 91久久精品国产91性色TV| 五月激情六月宗合| 精品无码色欲AV| 日本欧美999久久久三级片| 美女精品一级不卡视频| 色五月婷婷啪啪五月| 大天天伊人| 国产日韩欧美| 91人操人人人操人| 久久久久久久久久人妻| 成人天天爽| 五月丁香婷婷伊人日韩| 五月丁香六月综合激情| 日本色综合| 色色色色色级无码| 67194中文字幕| 99国产精品白浆在线观看免费| 99久久这里只有精品| 五月丁香亚洲校园欧美| www热久久yy9| 婷婷狠狠爱| 五月丁香啪啪网| 丁香五月欧美午夜视频| 五月丁香婷婷开心| 色狠狠伊人久久五月丁香| 99碰网站| 九月久久婷婷| 激情五月天福利| 久久怡红院| 超碰激情网| 色狠久| 99热精品少| WWW色色色COm| 99视频网址| 日本网站久久| 亚洲午夜国产成人电影VA国产欧…| 激情五月六月婷婷| 五月天色丁香| 狠狠做深爱婷婷久久综合一区| 婷婷激情五月综合| 五月天婷婷无码视频| 丁香五月婷婷88在线| 婷婷五月天在线看| site:hcxsz888.com| 超碰在线观看9| 丁香六月av| 色五月天 丁香| 爱99干99| www.婷婷久久五月天| j五月香在线| 男女啪啪做爰高潮无遮挡| 天天操婷婷| 丁香蜜臀黄色婷婷五月天| 亚洲激情综合| 丁香色色色| AV在线免费播放| 99狠狠操一| 深爱激情综合| 五月丁香六月成人| 天天干天天干天天干天天干天| 五月丁香六月成人| 日本va欧美va国产激情| 粉嫩AV久久一区二区三区| 九九热最新| 婷婷综合久久| 色婷丁香91| 五月天综合在线观看视频| 婷婷综合精品视频97| 日韩在线五月天婷婷| 五月天精品综合| 久久久久人妻精选| 天天综合五月| 久久久五月天| 日本韩国视频在线观看社区免费的9| 激情文学综合婷婷五月天丁香花| 伊人天堂婷婷| 中文精品在| 五月婷久久| 涩涩涩,com| 色欲五月天| 热思思| 丁香五月Av| AV在线观看网站| 成年人丁香五月| 五月丁久久| av在线不卡播放| 五月天三级久久| 天天干天天操天天拍| 九月婷婷久久| 欧美日韩成人h| 久久久久久久8| 婷婷最新地址| 亚洲黄3级片网站欧美| 99综合在线| 五丁香激情综合| 九九热精品6| 成人婷婷| 久久综合99综合| 亚洲视频1区| 97精品欧美91久久久久久久| 婷婷五月天人妻| 久久九九色| 婷婷五月天伊人网| 99在线爽| 色婷五月丁香久亚洲| 夜夜撸日日操| 亚洲视频综合网| 99久在线精品99re5热视频| 精品视频这里只有精品| 久久久久er热| 久久久GOGO无码啪啪艺术| 91在线看片| 第四色婷婷日本| 五月婷婷基地| 图片区 小说区 区 亚洲五月| 久久99三级在线视频| 色五月丁香五月激情五月激情| 丁香六月婷婷姐网| 婷婷久久久| 亚洲欧洲一二| 国产色色色色色| 日本久热| 91精品久久久久、久五月天| 91 影音先锋| 大香蕉婷婷丁香天堂AV| nvrentiantang av| 久久大国产香蕉| 色婷婷色99国产综合精品| 深爱激情网综合| 丁香五月社区| 人妻久久久久| 久操大香蕉| 九月激情综合婷婷| 日韩在线aaa| 日本欧美成人片AAAA| 日本不卡中文字幕| 激情五月天视频| 婷婷丁香色五月天| 五月天婷婷爱丁香中文字幕| 久色激情| 99热最新地址在线| 色色色999| 五月丁香综合成人社区| 五月婷婷激情综合网| 人妻熟人中文字幕一区二区| 丁香婷婷老熟女综合网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 黄色AAAA韩国guochansanji| 丁香婷婷啪啪啪| 五月婷婷色| 五月欧美色播| 97色色色| 亚洲在线激情婷婷五月| www.色婷婷| 99久热这里有精品| 五月丁香色综合| 日本怕怕视频| 色婷婷综合网站| 亚洲操逼网| 欧美五月婷婷| 亚洲综合在线伊人婷| 日本一级一级一级一级| 婷婷在线观看五月天在线视频| 国产一级片| 欧美六月| 五月天激情影院| 激情涩涩网| h在线看免费版在线看| 韩国情人在线电视剧免费观看高清版全集| 激情五月丁香五月| 天天爽曰日爽| 婷婷五月综合久久中文字幕| 五月丁香花激情综合网| 亚洲午夜av| 成片免费播放| 国外亚洲成AV人片在线观看| 丁香五月激情性色郤| 色婷婷丁香女女| 五月开心深爱激情网| 久久九九婷婷| 色色五月天婷婷| 久久视屏这里只有久久| 1024操逼| 久久激情网| av在线观看网站| 色婷五月| 亚洲色情网站| 欧美99视频| 欧美人妻一区二区| 热99re| 一级七香蕉| AV在线大香蕉| 亚洲看av的网站| 婷婷五月丁香综合桃花色网| 亚洲精品亚洲人成人网| 狠狠色狠狠鲁| 久婷婷色| 强辱丰满人妻HD中文字幕| 婷婷综合爱| 国产在线黄色| 琪琪色网在线| 狠狠干2007| 五月婷视频在线观看| 婷婷色情网| 狠色狠色狠色狠色狠色网| 久久久久久9热不雅视频| 丁香激情五月| 国产日日夜夜操| 九九99在线| 丁香五月色| 五月天六月婷婷| 深爱激情中文五月天av| 综合久久8| 性爱视频久久| 国产激情综合五月久久| 亚洲婷婷月丁香五月| 激情五月婷婷啪啪| 爱久久小说下载网| 亚洲成人网站在线观看| 亚洲日日操| 天天日日人| 午夜成人在线免费视频| 丁香五月狠狠在线观看| 九九99久久| 婷婷五月激情六月| 久久性爱网站| 开心深爱五月天| 色色色色色五月| 久热一区| 99免费在线视频| 伊人久久大香线蕉av一区| 五月天成人在线| 欧美性二区| 色色色在线| 在线超碰精品| 亚洲深喉AV| 五月天婷婷综合网| 色碰碰视频| 五月婷婷六月丁香在线视频免费在线观看| 狠狠操狠狠色| 亚洲国产精品SUV| 亚洲色99| 日韩啪啪网| 色色五月婷婷久久| 丁香六月五月天| 久久五月婷天天干| 婷婷五月天激情综合| 欧美色色色色色| 另类激情码| 丁香视频| wWW九九在线播放| 婷色视频| 日本久久超碰| 夜夜爱伊人| 天天肏天天肏天天肏| 亚洲成人AV电影网| 亚洲色婷婷五月天| 色色色色色网| 91肏| 大香蕉婷婷久久| 日本三久久| 五月色丁香| 亚洲碰碰碰| 六月婷婷综合激情| 97av在线视频| 99综合视频| 337p大胆噜噜噜噜噜91Av| 久草五月天| 色丁香婷婷美女视频网站| 538久久| 五月婷婷六月丁香激情综合网| 久久这里只有精品07| 99小精品| 五月丁香狠狠| www.婷婷五月| 婷婷五月天Av| 色啪网| 91九色最新视频| 亚洲成人网址在线观看| 日韩啪图| 色综合九九| AV色五月婷婷| 欧美色色色| 99色免费观看全部| 激情爱爱网站| 婷婷九月色| 婷婷五月丁香综合网| 国内在线99视频| 超碰色婷婷| 丁香五月亚洲激情婷婷射| 日本婷婷综合精品| 久色资源网| 国产免费一区二区三区三州老师F1F1.CC| 激情丁香五月| 国产67194| 激情婷婷五月丁香啪啪啪| 丁香五月很很肏| 曰曰久久| 26uuu亚洲色| 狠狠干在线| jiZZdr| 99惹 精品在线| 9精品视频在线观看| 五月噜噜噜色综合| 丁香五月婷婷激情蜜桃| 99无码视频| 丁香婷婷老熟女综合网| 99国产在线| 五月天开心色色网| 九九综合九九| 精品成人无码A片观看香草视频| 人人爽天天爽| 中文字幕 码精品视频网站| 九九色中文| 无码色色色色色| 五月天久久www| 欧美 日韩 成人 在线| 亚洲精品白浆高清久久久久久| 亚洲黄色av网站| 91精品电影18T| 99热97| 99国产精品久久久久久久久久久| 伊人久久综合| 噜噜噜色噜噜| 九九综合久久| 超碰色天堂| 天天在线久久综合| 婷婷午夜| 久久99大全| 热99只有精品| 免费亚洲婷婷| 婷婷五月大香蕉| 五月丁香激情欧洲啪啪| 亭亭五月丁香五月天激情| 青草青草久9视频在线视频| 久热这里有精品视频| 超碰三级片| 丁香五月婷婷老师网站| 秋霞三级影视资源| 91精品久久久久| 69人妻人人澡人人爽久久| 蜜乳A√| 夜夜爽天天爽| 另类激情综合| 久久婷婷丁香| 欧美 日韩 成人| 婷婷五月天亚洲丁香| 亚洲第一综合| 久久激情视频99| 男人的天堂五月丁香| 日韩久久日| 26uuu亚洲欧美| 国产人妻777人伦精品HD| 五月天婷婷色色| 久久98热re| www.com任你艹| 激情五月四色| 久久看九九90| 国语精品探花| 激情综合网婷婷五夜| 婷婷五月AA五月在线| 丁香六月婷婷综合| 色五月开心婷婷| 久久五月丁香| 99热啪啪| 激情五月丁香五月| 激情五月天黄色小说| 五月天综合网| 99热伊人| 色欲天天综合网| 天天日天天插天天操| 天天插综合网| 99这里只有免费的精品| 激情色播| 伊人狠狠狠综合| 亚洲成人影视在线| 色综合色色色色色| 九热视频在线伦| 青草青青草| 综合激情在线观看| 影音先锋一区| 色噜噜狠狠色综| 亚洲另类在线观看| 五月丁香六月激情狠狠| 国产精品成人网址| 99热这里只有精品3| 久久婷婷东京热| 日本不卡中文字幕| 婷婷色五月综合丁香| 国自产拍偷拍精品啪啪一区二区| 只有久久精品免费| 色婷婷色| 婷婷丁香成人| 夜夜躁狠狠 | 欧美碰碰碰| 色色热| 99热18| 久草热久草在线视频| 婷婷五月天首页| 色综合久网| www99精品| va婷婷在线| 日笨久久网| 9精品在线| 五月丁香综合网色欲| 五月婷婷丁香日韩在线| 婷婷八月丁香激情综合| 色婷婷色99国产综合精品| 99在线精品视频| 夜夜操天天干| 婷婷综合网| 激情人妻蜜夜系列区| 丁香六月婷婷五月婷婷| 99这里有精品视频3| 91大操| 婷婷伊人网| www.色五月天.com| 色情久久久| 免费黄网不卡AV| 激情綜合網址| 99热大片| 九月激情网| 婷婷五月天国产传媒| 日韩 中文 欧美| 国产精品噜噜在线视频| 91日日日| 六六久久黄色| 99视频这里有精品| 五月激情婷婷丁香天堂| 99热在线99| 亚洲色图81p| 中文字幕丰满孑伦无码专区| 婷婷激情人妻| 开心五月婷| 婷婷久久大香蕉| 99久久人人| 天天日天天色| 思思热在线| 五月丁香欧美综合免费视频| 丁香婷婷久久 | 婷婷欧美| 天天综合亚洲综合| 黄色99视频| 婷婷五月网图片区| 香港九九六区八区99| 五月丁香影院| 99操逼视频| 天天做夜夜爽| 久久久久久丁香五月| 少妇丁香婷婷| 六月丁香色色| 欧洲区自拍| 在线中文AV| 开心五月深爱五月| 婷婷激情九月| 爱婷婷都市激情| 俺去啦综合网| 人妻久久久久久久久妻久久久久| 超碰免费在线| 久9无码视频| 东京热人妻一区二区三区在线| 国产成人AV| 婷婷亚洲综合| 99免费在线视频| 男人天堂99| 天天肏高清在线| 丁香婷婷五月| 伊人啪啪网| 69色色视频| 久久久精久人妻| 色婷婷伦理| 五月丁香六月激情综合啪啪| 激情五月第四色| 秋霞免费三级片| 夜夜夜天天操| 激情欧美婷婷| 99er这里只有精品| 99,色| 五月丁香六月色婷婷综合五月天| 伊人激情综合网| 九九热re99re6在线精品| 碰碰操91| 九九这里是免费的视频5| 97婷婷狠狠久久综合9色| caopeng97人人| 9久久久| 99久久婷婷五月综合| 黄网在线免费播放| 一区二区成人电影| 九九性视频| www色婷婷久久综合久色 | 一本色道久久综合狠狠躁一二三| 色五月婷婷成人| 噢美99| 国产免费av网站| 色婷婷香蕉丁丁网| 中文字幕五月久久婷| 大香蕉五月天婷婷丁香91| 9久视频| 久久五月天激情婷婷| 色五月婷婷五月久久| 五月丁婷婷| www,26uuu,c0m,色情| 丁香五月婷婷六月丁香| 综合大香蕉| 另类专区在线观看| 男人大jjc女人免费视频| 九九色插| 亚洲AV无码成人精品区电影网| www、丁香五月天| 精品久热| 六月天六月婷| 可以看的AV| 爆乳熟妇一区二区三区爆乳照片| 五月天色丁香| 免费在线观看AV网站| 97狠狠碰| 丁香六月婷婷激情综合| 精品五月花| WWW·色色色·COM| 婷婷激情伍月网| 九九热99精品| 日本色爽| 激情五月天婷婷五月天| 天天干天天日蜜臀av| 91性人人| 色色99色色| 99热这里只有免费精品| 色五月琪琪| 少妇人妻人伦A片| 综合激情在线观看| 成人必爱视| www婷婷| 五月激情在线| 在线视频激情网站| 亚洲人人96@| 五月人妻婷婷视频| 五月天啪啪| 色色色色区| 99色最新在线视频| 国产美女视频久| 国产69久久久欧美黑人A片| WWW.久久99| 青青夜夜狠狠夜夜狠狠| 久久久久人妻精品| 日日操夜夜擼| 日韩成人无码人妻| 欧美激情-区二区三区| 91九色首页| AV在线不卡网站| 天天 青草 制服丝袜 在线| 艾小青av| 日本三级大片| 96精品国产综合久久久久久| 激情综合五月激情17| 日本五月天婷婷丁香| 丁香五月天激情综合| 91九色超碰正在播放| 婷婷五月天伦理| 激情综合啪啪| 欧洲区自拍| 婷婷五月免费在线| 欧美va在线| 色色九九五月天| 丁香六月天婷婷开心综合| 亚州操人在线视频| 狠狠se| 99热6色| 色婷青青| 五月亚洲激情| 五月丁香六月激情欧美综合| 久久婷婷五月综合啪| 天天日天天日天天搞| 五月婷婷久久综合| 九九99九九99九九99视频网| 玖玖婷婷五月天| 色五月综合激情网| 激情五月天综合图片小说网站| 成人午夜无码视频| 九九大香蕉黄色影院| www.婷婷.com| Y11111111111少妇电影院| 婷婷丁香亚洲五月天| 99热精品在线在线| 久久狠狠欧美| 日本久热| 九色91美女| 色呦呦美女| 国产性爱一级| 婷婷五月天国产| 无码九九九九| 五月丁香在线观看| 丁香五月婷婷高清| 日日插日日干| 日韩无码亚欧无码| 天天碰夜夜爽| 东京热人妻一区二区三区在线| 狠狠干 狠狠操| www.丁香黄色五月天人与| 婷婷激情五月天色| 男同91 | 禁片二区| 99久在线精品99re8热| 国产超碰av| 色五月中文网| 久久天堂| 久综合色| 99精品在线观看| 综合网天天| 五月天开心激情网色欲无码| 少妇人妻人伦A片| 久久人妻情侣| 日本婷婷色| 亚洲六月婷婷| 大香蕉五月婷婷| 丁香六月婷婷久久综合| 丁香五月婷婷深五月| 欧美交换配乱吟粗大25P| 婷婷开心青青草| 91色性感五月婷婷丁香| 五月天激情视频五月天| 丁香五月激情欧美| 综合99久久| 久久婷婷丁香五月一二三| 农村熟妇高潮精品A片| 五月丁香六月婷婷在线播放| 欧美日韩国产成人在线| 久久综合影院| 五月五婷婷网| 爱爱网址9| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 深爱激清网| www.色婷婷.com| 日本va欧美va国产激情| 第四色婷婷色五月| 99欧美三级视频| 色婷婷97| 六月香五月婷| 亚洲色婷婷久久99精品91| 1024国产| 天天久久综合| 狠狠99| 免费视频无码| 99久在线精品99re8| 日韩久久视频| 性生生活大片又黄又| 日日操夜夜骑| 色婷婷WWW| 碰人人97| 五月婷婷性爱| 天天夜天天色天天| 香蕉狠狠爱视频| 亚洲色无码A片一区二区麻豆| 久久色情综合免费网站| av九九| 色婷婷播放| 99久久6| 五月丁香婷婷激情澎湃四射| 99A级片| 欧美怡红院黄站| 日韩综合久久| 久久aaaa片一区二区| 亚洲午夜av| 婷婷丁香六月天激情四射网| 九九亚洲视频| 六月婷婷在线视频| 中文字幕丰满乱孑伦无码专区| www.一起草av| 99精品在线观看| 六月激情综合| 婷婷五月丁香成人| 色欲天天综合网| 一区二区你懂的| 成人短视频在线观看| 丁香六月婷婷综合缴| 六月丁香深深爱| 99玖玖免费视频| 婷久久高清| 激情综合五月丁香| 久re热视频| 婷婷色情五月| 五月丁香六月色情网欧美| 九九99精品视频| 97偷拍对白视频| 国产小精品| 婷婷丁香十月| 丁香五月婷婷大香蕉| 亭亭五月天黑人2014| 婷婷五月天AV网| 丁香五月婷婷偷拍| 国产精品成人网址| 丰满少妇猛烈A片免费看观看| 婷婷色色网| 五月天停婷基地| 中文字幕,综合,91| 亚洲AV成人在线观看| 大学生高潮无套内谢视频| 久/久精品99看9| 久综合| 国产精品色| 天天色综网| av在线色五月丁香婷区久| 五月丁香六月婷婷综合免| 精品久热| 天天色天天射天天日| 97碰碰在线观看视频| 久久九九一區| 开心五月天激情网| 99色热| 91日视频| 97碰免费精采视频| 色综合久久8| 亞洲自怕| 成人久碰| 伊人网色婷婷五月天| 99操逼| 亚洲精品亚洲人成人网| 婷婷中文字幕| 俺去也综合| 欧美精品99久久久| 六月丁香婷| 26uuu日韩| 深爱五月婷婷| 五月天婷婷久久| 天天综合精品| 激情久久久| 九九这里只有精品| 风流少妇A片一区二区蜜桃| 久久五月婷| 精品亚洲国产成AV人片传媒| 高清一区二区三区日本久| 夜夜穞天天穞狠狠穞AV美女按摩| 色五月婷婷在线| 五月丁香狠狠爱| 免费做A爰片77777| 久久99热网| 成人性生活免费观看。| 久久99免费视频网站| 国产永久一黄| 亚洲免费观看高清完整版AV线| 五月丁香久人妻中文| 超碰av在线| 美妞av| 五月激情偷拍婷婷| 深爱1激情网| 无人精品在线视频| 久久婷婷五月综合激情国产| 色五月婷婷久久| 丁香五月天啪啪| 激情五月黄色| 丁香视频| 亚洲另类电影| 丁香六月婷婷高清| 天堂草在线观| 婷婷五月天情色| 九九视频在线| 曰韩五月丁香色婷婷无码| 色婷婷色和| 久久精品婷婷| 人人爱天天摸摸天天爱| 婷婷五月天美女视频| 日韩另类在线观看| 五月丁香啪啪网| 在线中文AV| 激情久久久久久久久| 久热这里只有精品性色AV| 欧美亚洲操逼| 综合XX网| 激情色播| 成人免费网站免费看| 婷婷导航| 狠狠撸激情综合丁香五月天俺来啦| 五月激情站| 中文字幕成人| 黄色短视频在线观看| 色婷婷97| 久久久五月婷婷| 91精品无码| 色和综合网| 99九九99九九九视频精彩| 婷婷一本和五月丁香| 色色色色色网| 欧美搡BBBBB摔BBBBB| 久久嘟嘟丁香| 亚洲色色图片| 久草五月天| 久热久| 色欲婷婷五月天丁香| 激情六月五月婷婷综合网| 狠狠干五月天| 欧美激情综合五月色丁香| 91精品综合久久婷婷九色| 丁香5月啪啪| 色婷丁香| 色婷婷av综合网| 婷婷五月天免费小说| 五月丁花六月丁香综合| 91欧美| 国产激情在线| 99视频一区| 婷婷亚洲色| 玖玖婷婷色| 26uuu亚洲欧美| 午夜丁香婷婷| 97超级操操| 天天综合永久| 丁香婷婷激情| 色域五月婷婷丁香| 日日夜夜爽| 无码激情AAAAA片-区区| 99九九热在线观看| 五月天婷婷在线AN| 天天揷综合网| 婷婷色播色五月五色五月天色妇| 亚洲综合五月天| 亚洲传媒在线观看| 亚洲丁香五月深爱五月| 成人在线网| 久久婷婷综合国产| 丁香五月婷婷激情蜜桃| 色爆五月| 精品一区二区三区四区五区六区介绍 | 四色五月婷婷在线观看| 欧美内射AAAAAAXXXXX| 亚洲高清在线| 五月丁香婷草| 色婷久| 色综合天天综合成人网| 久久天堂女人| 婷婷五月天论坛| 99热在线观看| 夜夜天天久久婷婷| 欧美色婷婷| 伊人网欧美在线男人天堂五月丁香| AV在线免费播放| 欧美色色色色色色色色色色| 五月婷婷六月丁香激情| 欧美三级视频| 六月婷婷九月丁香亚洲综合| 日木WWW视频| 五月天在线视频尤物视频在线看| 国产欧美熟妇另类久久久| 九九成人高清视频| 激情久久久| 六月婷婷狠狠色在线观看| 婷婷伊人綜合中文字幕| 26uuu.| 五月综合激情| 亚洲色五月天是什么| 乱精品一区字幕二区| 丁香综合伊人| 中文字幕成人| www.狠狠狠狠| www.9操| 丁香五月激情婷婷| 亚洲色图五月丁香五月婷婷| 激情五月,色播五月| 奇米网大香蕉|