一、面試復(fù)習(xí)通信、鎖與代理這部分是前幾天面試題的展開講解也是寫高并發(fā)程序的基礎(chǔ)。1.1 什么是 IPC如何進(jìn)行進(jìn)程間通信IPC是 Inter-Process Communication進(jìn)程間通信的縮寫。之所以需要進(jìn)程間通信是因?yàn)檫M(jìn)程之間數(shù)據(jù)是隔離的。兩種情況同一臺(tái)機(jī)器上的兩個(gè)進(jìn)程通信如同一個(gè)程序開啟的多個(gè)進(jìn)程Python多進(jìn)程。不同機(jī)器上的兩個(gè)進(jìn)程通信跨主機(jī)通信。如何通信方式說明共享內(nèi)存 / 共享變量線程間變量天然共享進(jìn)程間需借助共享內(nèi)存隊(duì)列 / 管道如 Pythonmultiprocessing.Queue、Pipe消息隊(duì)列Redis、RabbitMQ、Kafka 等Socket 套接字服務(wù)與服務(wù)的接口調(diào)用HTTP、RPC、MySQL socket 自定協(xié)議文件方式通過文件交換數(shù)據(jù)1.2 線程間通信與鎖重點(diǎn)補(bǔ)充為什么需要鎖多線程共享同一個(gè)變量時(shí)多個(gè)線程同時(shí)讀寫就會(huì)產(chǎn)生數(shù)據(jù)競(jìng)爭(zhēng)導(dǎo)致數(shù)據(jù)錯(cuò)亂因此需要加鎖保證數(shù)據(jù)安全?；コ怄iLockfromthreadingimportThread,Lockdefwork():globaln lock.acquire()# 加鎖保證同一時(shí)刻只有一個(gè)線程修改共享數(shù)據(jù)tempn time.sleep(0.001)ntemp-1lock.release()join與鎖的區(qū)別在start()后立即join()會(huì)讓 100 個(gè)任務(wù)整體串行執(zhí)行雖然數(shù)據(jù)安全但效率很低。加鎖只是把“修改共享數(shù)據(jù)”的那部分代碼串行化不加鎖的部分仍能并發(fā)效率更高。死鎖兩個(gè)或兩個(gè)以上的進(jìn)程/線程執(zhí)行時(shí)因爭(zhēng)奪資源而互相等待若無外力干預(yù)都無法繼續(xù)推進(jìn)。典型如“科學(xué)家吃面”問題每個(gè)科學(xué)家需要同時(shí)拿兩把叉子才能吃面若各拿一把又互相等待另一把就會(huì)死鎖。遞歸鎖RLock/ 可重入鎖允許同一個(gè)線程多次acquire內(nèi)部維護(hù)一個(gè)計(jì)數(shù)器記錄獲取次數(shù)同一次數(shù)釋放后其他線程才能獲取。fromthreadingimportRLock lockRLock()lock.acquire()lock.acquire()# 同一線程可以再次獲取不會(huì)死鎖print(123)lock.release()lock.release()信號(hào)量Semaphore可以理解為“多把鎖”同時(shí)允許多個(gè)線程執(zhí)行某段代碼。例如Semaphore(5)表示最多 5 個(gè)線程同時(shí)進(jìn)入。事件Event某些線程需要等其他線程執(zhí)行到某個(gè)節(jié)點(diǎn)后再繼續(xù)。例如女神者等待對(duì)方event.set()后多個(gè)備胎線程event.wait()再啟動(dòng)。GIL 與普通互斥鎖的區(qū)別GIL 是解釋器級(jí)別的鎖保證同一時(shí)刻只有一個(gè)線程執(zhí)行 Python 字節(jié)碼。普通互斥鎖是應(yīng)用層面的鎖用來保護(hù)共享數(shù)據(jù)。GIL 無法替代數(shù)據(jù)保護(hù)所以仍需互斥鎖。I/O 密集型與計(jì)算密集型的選型單核 CPU無論 I/O 密集還是計(jì)算密集都用線程或協(xié)程。多核 CPU計(jì)算密集型用多進(jìn)程I/O 密集型用多線程I/O 等待不占用 CPU。1.3 正向代理與反向代理代理本質(zhì)是一個(gè)中介原本 A 和 B 可以直連中間插入一個(gè) CC 就是代理。正向代理 —— 代理的是客戶端訪問原本無法訪問的資源如 Google。做緩存加速訪問。對(duì)客戶端訪問授權(quán)、上網(wǎng)認(rèn)證。記錄用戶訪問記錄上網(wǎng)行為管理對(duì)外隱藏用戶身份。典型如 VPN、爬蟲代理池。反向代理 —— 代理的是服務(wù)端保護(hù)內(nèi)網(wǎng)安全阻止 Web 攻擊。大型網(wǎng)站通常把反向代理作為公網(wǎng)訪問入口Web 服務(wù)器放在內(nèi)網(wǎng)。負(fù)載均衡通過反向代理服務(wù)器優(yōu)化網(wǎng)站負(fù)載。典型如 nginx、apache。項(xiàng)目上線升級(jí)常結(jié)合反向代理做灰度發(fā)布與平滑升級(jí)。1.4 什么是粘包粘包是TCP 流式協(xié)議的現(xiàn)象TCP 沒有消息邊界客戶端發(fā)送的多個(gè)數(shù)據(jù)包會(huì)像水流一樣流向服務(wù)端多個(gè)包“粘”在一起無法區(qū)分是幾個(gè)數(shù)據(jù)包。解決思路每個(gè)包設(shè)置結(jié)束標(biāo)志如 HTTP 用\r\n\r\n。每個(gè)包設(shè)置固定大小的頭頭里包含包的大小再按長(zhǎng)度讀取。二、補(bǔ)充表單表設(shè)計(jì)結(jié)合業(yè)務(wù)動(dòng)態(tài)表單可以用“兩張表 一個(gè)提交內(nèi)容字段”來設(shè)計(jì)表單表定義一個(gè)表單id創(chuàng)建人創(chuàng)建時(shí)間1用戶 id時(shí)間表單詳情表定義表單字段id表單 id類型key是否必填值11單行文本申請(qǐng)人true21單選框用途true[測(cè)試, 生產(chǎn)]31單選框是否第一次true[是, 否]41多選框云廠商true[騰訊云, 阿里云, xx云]填寫表單用戶提交記錄id表單 id用戶 id內(nèi)容111{1:lqz, 2:測(cè)試, 3:是, 4:[騰訊云, 阿里云]}224{1:是, 2:測(cè)試, 3:是, 4:[騰訊云, 阿里云]}內(nèi)容字段直接用 JSON 存儲(chǔ)靈活但不易匯總統(tǒng)計(jì)適合字段不確定的動(dòng)態(tài)表單場(chǎng)景。三、通用命令info# 查看內(nèi)存、CPU、主從信息可用于寫 Redis 監(jiān)控client list# 查看正在連接的會(huì)話clientkillip:port# 斷開某個(gè)客戶端dbsize# 統(tǒng)計(jì)總共有多少個(gè) keyflushall# 清空所有數(shù)據(jù)庫危險(xiǎn)慎用flushdb# 只清空當(dāng)前數(shù)據(jù)庫select數(shù)字# 選擇某個(gè)庫默認(rèn)共 16 個(gè)庫0~15monitor# 記錄/監(jiān)控操作日志會(huì)一直輸出注意會(huì)夯住終端生產(chǎn)環(huán)境請(qǐng)謹(jǐn)慎使用flushall、flushdb、monitor。其中monitor會(huì)持續(xù)打印所有命令影響性能且占用終端。管理 Redis 實(shí)例的 Web 項(xiàng)目可選參考https://gitee.com/bijingrui/repollhttps://gitee.com/dromara/mayfly-gohttps://gitee.com/careyjike_173/redis_web_clienthttps://gitee.com/Alcex/QMySQLAdminhttps://gitee.com/CloudWise/OMPhttps://gitee.com/lustlost/ubackup四、字符串String類型String 是 Redis 最基本也最常用的數(shù)據(jù)類型value 是二進(jìn)制安全的可以存圖片、序列化對(duì)象等。4.1 基本使用 get / set / delsetname lqz# 設(shè)置 key 的 valueO(1)get name# 獲取 key 的 valueO(1)del name# 刪除 keyO(1)4.2 自增自減 incr / decr / incrby / decrbyincr age# value 自增 1decr age# value 自減 1incrby age10# value 增加 10decrby age10# value 減 10應(yīng)用場(chǎng)景統(tǒng)計(jì)網(wǎng)站訪問量Redis 單線程執(zhí)行命令天然無競(jìng)爭(zhēng)適合做計(jì)數(shù)器。分布式 ID 生成多臺(tái)機(jī)器并發(fā)生成也不會(huì)重復(fù)。說明INCR/DECR要求 value 是整數(shù)字符串否則會(huì)報(bào)錯(cuò)。這類命令用于計(jì)數(shù)非常高效。4.3 setnx / setxxsetname lqz# 不管 key 是否存在都設(shè)置setnx name lqz# key 不存在時(shí)才設(shè)置新增setname lqz nx# 等價(jià)于 SETNXsetname lqz xx# key 存在時(shí)才設(shè)置更新分布式鎖用SET key value NX EX 秒數(shù)實(shí)現(xiàn)“不存在才設(shè)置 自動(dòng)過期”是分布式鎖的常見做法。setlock_code1NX EX10# 加鎖最多持有 10 秒del lock_code# 釋放鎖注意SETNX與EXPIRE分開寫不是原子的可能出現(xiàn)“已 setnx 但還沒 expire 時(shí)進(jìn)程崩潰鎖永不釋放”的問題因此更推薦SET key value NX EX。4.4 批量操作 mget / msetmget key1 key2 key3# 批量獲取O(n)mset key1 value1 key2 value2 key3 value3# 批量設(shè)置O(n)n次get與一次mget的差別n次get n 次命令時(shí)間 n 次網(wǎng)絡(luò)往返時(shí)間。一次mget 1 次網(wǎng)絡(luò)往返 n 次命令時(shí)間省去大量網(wǎng)絡(luò)開銷。4.5 getset / append / strlengetset name lqznb# 設(shè)置新值并返回舊值O(1)append name666# 把 value 追加到舊值后面O(1)strlen name# 計(jì)算字符串長(zhǎng)度注意中文按 UTF-8 字節(jié)數(shù)計(jì)算O(1)4.6 incrbyfloat / getrange / setrangeincrbyfloat age3.5# value 自增 3.5傳負(fù)值表示自減O(1)getrange key03# 獲取指定下標(biāo)范圍的子串O(1)setrange key2xyz# 從指定下標(biāo)開始覆蓋寫入 valueO(1)4.7 String 的其他要點(diǎn)底層編碼String 底層為SDS簡(jiǎn)單動(dòng)態(tài)字符串根據(jù)長(zhǎng)度有int、embstr、raw三種編碼embstr用于較短字符串raw用于較長(zhǎng)字符串。常用場(chǎng)景緩存、計(jì)數(shù)器、分布式鎖、會(huì)話Session、短信驗(yàn)證碼、限流等。五、哈希Hash類型Hash 類似字典一個(gè) key 對(duì)應(yīng)多個(gè) field-value適合存對(duì)象或一行的字段。5.1 基本操作 hget / hset / hdelhset key field value# 設(shè)置 hash key 對(duì)應(yīng)的 field 的 valueO(1)hget key field# 獲取 hash key 對(duì)應(yīng)的 field 的 valueO(1)hdel key field# 刪除 hash key 對(duì)應(yīng)的 fieldO(1)示例hset user:1:info age23hget user:1:info age hset user:1:info name lqz hgetall user:1:info hdel user:1:info age5.2 判斷與計(jì)數(shù) hexists / hlenhexists user:1:info name# 判斷 field 是否存在O(1)hlen user:1:info# 獲取 field 數(shù)量O(1)5.3 批量操作 hmget / hmsethmget key field1 field2... fieldN# 批量獲取O(n)hmset key field1 value1 field2 value2# 批量設(shè)置O(n)5.4 全量操作 hgetall / hvals / hkeyshgetall key# 返回所有 field 和 valueO(n)hvals key# 返回所有 field 的 valueO(n)hkeys key# 返回所有 fieldO(n)小心使用hgetall它返回全部字段當(dāng)字段很多時(shí)會(huì)阻塞 Redis生產(chǎn)環(huán)境建議用hscan游標(biāo)式代替。兩個(gè)典型應(yīng)用統(tǒng)計(jì)網(wǎng)站每個(gè)用戶主頁的訪問量hincrby user:1:info pageview count。緩存 MySQL 的一條記錄把行字段作為 field 存入 hash如hmset user:1 name lqz age 23。5.5 hsetnx / hincrby / hincrbyfloathsetnx key field value# field 不存在才設(shè)置O(1)hincrby key field intCounter# field 的 value 自增O(1)hincrbyfloat key field floatCounter# field 的 value 自增浮點(diǎn)數(shù)O(1)小結(jié)Hash 適合存“一個(gè)對(duì)象的多個(gè)字段”比把整個(gè)對(duì)象序列化成字符串更省內(nèi)存、方便單字段更新如只更新 age。六、算法與數(shù)據(jù)結(jié)構(gòu)復(fù)雜度6.1 為什么重要算法和數(shù)據(jù)結(jié)構(gòu)是編程的基石算法代碼的執(zhí)行邏輯和流程如for、if例如排序。數(shù)據(jù)結(jié)構(gòu)變量的組織結(jié)構(gòu)如list、map、set。寫 Redis 時(shí)理解每條命令的時(shí)間復(fù)雜度能避免在數(shù)據(jù)量巨大時(shí)把服務(wù)“打?！?。6.2 大 O 表示法記號(hào)含義例子O(1)常數(shù)時(shí)間與數(shù)據(jù)量無關(guān)GET、SET、HSET、LPUSH、SADDO(log n)對(duì)數(shù)時(shí)間ZSet的ZADD/ZRANGEBYSCORE底層跳表O(n)線性時(shí)間隨數(shù)據(jù)量線性增長(zhǎng)KEYS、SMEMBERS、HGETALL、LRANGE全量O(n2)平方時(shí)間某些嵌套遍歷算法時(shí)間復(fù)雜度消耗的時(shí)間空間復(fù)雜度消耗的內(nèi)存。6.3 生產(chǎn)環(huán)境注意點(diǎn)keys、smembers、hgetall等全量命令是O(n)key 很多時(shí)會(huì)阻塞 Redis。用scan、hscan、sscan代替全量命令逐批游標(biāo)式遍歷不阻塞。單條命令盡可能快批量操作mget、mset、pipeline減少網(wǎng)絡(luò)往返。想刷題可參考力扣LeetCode難度分簡(jiǎn)單、中等、困難排序等算法可查閱 Python 常用排序教程。七、列表List類型List 是有序的字符串列表可用來實(shí)現(xiàn)隊(duì)列、棧、消息隊(duì)列等。7.1 插入操作rpush key value1 value2... valueN# 從右側(cè)插入O(1~n)lpush key value1 value2... valueN# 從左側(cè)插入O(1~n)linsert key before|after value newValue# 在 value 前/后插入O(n)需遍歷列表示例linsert listkey before bjavalinsert listkey after b php7.2 刪除操作lpop key# 從左側(cè)彈出一個(gè) itemO(1)rpop key# 從右側(cè)彈出一個(gè) itemO(1)lrem key count value# 按 count 刪除 valueO(n)ltrim key start end# 按索引范圍修剪列表O(n)lrem的count規(guī)則count 0從左到右刪除最多 count 個(gè) value 相等的項(xiàng)。count 0從右到左刪除最多Math.abs(count)個(gè) value 相等的項(xiàng)。count 0刪除所有 value 相等的項(xiàng)。示例lrem listkey0a# 刪除列表中所有值 alrem listkey-1c# 從右側(cè)刪除 1 個(gè) cltrim listkey14# 只保留下標(biāo) 1~4 的元素7.3 查詢操作lrange key start end# 獲取指定索引范圍所有 item包含 endO(n)lindex key index# 獲取指定索引的 itemO(n)llen key# 獲取列表長(zhǎng)度O(1)示例lrange listkey02# 下標(biāo) 0~2lrange listkey1-1# 從第 1 個(gè)到倒數(shù)第 1 個(gè)lindex listkey0lindex listkey-17.4 修改操作lset key index newValue# 設(shè)置指定索引的值O(n)lset listkey2ppp# 把第 2 個(gè)位置設(shè)為 ppp7.5 阻塞式操作 blpop / brpopblpop keytimeout# LPOP 的阻塞版本timeout 為超時(shí)時(shí)間0 表示一直阻塞brpop keytimeout# RPOP 的阻塞版本timeout 為超時(shí)時(shí)間0 表示一直阻塞7.6 實(shí)戰(zhàn)用 List 組合出常見結(jié)構(gòu)# 實(shí)現(xiàn)棧先進(jìn)后出lpush lpop# 實(shí)現(xiàn)隊(duì)列先進(jìn)先出lpush rpop# 固定大小的列表只保留最近 N 條lpush ltrim# 阻塞式消息隊(duì)列生產(chǎn)者-消費(fèi)者lpush brpop實(shí)現(xiàn)時(shí)間軸timeLine把關(guān)注的人的微博按時(shí)間順序lpush進(jìn)列表即可按時(shí)間軸展示。八、集合Set類型Set 是無序、去重的字符串集合適合做標(biāo)簽、點(diǎn)贊、抽獎(jiǎng)、共同好友等。8.1 基礎(chǔ)命令sadd key element# 向集合添加元素重復(fù)添加失敗O(1)srem key element# 移除元素O(1)scard key# 計(jì)算集合大小sismember key element# 判斷元素是否在集合中srandmember key count# 隨機(jī)取出 count 個(gè)元素不破壞集合spop key# 隨機(jī)彈出一個(gè)元素并移除smembers key# 獲取所有元素?zé)o序O(n)小心使用會(huì)阻塞8.2 集合運(yùn)算sdiffkey1 key2# 差集在 key1 中但不在 key2 中sinter key1 key2# 交集同時(shí)在兩個(gè)集合中sunion key1 key2# 并集兩個(gè)集合所有元素把結(jié)果保存到新集合sdiffstore dest key1 key2# 差集存入 destsinterstore dest key1 key2# 交集存入 destsunionstore dest key1 key2# 并集存入 dest8.3 集合典型應(yīng)用抽獎(jiǎng)系統(tǒng)spop彈出用戶 id活動(dòng)取消直接刪除集合。點(diǎn)贊 / 點(diǎn)踩 / 喜歡用戶點(diǎn)了贊就把用戶 id 放到該條記錄的集合中。標(biāo)簽給用戶/文章打標(biāo)簽sadd user:1:tags 標(biāo)簽1 標(biāo)簽2也可反向保存“關(guān)注某標(biāo)簽的人有哪些”。共同好友使用集合的交集 / 并集 / 差集計(jì)算。總結(jié)sadd標(biāo)簽相關(guān)。spop/srandmember隨機(jī)數(shù)相關(guān)抽獎(jiǎng)、隨機(jī)推薦。sadd/sinter社交相關(guān)共同好友、共同關(guān)注。九、面試題與參考答案1. HTTP 協(xié)議詳情、版本、請(qǐng)求頭HTTP 協(xié)議基于 TCP 的“請(qǐng)求-響應(yīng)”式無狀態(tài)應(yīng)用層協(xié)議客戶端發(fā)起請(qǐng)求服務(wù)端返回響應(yīng)。版本HTTP/1.0短連接每次請(qǐng)求都要新建連接。HTTP/1.1持久連接keep-alive、管線化、chunked分塊傳輸解決隊(duì)頭阻塞能力有限。HTTP/2二進(jìn)制分幀、多路復(fù)用、頭部壓縮HPACK、服務(wù)端推送解決隊(duì)頭阻塞。HTTP/3基于 QUIC底層 UDP進(jìn)一步降低連接建立延時(shí)。常見請(qǐng)求頭Host # 請(qǐng)求主機(jī) User-Agent # 客戶端標(biāo)識(shí) Accept # 可接受的響應(yīng)類型 Accept-Encoding # 可接受的壓縮編碼 Content-Type # 請(qǐng)求體類型如 application/json Content-Length # 請(qǐng)求體長(zhǎng)度 Authorization # 認(rèn)證信息 / Token Cookie # 會(huì)話 Cookie Cache-Control # 緩存策略 Connection # 連接控制keep-alive / close Referer # 來源頁面 Origin # 跨域來源 X-Forwarded-For # 經(jīng)過代理的客戶端 IP常見響應(yīng)頭Content-Type、Content-Length、Set-Cookie、Cache-Control、Location、Server、Date等。2. 如何實(shí)現(xiàn)服務(wù)器給客戶端發(fā)送消息WebSocket 是什么普通的 HTTP 是“客戶端主動(dòng)請(qǐng)求、服務(wù)端被動(dòng)響應(yīng)”無法直接由服務(wù)端主動(dòng)推消息。實(shí)現(xiàn)服務(wù)端推送的常見方式輪詢Polling客戶端定時(shí)請(qǐng)求浪費(fèi)資源。長(zhǎng)輪詢Long Polling服務(wù)端掛起請(qǐng)求直到有新消息減少請(qǐng)求次數(shù)。SSEServer-Sent Events服務(wù)端單向推送基于 HTTP。WebSocket推薦方案。WebSocket 是什么一種基于 TCP 的全雙工通信協(xié)議?？蛻舳送ㄟ^ HTTP 發(fā)起握手Upgrade: websocket升級(jí)后建立一條持久連接雙方可隨時(shí)互相發(fā)消息適合聊天、實(shí)時(shí)通知、在線游戲、實(shí)時(shí)行情等場(chǎng)景。常見實(shí)現(xiàn)Django Channels、FastAPI WebSocket、Node.js 的 Socket.IO 等。3. 悲觀鎖和樂觀鎖如何實(shí)現(xiàn)悲觀鎖假設(shè)一定會(huì)發(fā)生沖突訪問數(shù)據(jù)前先加鎖其他線程/事務(wù)被阻塞。實(shí)現(xiàn)MySQLSELECT ... FOR UPDATE、Redis 分布式鎖SET NX。樂觀鎖假設(shè)很少?zèng)_突不加鎖提交時(shí)檢查版本號(hào)是否變化變了則重試。實(shí)現(xiàn)MySQL 版本號(hào)字段version、Redis 使用WATCHMULTIEXEC的樂觀事務(wù)。在 Redis 中的實(shí)現(xiàn)方式# 悲觀鎖分布式鎖key 不存在才寫入并設(shè)置過期時(shí)間SET lock:order1NX EX5DEL lock:order# 樂觀鎖WATCH 監(jiān)視 key在事務(wù)期間若被修改則 EXEC 返回失敗WATCH stock:1 MULTI DECR stock:1 EXEC UNWATCH