在Linux系統(tǒng)編程與內(nèi)核學習中fork、mmap、page fault、TLB、頁表、Copy-on-Write寫時復制簡稱COW是CPU硬件、內(nèi)存管理單元MMU、Linux內(nèi)核內(nèi)存管理子系統(tǒng)、進程模型協(xié)同工作所構(gòu)成的一整套虛擬內(nèi)存運行機制。真正打通這條鏈路后會發(fā)現(xiàn)從用戶態(tài)的一次內(nèi)存訪問到物理頁的最終落地每一步都有清晰的硬件與軟件協(xié)作邏輯。我們可以先在腦中建立這樣一棵執(zhí)行樹一、虛擬地址空間的兩層抽象VMA 層與頁表層Linux內(nèi)核維護了兩套職責明確、互相關(guān)聯(lián)的抽象VMA虛擬內(nèi)存區(qū)域?qū)迂撠熋枋龅刂房臻g的邏輯屬性頁表層負責維護虛擬頁到物理頁的實際映射。1.1 VMA地址空間的邏輯視圖用戶態(tài)的虛擬地址空間由struct mm_struct整體描述而每一段屬性相同的連續(xù)虛擬地址范圍由struct vm_area_struct簡稱VMA來刻畫。一個進程的所有VMA以Maple樹紅黑樹的演進版本的結(jié)構(gòu)組織在mm_struct中覆蓋進程的整個用戶地址空間。VMA回答的是邏輯屬性問題這段地址的起始與結(jié)束位置在哪里這段內(nèi)存的訪問權(quán)限是什么讀/寫/執(zhí)行它是匿名映射還是文件映射它是私有映射還是共享映射典型的進程地址空間會包含代碼段r-x、只讀數(shù)據(jù)段r--、數(shù)據(jù)段rw-、棧rw-、mmap映射區(qū)rw-等多個VMA。1.2 頁表地址翻譯的物理視圖頁表解決的是實際映射問題這個虛擬頁當前到底映射到哪個物理頁幀該頁是否已經(jīng)在物理內(nèi)存中硬件層面的訪問權(quán)限與標志位是什么1.3 需求分頁虛擬內(nèi)存 ≠ 物理內(nèi)存Linux虛擬內(nèi)存的核心設(shè)計之一是惰性分配lazy allocation與請求調(diào)頁demand paging當我們通過mmap、malloc等接口建立虛擬映射時內(nèi)核只是創(chuàng)建了對應(yīng)的VMA并不會立即分配物理頁也不會立即填充頁表項。只有當進程真正訪問該地址時才會通過Page Fault觸發(fā)物理頁的分配與頁表的建立。這也意味著虛擬內(nèi)存的大小絕不等于已占用的物理內(nèi)存大小。一個1GB的mmap映射在沒有被訪問前可能不占用任何物理RAM。二、CPU 側(cè)的地址翻譯MMU、TLB 與 Page Walk當CPU執(zhí)行一條內(nèi)存訪問指令如*p 10時它拿到的是虛擬地址線性地址必須通過內(nèi)存管理單元MMU翻譯為物理地址才能訪問內(nèi)存。2.1 TLB地址翻譯的高速緩存Translation Lookaside Buffer轉(zhuǎn)譯后備緩沖器簡稱TLB是頁地址翻譯的硬件緩存。TLB中緩存了虛擬頁號VPN到物理頁幀號PFN的映射同時還緩存了讀/寫、用戶/內(nèi)核、執(zhí)行禁用等權(quán)限信息。當TLB命中時CPU可以直接得到物理地址完全不需要訪問內(nèi)存中的頁表這是最高效的路徑。對于4KB頁面來說地址翻譯可以簡化為物理地址 (PFN 12) | 頁內(nèi)偏移如果沒有TLB一次內(nèi)存訪問需要先遍歷多級頁表多次內(nèi)存訪問才能得到物理地址再訪問目標數(shù)據(jù)內(nèi)存訪問延遲會成倍上升?，F(xiàn)代CPU還配備了Paging-Structure Caches頁表結(jié)構(gòu)緩存進一步降低頁表遍歷的開銷。2.2 TLB Miss 與硬件頁表遍歷當TLB中沒有找到對應(yīng)虛擬頁的映射時發(fā)生TLB Miss。此時CPU會自動執(zhí)行硬件頁表遍歷Page Walk按照頁表層級逐級查找內(nèi)存中的頁表項。Linux內(nèi)核在軟件層面抽象了五級頁表模型PGDPage Global Directory→ P4DPage 4th Directory→ PUDPage Upper Directory→ PMDPage Middle Directory→ PTEPage Table Entry對于不支持某一層級的硬件架構(gòu)Linux會通過折疊fold機制將該層邏輯消除讓軟件可以統(tǒng)一使用五級模型。以最常見的x86-64架構(gòu)為例硬件通常實現(xiàn)4級分頁PML4→PDPT→PD→PTLinux會將P4D層級折疊最終對應(yīng)到硬件的四級結(jié)構(gòu)。PGD、P4D、PUD、PMD、PTE 本質(zhì)上構(gòu)成了一棵多級頁表索引樹虛擬地址會被拆成多段索引CPU/MMU 先通過 PGD 找到下一層頁表再經(jīng)過 P4D、PUD、PMD 逐級縮小地址范圍最終由 PTE 給出具體的物理頁框地址以及讀寫、用戶態(tài)訪問等權(quán)限信息這樣做的核心目的是不用為整個巨大虛擬地址空間一次性建立完整頁表而只為實際使用的區(qū)域分配下級頁表從而節(jié)省內(nèi)存。PGD、P4D、PUD、PMD 本質(zhì)上都不是“存最終物理頁地址”的它們主要負責繼續(xù)指向下一層頁表真正到 PTE才通常得到最終物理頁框和頁權(quán)限PTE Page Table Entry頁表項PTE 是頁表里的一條記錄用來描述某個虛擬頁映射到哪個物理頁以及這個頁能不能讀、寫、執(zhí)行PTE ├── Physical Frame Number │ └── 對應(yīng)哪個物理頁 │ ├── Present │ └── 當前映射是否有效 │ ├── Read / Write │ └── 是否允許寫 │ ├── User / Supervisor │ └── 用戶態(tài)是否可以訪問 │ ├── Execute 權(quán)限 │ └── 是否允許執(zhí)行 │ ├── Accessed │ └── 這個頁是否被訪問過 │ └── Dirty └── 這個頁是否被寫過2.3 頁表遍歷的三種結(jié)果硬件頁表遍歷完成后會出現(xiàn)三種結(jié)果PTE有效且權(quán)限允許翻譯成功將結(jié)果填入TLB訪問物理內(nèi)存指令正常執(zhí)行。映射合法但PTE不存在虛擬地址屬于某個VMA但頁表項為空觸發(fā)Page Fault由內(nèi)核分配物理頁并建立映射。PTE存在但訪問權(quán)限違規(guī)比如向只讀頁執(zhí)行寫入觸發(fā)保護型Page Fault這是Copy-on-Write的入口。頁錯誤異常Page-Fault Exception的觸發(fā)原因既包括頁表中不存在有效翻譯也包括翻譯存在但訪問權(quán)限不匹配。CPU會將錯誤地址存入CR2寄存器并通過錯誤碼Error Code指示故障類型關(guān)鍵字段包括P位0表示頁不存在1表示保護違規(guī)W/R位0表示讀訪問1表示寫訪問U/S位0表示內(nèi)核態(tài)訪問1表示用戶態(tài)訪問I/D位0表示數(shù)據(jù)訪問1表示指令取指三、Page Fault缺頁異常是Linux虛擬內(nèi)存得以運轉(zhuǎn)的關(guān)鍵驅(qū)動機制。絕大多數(shù)的物理頁分配、頁表建立、寫時復制、換入換出都是通過Page Fault觸發(fā)的。3.1 Linux 缺頁處理Linux內(nèi)核的缺頁處理入口如x86架構(gòu)的do_page_fault會執(zhí)行大致如下的判斷邏輯page_fault_handler(address,access_type,error_code){vmafind_vma(current-mm,address);if(!vma){// 地址不屬于任何VMA非法訪問send_signal(SIGSEGV);return;}if(!permission_check(vma,access_type)){// 訪問權(quán)限與VMA屬性不符send_signal(SIGSEGV);return;}if(pte_present(entry)){// 頁存在但寫保護 → COW故障if(is_cow_mapping(vma)access_typeWRITE){handle_cow_fault(vma,address);}else{send_signal(SIGSEGV);}}else{// 頁不存在 → 請求調(diào)頁handle_demand_paging(vma,address);}resume_instruction();}CPU只負責報告“地址翻譯或權(quán)限檢查失敗”而這個故障是正常機制還是程序錯誤由內(nèi)核根據(jù)VMA的狀態(tài)來判斷。如果內(nèi)核能夠修復映射程序就會透明地繼續(xù)執(zhí)行如果確實是非法訪問才會向進程發(fā)送SIGSEGV等信號。3.2 Minor Fault 與 Major FaultLinux從性能統(tǒng)計的角度將Page Fault分為兩類Minor Fault次缺頁不需要磁盤I/O即可處理的缺頁。例如匿名頁的分配、寫時復制、頁緩存中已有頁面的映射建立等。Major Fault主缺頁處理過程中需要磁盤I/O的缺頁。例如文件映射的首次讀入、swap分區(qū)的換入等。這一統(tǒng)計可以通過getrusage(2)系統(tǒng)調(diào)用獲取ru_minflt與ru_majflt分別對應(yīng)兩種缺頁的計數(shù)/proc/pid/stat中也暴露了對應(yīng)字段。CPU硬件層面的缺頁分類不存在/保護違規(guī)與Linux統(tǒng)計層面的分類minor/major是兩個不同維度。COW故障通常屬于minor fault因為它只涉及內(nèi)存內(nèi)的頁面復制不涉及磁盤I/O。四、fork() 與 Copy-on-WriteCopy-on-Write是虛擬內(nèi)存機制的應(yīng)用之一它的設(shè)計目標是在保證fork語義的前提下盡可能降低進程創(chuàng)建的開銷。4.1 forkfork創(chuàng)建的子進程擁有與父進程獨立的地址空間且fork瞬間的內(nèi)存內(nèi)容與父進程一致。如果fork時直接復制所有物理頁對于大內(nèi)存進程來說開銷會極其高昂。Linux的實現(xiàn)采用了寫時復制策略fork時不復制物理頁只復制頁表與VMA等元數(shù)據(jù)讓父子進程暫時共享同一批物理頁等到真正寫入時再復制。4.2 fork 時內(nèi)核做了什么復制VMA結(jié)構(gòu)為子進程創(chuàng)建一套獨立的vm_area_struct描述與父進程相同的地址空間布局。復制頁表結(jié)構(gòu)為子進程構(gòu)建獨立的頁表層級將PTE都指向與父進程相同的物理頁幀。設(shè)置寫保護對于私有可寫映射如匿名數(shù)據(jù)段、MAP_PRIVATE映射將父子進程對應(yīng)PTE的寫權(quán)限清空標記為只讀。建立COW標記在內(nèi)核層面標記這些映射為寫時復制映射。完成后父子進程擁有獨立的地址空間視圖、獨立的頁表但物理頁面是共享的。4.3 寫入觸發(fā) COW 故障的完整流程當子進程或父進程嘗試向共享頁寫入時CPU檢測權(quán)限沖突寫入指令經(jīng)過MMU翻譯時發(fā)現(xiàn)PTE存在但寫權(quán)限為0觸發(fā)保護型Page Fault。陷入內(nèi)核CPU保存現(xiàn)場將錯誤地址存入CR2攜帶錯誤碼進入內(nèi)核缺頁處理程序。內(nèi)核識別COW場景內(nèi)核查找地址對應(yīng)的VMA確認這是合法的私有可寫映射且當前處于寫保護共享狀態(tài)判定為COW故障。分配新物理頁分配一個新的物理頁幀。復制頁面內(nèi)容將舊物理頁的內(nèi)容復制到新頁對于4KB頁面即復制4096字節(jié)。更新頁表項修改寫入方的PTE使其指向新物理頁并恢復寫權(quán)限。刷新TLB清除該虛擬地址對應(yīng)的舊TLB條目確保后續(xù)翻譯使用新的PTE。返回用戶態(tài)恢復現(xiàn)場重新執(zhí)行觸發(fā)故障的寫入指令。至此父子進程各自擁有獨立的物理頁地址空間的隔離性得到保證。這就是“寫時復制”名稱的由來復制不在fork時發(fā)生而在第一次寫入時發(fā)生。4.4 fork 不是 O(1)fork的主要成本包括復制父進程的頁表以及創(chuàng)建子進程的內(nèi)核數(shù)據(jù)結(jié)構(gòu)。對于一個擁有10GB駐留內(nèi)存的進程按4KB頁面計算約有262萬個頁表項復制這些頁表項、建立VMA結(jié)構(gòu)、維護反向映射、處理TLB同步等都會產(chǎn)生顯著開銷。4.5 兩種典型后續(xù)場景場景Afork后立即exec子進程很快執(zhí)行execve替換地址空間絕大多數(shù)共享頁根本不會被寫入COW避免了幾乎所有的數(shù)據(jù)復制這也是傳統(tǒng)fork()exec()模式高效的核心原因。場景B子進程修改大量內(nèi)存如果子進程寫入所有駐留頁每個頁面都會觸發(fā)一次COW故障最終物理內(nèi)存占用接近翻倍。此時COW只是把復制的時機從fork延遲到了寫入并沒有消除復制本身。COW優(yōu)化的是“永遠不會被修改的頁”的復制開銷而不是消除所有復制五、mmap()mmap的定義是在調(diào)用進程的虛擬地址空間中創(chuàng)建一個新的內(nèi)存映射。理解了VMA和頁表的分層后mmap就非常容易納入整個體系。5.1 mmap映射映射可以從兩個維度分類按后備存儲分匿名映射MAP_ANONYMOUS沒有普通文件作為后備存儲內(nèi)容初始化為0。文件映射以普通文件或設(shè)備文件作為后備存儲映射內(nèi)容對應(yīng)文件的指定偏移范圍。按共享語義分私有映射MAP_PRIVATE修改對其他進程不可見文件映射不會寫回底層文件。這類映射使用寫時復制機制。共享映射MAP_SHARED修改對共享該映射的所有進程可見文件映射會寫回底層文件。這類映射不使用COW。5.2 mmap 與 fork、COW 的關(guān)聯(lián)mmap內(nèi)存映射會跨fork保留并且保持相同的屬性。結(jié)合COW機制可以得到完整的鏈路創(chuàng)建 MAP_PRIVATE | MAP_ANONYMOUS 私有匿名映射 │ ▼ fork() │ ▼ 父子共享物理頁面PTE只讀 │ ▼ 任一方寫入 → 保護缺頁 → COW匿名映射以及大多數(shù)MAP_PRIVATE的文件映射都是可能發(fā)生COW故障的映射而MAP_SHARED映射不屬于COW映射。六、fork 一個 10GB 進程會怎樣問題fork一個占用10GB虛擬地址空間、8GB物理駐留內(nèi)存的進程會立即復制10GB數(shù)據(jù)嗎回答不會立即復制全部用戶數(shù)據(jù)。Linux的fork()采用Copy-on-Write機制fork完成后父子進程擁有獨立的虛擬地址空間和獨立的頁表結(jié)構(gòu)但所有私有可寫頁面的PTE最初都指向相同的物理頁幀且被標記為只讀。當父進程或子進程嘗試寫入這些共享頁時MMU會檢測到權(quán)限不匹配觸發(fā)保護型頁錯誤。內(nèi)核的缺頁處理程序確認這是合法的COW映射后會分配新的物理頁、復制原頁內(nèi)容、更新寫入方的頁表項并刷新TLB之后程序繼續(xù)執(zhí)行。但fork也絕非O(1)操作。它仍然需要復制所有VMA元數(shù)據(jù)、復制各級頁表條目、創(chuàng)建子進程的內(nèi)核調(diào)度結(jié)構(gòu)、維護反向映射并且需要處理TLB刷新與緩存一致性問題。對于8GB駐留內(nèi)存的進程僅頁表復制就需要處理數(shù)百萬個PTE會產(chǎn)生可觀測的延遲。如果子進程隨后調(diào)用exec替換地址空間那么大部分頁面都不會被復制COW的收益最大化如果子進程修改大部分駐留內(nèi)存那么每個被修改的頁面都會產(chǎn)生一次COW故障和頁面復制最終物理內(nèi)存占用會接近翻倍。延伸追問的應(yīng)答鏈問為什么寫入會產(chǎn)生頁錯誤答因為fork時將共享頁的PTE寫權(quán)限清空了寫入操作與PTE權(quán)限沖突觸發(fā)保護型頁錯誤。問修改頁表權(quán)限后為什么要刷新TLB答如果TLB中已經(jīng)緩存了舊的可寫映射CPU會繼續(xù)使用過期的TLB條目導致COW機制失效。修改PTE后必須無效化對應(yīng)的TLB條目。問TLB Miss就是頁錯誤嗎答不是。TLB Miss后CPU會自動執(zhí)行硬件頁表遍歷只有頁表遍歷后發(fā)現(xiàn)PTE不存在或權(quán)限違規(guī)才會觸發(fā)頁錯誤。問mmap和這個有什么關(guān)系答mmap的作用是創(chuàng)建VMA建立虛擬地址空間的邏輯映射物理頁和PTE可以通過請求調(diào)頁在首次訪問時建立。MAP_PRIVATE映射還會啟用寫時復制機制。問頁錯誤一定會訪問磁盤嗎答不一定。COW、匿名頁分配、頁緩存命中都屬于次缺頁不需要磁盤I/O只有需要從磁盤讀入文件或從swap換入時才是主缺頁。寫在最后掌握上述完整鏈路后還可以繼續(xù)向更深層拓展x86-64地址編碼細節(jié)虛擬地址如何拆分為各級頁表索引PTE中各個標志位Present、R/W、U/S、Accessed、Dirty等的含義與作用。反向映射rmap內(nèi)核如何從物理頁反向找到所有映射它的VMA這是頁回收、swap的基礎(chǔ)。透明巨頁THP巨頁模式下頁表層級減少、TLB命中率提升對COW與缺頁路徑的影響。頁回收與swap物理內(nèi)存不足時內(nèi)核如何選擇回收頁、如何寫回磁盤或交換分區(qū)。虛擬內(nèi)存是操作系統(tǒng)最核心的抽象之一是硬件架構(gòu)、內(nèi)核設(shè)計、進程模型、系統(tǒng)調(diào)用層層協(xié)作的系統(tǒng)工程。當把fork、mmap、page fault、TLB、頁表、COW從六個孤立的知識點串成一條從CPU指令到物理內(nèi)存的完整執(zhí)行鏈路時才算真正理解了虛擬內(nèi)存的運行機制。