RustFS 分布式 4 節(jié)點(diǎn) 4 盤(pán) E2E 測(cè)試指南拓?fù)湓O(shè)計(jì)、覆蓋范圍與本地運(yùn)行【免費(fèi)下載鏈接】rustfs2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/rus/rustfs本文是 RustFS 倉(cāng)庫(kù)內(nèi)e2e-distributed分布式端到端測(cè)試車(chē)道的完整技術(shù)指南。該車(chē)道在單臺(tái)機(jī)器上以127.0.0.1上不同端口真實(shí)拉起 4 個(gè) rustfs 進(jìn)程每節(jié)點(diǎn) 4 塊數(shù)據(jù)盤(pán)用于驗(yàn)證 S3 語(yǔ)義、對(duì)象鎖、版本控制、跨集群復(fù)制、配額、池?cái)U(kuò)容/下線(xiàn)/再平衡、站點(diǎn)復(fù)制、混沌故障注入與升級(jí)兼容性。讀完本文你將掌握該車(chē)道的拓?fù)浔磉_(dá)約束、測(cè)試覆蓋清單、與其他 CI 車(chē)道的邊界劃分以及如何在本機(jī)復(fù)現(xiàn)這套 4×4 分布式測(cè)試。測(cè)試拓?fù)鋯螜C(jī)多進(jìn)程的集群仿真分布式 E2E 測(cè)試的核心思想是不依賴(lài)真實(shí)多主機(jī)基礎(chǔ)設(shè)施而是在同一臺(tái)機(jī)器上以127.0.0.1的不同端口運(yùn)行多個(gè) rustfs 進(jìn)程每個(gè)進(jìn)程扮演一個(gè)集群節(jié)點(diǎn)。這套 in-tree 測(cè)試框架對(duì)應(yīng) crates/e2e_test/src/common.rs 中的RustFSTestClusterEnvironment它負(fù)責(zé)為每個(gè)節(jié)點(diǎn)分配獨(dú)立端口、獨(dú)立數(shù)據(jù)目錄并通過(guò)RUSTFS_VOLUMES環(huán)境變量組裝節(jié)點(diǎn)的磁盤(pán)布局。文檔給出了三種基礎(chǔ)拓?fù)湫螒B(tài)均通過(guò)ClusterTopology的構(gòu)造函數(shù)表達(dá)布局構(gòu)造函數(shù)用途4 節(jié)點(diǎn) × 4 盤(pán)單池ClusterTopology::single_pool_multidrive(4, 4)S3、對(duì)象鎖、版本控制、配額、可觀測(cè)性、并發(fā)、混沌4 節(jié)點(diǎn) × 1 盤(pán)單池ClusterTopology::single_pool(4)雙站點(diǎn)復(fù)制共 8 個(gè)進(jìn)程從固定歷史版本做直接/滾動(dòng)升級(jí)1 個(gè)單節(jié)點(diǎn)池 × 4 盤(pán)隨后三次append_single_node_pool擴(kuò)容種子池?cái)U(kuò)容隨后下線(xiàn) / 再平衡 / 完整性源碼側(cè)ClusterTopology位于 crates/e2e_test/src/common.rs除了上述兩個(gè)構(gòu)造函數(shù)外還提供per_node_pools(drives_per_node, pools)每個(gè)池獨(dú)占一個(gè)節(jié)點(diǎn)以及append_single_node_pool()向已停止的多池集群追加一個(gè)新的單節(jié)點(diǎn) erasure 池用于模擬池?cái)U(kuò)容。ClusterTopology::validate()會(huì)在啟動(dòng)前完成拓?fù)浜戏ㄐ孕ｒ?yàn)節(jié)點(diǎn)必須全部被分配且只屬于一個(gè)池、多池拓?fù)湟骴rives_per_node 2服務(wù)端解析器拒絕單盤(pán)省略號(hào)池drive{0...0}、跨多個(gè) localhost 節(jié)點(diǎn)的池不可表達(dá)。單機(jī)拓?fù)涞谋磉_(dá)約束為什么多節(jié)點(diǎn)條帶池不可表達(dá)在127.0.0.1上表達(dá)多池布局存在一個(gè)硬性限制任何跨越多個(gè) localhost 端口的池都是不可表達(dá)的。原因是RUSTFS_VOLUMES的 host 省略號(hào)語(yǔ)法如127.0.0.1:900{0...1}會(huì)強(qiáng)制這些端口共享同一磁盤(pán)路徑從而在物理路徑上發(fā)生沖突。因此多池拓?fù)渲忻總€(gè)池只能擁有一個(gè)節(jié)點(diǎn)。從源碼看build_volumes_arg()crates/e2e_test/src/common.rs對(duì)單池布局逐條枚舉每個(gè) (node, drive) 端點(diǎn)并用空格連接對(duì)多池布局則為每個(gè)單節(jié)點(diǎn)池生成一個(gè)省略號(hào)參數(shù)http://addrnode-base/drive{0...N-1}。服務(wù)端按空格拆分RUSTFS_VOLUMES每個(gè)省略號(hào)參數(shù)成為一個(gè)獨(dú)立池。多主機(jī)條帶化擴(kuò)容池仍然屬于硬件功能鏈車(chē)道backlog #1313 / #1314的職責(zé)范圍本車(chē)道有意不表達(dá)該形態(tài)。此外當(dāng)拓?fù)錇槎啾P(pán)drives_per_node 1時(shí)with_topology()會(huì)給每個(gè)節(jié)點(diǎn)追加RUSTFS_UNSAFE_BYPASS_DISK_CHECKtrue這些盤(pán)位于同一臨時(shí)文件系統(tǒng)上服務(wù)端的物理磁盤(pán)唯一性安全檢查會(huì)拒絕啟動(dòng)必須顯式繞過(guò)。數(shù)據(jù)搬遷用例的 fail-closed 語(yǔ)義本車(chē)道對(duì) decommission下線(xiàn)與 rebalance再平衡用例采用了**失敗即關(guān)閉fail closed**的嚴(yán)格判定策略杜絕空跑通過(guò)。文檔明確規(guī)定一個(gè)通過(guò)的下線(xiàn)或再平衡測(cè)試必須同時(shí)滿(mǎn)足觀察到成功的啟動(dòng)響應(yīng)觀察到 active進(jìn)行中狀態(tài)觀察到干凈的終態(tài)terminal state移動(dòng)計(jì)數(shù)器非零操作結(jié)束后對(duì)象完整性校驗(yàn)通過(guò)。反之任何不支持的響應(yīng)、HTTP 5xx、缺失狀態(tài)字段、清理告警或零進(jìn)度的終態(tài)響應(yīng)都會(huì)導(dǎo)致用例失敗。僅憑操作前后 S3 可用并不能證明數(shù)據(jù)移動(dòng)確實(shí)發(fā)生過(guò)——這對(duì)應(yīng) crates/e2e_test/src/distributed/harness.rs 中的wait_for_decommission_active/wait_for_decommission_complete/wait_for_rebalance_active/wait_for_rebalance_complete以及 inventory 完整性斷言。具體到測(cè)試用例crates/e2e_test/src/distributed/expand_decommission_rebalance_test.rs 中的four_pool_decommission_moves_objects_without_loss先把基線(xiàn)對(duì)象、版本歷史和多部分multipart數(shù)據(jù)寫(xiě)入池 0隨后擴(kuò)展到四個(gè)池最后下線(xiàn)池 0DECOMMISSION_POOL_ID 0。這樣通過(guò)結(jié)果證明的是用戶(hù)數(shù)據(jù)的真實(shí)遷移而非僅僅一個(gè)內(nèi)部元數(shù)據(jù)計(jì)數(shù)器的變化。同樣four_node_pool_expand_preserves_objects_then_rebalance先寫(xiě)入 64 個(gè) 256 KiB 對(duì)象構(gòu)成 inventory逐步從 2 個(gè)池?cái)U(kuò)展到 4 個(gè)池每次擴(kuò)展后都從新節(jié)點(diǎn)和舊節(jié)點(diǎn)雙重校驗(yàn)對(duì)象完整性。池?cái)U(kuò)容對(duì)隔離文件系統(tǒng)的要求池?cái)U(kuò)容用例依賴(lài)每個(gè)池報(bào)告獨(dú)立的容量。問(wèn)題在于runner 文件系統(tǒng)上的四個(gè)目錄返回完全相同的statfs總量RustFS 會(huì)據(jù)此判定沒(méi)有任何池比集群平均值更空閑從而不執(zhí)行任何再平衡。為解決這個(gè)問(wèn)題CI 作業(yè)運(yùn)行在 GitHub 托管的ubuntu-latest上掛載四個(gè)獨(dú)立的 1 GiB tmpfs 文件系統(tǒng)并通過(guò)RUSTFS_E2E_POOL_ROOTS導(dǎo)出它們的絕對(duì)路徑。文檔特別解釋了為什么不使用自托管的sm-standard-4ARC pods這些 pod 無(wú)法創(chuàng)建文件系統(tǒng)——mount -o loop因缺少/dev/loop-control報(bào)No such file or directorymount -t tmpfs因初始命名空間缺少CAP_SYS_ADMIN報(bào)cannot mount tmpfs read-only。帶大小的 tmpfs 仍然會(huì)報(bào)告不同的st_dev和獨(dú)立的 1 GiBstatfs容量足以滿(mǎn)足校驗(yàn)。對(duì)應(yīng)的校驗(yàn)邏輯在 crates/e2e_test/src/distributed/harness.rs 的validate_pool_storage_roots()它拒絕缺失、重復(fù)、相對(duì)路徑、不存在或同設(shè)備st_dev相同的根目錄而不是允許一次空洞的移動(dòng)通過(guò)。RUSTFS_E2E_POOL_ROOTS必須恰好包含 4 個(gè)絕對(duì)路徑。擴(kuò)容流程本身也遵循嚴(yán)格的過(guò)程紀(jì)律計(jì)劃內(nèi)的池追加以SIGTERM 優(yōu)雅停止所有進(jìn)程硬殺進(jìn)程僅保留給混沌故障用例第四個(gè)池加入后harness 執(zhí)行一次完整的優(yōu)雅持久重啟這證明擴(kuò)展后的池映射在重啟后仍然存在并確保只有在每個(gè)副本都能加載收斂后的元數(shù)據(jù)之后移動(dòng)才會(huì)開(kāi)始擴(kuò)容夾具是全當(dāng)前版本二進(jìn)制的機(jī)群因此以文檔化的V3 寫(xiě)入與機(jī)群確認(rèn)門(mén)RUSTFS_POOL_META_V3_WRITEtrue、RUSTFS_POOL_META_V3_FLEET_CONFIRMEDtrue見(jiàn) harness.rs 的POOL_META_V3_ENV初始化池元數(shù)據(jù)。該車(chē)道覆蓋的測(cè)試范圍cargo nextest run --profile e2e-distributed -p e2e_test通過(guò) nextest 的默認(rèn)過(guò)濾器選擇distributed::*模塊見(jiàn) .config/nextest.toml 中[profile.e2e-distributed]的default-filter package(e2e_test) test(/^distributed::/)。測(cè)試源碼位于 crates/e2e_test/src/distributed/模塊清單在 mod.rs 中聲明包括s3_basic_test、object_lock_test、versioning_test、replication_quota_test、observability_test、expand_decommission_rebalance_test、concurrent_data_movement_test、s3_during_data_movement_test、data_integrity_movement_test、site_replication_test、chaos_test、concurrency_stability_test、upgrade_test、extra_test和共享的harness.rs。車(chē)道覆蓋的具體行為包括S3 基礎(chǔ)語(yǔ)義put / get / head / list / copy / rename / delete / presign范圍讀與條件讀、特殊字符 key、元數(shù)據(jù)、標(biāo)簽、分頁(yè)、空對(duì)象、multipart 完成與中止對(duì)象鎖Object LockCOMPLIANCE、GOVERNANCE 與繞過(guò)bypass、legal hold、bucket 默認(rèn)保留期、非鎖桶拒絕版本控制精確歷史讀取、刪除標(biāo)記移除、掛起狀態(tài)的 null 版本覆蓋語(yǔ)義跨集群桶復(fù)制兩個(gè) 4 節(jié)點(diǎn)集群之間復(fù)制含元數(shù)據(jù)/標(biāo)簽、目標(biāo)故障重試、硬配額準(zhǔn)入與拒絕 key 的缺席驗(yàn)證可觀測(cè)性每個(gè)節(jié)點(diǎn)的 ready/live 探針、精確的 4 server / 16 disk 清單、每個(gè)節(jié)點(diǎn)的實(shí)時(shí)指標(biāo)、關(guān)聯(lián)的審計(jì) webhook 投遞?？捎^測(cè)性用例運(yùn)行在 WARN 級(jí)別并掛起兩個(gè)節(jié)點(diǎn)進(jìn)程以模擬無(wú)響應(yīng)對(duì)端緩存盤(pán)立即變?yōu)?unknown、精確的每節(jié)點(diǎn) HTTP PUT 增量暴露亞法定人數(shù)sub-quorum失敗、本地元數(shù)據(jù)快照不會(huì)虛構(gòu)寫(xiě)鎖、恢復(fù)的對(duì)端允許新寫(xiě)入且從每個(gè)節(jié)點(diǎn)讀到字節(jié)一致的數(shù)據(jù)——這模擬的是停滯進(jìn)程而非物理網(wǎng)絡(luò)分區(qū)池生命周期池?cái)U(kuò)容、下線(xiàn)、再平衡、校驗(yàn)和完整性、版本化與 multipart 數(shù)據(jù)、移動(dòng)期間的 S3 可用性雙站點(diǎn)復(fù)制雙向收斂以及兩個(gè)站點(diǎn)的 enabled/synchronized 對(duì)等狀態(tài)并發(fā)與壓力24 worker 的混合 PUT/HEAD/GET/COPY/DELETE 負(fù)載、活躍下線(xiàn)期間的并發(fā) PUT故障注入節(jié)點(diǎn) kill/重啟、完整進(jìn)程重啟、節(jié)點(diǎn)面向 TCP 黑洞/恢復(fù)、跨對(duì)端 kill 的進(jìn)行中流式 GET、以及通過(guò)物理xl.meta/ part-shard 盤(pán)點(diǎn)驗(yàn)證的新盤(pán)替換列表一致性multipart、跨節(jié)點(diǎn)列表、list-buckets 一致性升級(jí)兼容從固定歷史版本做直接與滾動(dòng)升級(jí)之后歷史對(duì)象、版本化歷史與 IAM 用戶(hù) AK/SK 仍正常工作。與其他 CI 車(chē)道的邊界本車(chē)道不替代什么該車(chē)道定位是填補(bǔ) in-tree 的 4×4 覆蓋空白既有的其他測(cè)試套件保持不變。文檔給出了完整的邊界對(duì)照表既有車(chē)道空白rustfs-*-test.yml功能鏈克隆私有rustfs/auto-testing運(yùn)行在三臺(tái)共享 VMvm000–vm002上continue-on-error: true不是合并信號(hào)也不是 4 節(jié)點(diǎn)。硬件rustfs-upgrade-test.yml仍留在那里e2e-upgrade.yml單節(jié)點(diǎn) SSE/multipart/delete-marker 契約加混合版本列表不在 4 節(jié)點(diǎn)集群上固定 IAM 用戶(hù) AK/SKe2e-smoke/e2e-full多數(shù)選定用例是單節(jié)點(diǎn)分布式模塊有意由本串行車(chē)道獨(dú)占e2e-nightly4 節(jié)點(diǎn)集群故障與修復(fù)而非 S3/鎖/版本控制/配額/下線(xiàn)矩陣e2e-repl-nightly在 1–3 個(gè)單節(jié)點(diǎn)進(jìn)程上進(jìn)行站點(diǎn)與桶復(fù)制e2e-s3tests.ymlmulti每周對(duì) Docker 4 節(jié)點(diǎn)運(yùn)行 ceph/s3-tests不含鎖/WORM、下線(xiàn)、混沌或校驗(yàn)和完整性crates/e2e_test/src/chaos.rs僅單節(jié)點(diǎn)磁盤(pán)故障硬件層面的斷電、物理網(wǎng)卡拔除、帶認(rèn)證的節(jié)點(diǎn)間分區(qū)、固件/介質(zhì)錯(cuò)誤與替換服務(wù)器供應(yīng)仍屬于硬件驗(yàn)證 VM 的職責(zé)。本車(chē)道提供的是確定性的進(jìn)程 kill、全新本地卷替換與節(jié)點(diǎn)面向 TCP 黑洞的模擬手段不宣稱(chēng)物理故障認(rèn)證。本地運(yùn)行指南本地復(fù)現(xiàn)這套 4×4 分布式測(cè)試的完整流程如下cargo build -p rustfs --bins # 擴(kuò)容/下線(xiàn)/再平衡用例需要四條位于不同文件系統(tǒng)上的路徑。 # 如果沒(méi)有四塊磁盤(pán)帶大小的 tmpfs 就夠了 # for p in 0 1 2 3; do # sudo mkdir -p /mnt/rustfs-pool-$p # sudo mount -t tmpfs -o size1G,nosuid,nodev,mode1777 tmpfs /mnt/rustfs-pool-$p # done export RUSTFS_E2E_POOL_ROOTS/mnt/rustfs-pool-0:/mnt/rustfs-pool-1:/mnt/rustfs-pool-2:/mnt/rustfs-pool-3 # 升級(jí)用例需要固定的歷史二進(jìn)制CI 會(huì)下載它。 export RUSTFS_UPGRADE_SOURCE_BINARY/path/to/rustfs-1.0.0-rc.2 cargo nextest run --profile e2e-distributed -p e2e_test兩個(gè)環(huán)境變量都是硬性前置條件缺失時(shí)對(duì)應(yīng)用例失敗關(guān)閉沒(méi)有RUSTFS_UPGRADE_SOURCE_BINARY兩個(gè)distributed::upgrade_test::*用例會(huì)失敗沒(méi)有四條不同的RUSTFS_E2E_POOL_ROOTS擴(kuò)容與數(shù)據(jù)搬遷用例會(huì)失敗。如果本地運(yùn)行不檢查升級(jí)可以過(guò)濾掉升級(jí)用例cargo nextest run --profile e2e-distributed -p e2e_test -E not test(/^distributed::upgrade_test::/)升級(jí)拓?fù)涫褂肅lusterTopology::single_pool(4)4 節(jié)點(diǎn) × 1 盤(pán)這與 crates/e2e_test/src/upgrade_compatibility_test.rs 中已被驗(yàn)證的混合版本夾具一致4×4 localhost 磁盤(pán)會(huì)被歷史版本的同設(shè)備磁盤(pán)檢查拒絕。測(cè)試成員的歸屬由 .config/e2e-distributed-selection.txt 固定內(nèi)含 Linux 與 Darwin 平臺(tái)的選擇摘要哈希。新增或重命名用例后需要按文檔所述用python3 ./scripts/check_test_wiring.py --update-profile e2e-distributed listing.json platform更新 Linux 與 Darwin 兩條條目以保證 CI 能檢測(cè)到成員變更。CI 工作流tmpfs 掛載與失敗告警.github/workflows/e2e-distributed.yml 是這條車(chē)道的 CI 載體其設(shè)計(jì)要點(diǎn)與本地運(yùn)行一一對(duì)應(yīng)觸發(fā)條件對(duì)涉及存儲(chǔ)棧的路徑Cargo.lock、Cargo.toml、.config/nextest.toml、crates/e2e_test/**、crates/ecstore/**、rustfs/**等的 PR、手動(dòng)workflow_dispatch可選-E過(guò)濾器輸入以及每天 05:53 UTC 的定時(shí)任務(wù)runner 選擇ubuntu-latestGitHub 托管 VM因?yàn)?loop 與 tmpfs 掛載在這里可用sm-standard-4ARC pod 兩者都拒絕準(zhǔn)備步驟在RUNNER_TEMP/rustfs-e2e-pools下掛載四個(gè) 1 GiB tmpfssize1G,nosuid,nodev,mode1777并導(dǎo)出RUSTFS_E2E_POOL_ROOTS環(huán)境變量作業(yè)結(jié)束時(shí)含失敗統(tǒng)一卸載歷史版本下載從 release 下載固定版本1.0.0-rc.2的 zip 包校驗(yàn) SHA-256 后解壓導(dǎo)出RUSTFS_UPGRADE_SOURCE_BINARY成員校驗(yàn)cargo nextest list --profile e2e-distributed --message-format json生成清單隨后python3 ./scripts/check_test_wiring.py --check-profile e2e-distributed核對(duì)成員與 scripts/check_test_wiring.py 中實(shí)現(xiàn)的 selection 摘要機(jī)制配合執(zhí)行cargo nextest run --profile e2e-distributed -p e2e_test --no-testsfail手動(dòng)觸發(fā)時(shí)可傳入-E過(guò)濾器串行化.config/nextest.toml中[profile.e2e-distributed]將整個(gè)package(e2e_test) test(/^distributed::/)歸入e2e-cluster-nightly測(cè)試組max-threads 1因?yàn)槊總€(gè)用例會(huì)啟動(dòng)四個(gè) rustfs 進(jìn)程和多達(dá)十六個(gè)數(shù)據(jù)目錄多個(gè) 4×4 集群絕不能同時(shí)運(yùn)行同時(shí)設(shè)置slow-timeout { period 120s, terminate-after 6 }覆蓋下線(xiàn)/再平衡用例長(zhǎng)達(dá) 180 秒的輪詢(xún)等待失敗告警定時(shí)運(yùn)行失敗時(shí)由alert-on-failure作業(yè)通過(guò).github/actions/schedule-failure-issue打開(kāi)或更新跟蹤 issue并上傳 junit.xml、成員清單與節(jié)點(diǎn)日志供排障。小結(jié)e2e-distributed車(chē)道把4 節(jié)點(diǎn) × 4 盤(pán)真實(shí)集群壓縮進(jìn)一臺(tái) CI VM通過(guò) distinct 端口上的多進(jìn)程、RUSTFS_VOLUMES的池布局表達(dá)、隔離 tmpfs 的獨(dú)立容量校驗(yàn)、以及 fail-closed 的數(shù)據(jù)搬遷斷言在合并門(mén)禁中持續(xù)驗(yàn)證 RustFS 的多節(jié)點(diǎn) S3 語(yǔ)義、數(shù)據(jù)耐久性與集群生命周期操作。對(duì)開(kāi)發(fā)者而言本地只要備好四個(gè)隔離文件系統(tǒng)與固定的歷史版本二進(jìn)制就能完整復(fù)現(xiàn)這條與生產(chǎn)多節(jié)點(diǎn)形態(tài)最接近的自動(dòng)化測(cè)試鏈。【免費(fèi)下載鏈接】rustfs2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/rus/rustfs創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考