簡介這份《VMware服務(wù)器虛擬化解決方案(詳細).doc》面向企業(yè)IT運維人員、虛擬化架構(gòu)師及備考相關(guān)認(rèn)證的技術(shù)學(xué)習(xí)者系統(tǒng)講解如何借助vSphere、vCenter Server與Lab Manager構(gòu)建高效數(shù)據(jù)中心解決服務(wù)器數(shù)量激增帶來的資金、人力與管理壓力。文檔圍繞vCompute、vStorage、vNetwork三大方向展開涵蓋服務(wù)器整合、商業(yè)連續(xù)性、測試與開發(fā)三類解決方案并給出需求分析、方案拓撲圖、軟硬件需求、基礎(chǔ)架構(gòu)服務(wù)層與應(yīng)用程序服務(wù)層劃分、異地容災(zāi)技術(shù)及與同類產(chǎn)品的效率控制對比等完整設(shè)計思路。資源包共1個doc文件約3.39MB內(nèi)容以方案論述與架構(gòu)說明為主目錄層級清晰便于按模塊查閱。目前已有2732人學(xué)習(xí)下載適合需要落地虛擬化項目、撰寫實施方案或梳理vSphere部署邏輯的讀者參考借鑒。1. 從一份“詳細.doc”說起服務(wù)器虛擬化到底在解決什么問題如果你手里也有一份叫《VMware服務(wù)器虛擬化解決方案(詳細).doc》的文檔大概率是兩種處境之一要么是老板丟過來讓你照著落地要么是你自己準(zhǔn)備寫這么一份東西卻不確定該往里面塞什么。我見過太多這類方案文檔最后變成產(chǎn)品彩頁的拼貼——ESXi、vCenter、HA、DRS 名詞堆了一頁真到機房上架那天網(wǎng)卡怎么接、存儲怎么劃、虛擬機放哪臺宿主機全得重新想。服務(wù)器虛擬化這件事核心從來不是“裝個 VMware”而是把一堆物理服務(wù)器的 CPU、內(nèi)存、存儲、網(wǎng)絡(luò)抽象成可調(diào)度、可遷移、可恢復(fù)的資源池讓業(yè)務(wù)不再和某臺具體機器綁死。這份方案要回答的就是一臺物理機怎么變成十幾臺虛擬機、這些虛擬機怎么在網(wǎng)絡(luò)和存儲上活下來、壞了怎么自動起來。適合正在做機房整合、業(yè)務(wù)上云第一步、或者要把老舊物理機遷進虛擬化平臺的運維和架構(gòu)同學(xué)。下面我按一份能真正落地的方案該有的順序把選型、設(shè)計、實施和踩坑講透。2. 方案骨架怎么搭從物理資源盤點到集群拓撲設(shè)計一份能落地的服務(wù)器虛擬化方案第一頁不該是產(chǎn)品介紹而應(yīng)該是現(xiàn)狀盤點表。我一般會先拉三張表現(xiàn)有物理服務(wù)器清單型號、CPU 核數(shù)、內(nèi)存、本地盤、網(wǎng)卡數(shù)量、業(yè)務(wù)系統(tǒng)清單操作系統(tǒng)、資源占用峰值、依賴關(guān)系、能否停機、存儲與網(wǎng)絡(luò)現(xiàn)狀有沒有共享存儲、交換機端口余量、VLAN 規(guī)劃。這三張表決定了后面所有設(shè)計的上限。很多方案翻車不是技術(shù)不行是盤點階段漏了一臺跑著老數(shù)據(jù)庫的物理機遷移時才發(fā)現(xiàn)它用的是本地 RAID 卡且不支持直通。2.1 先算資源賬CPU 超分比和內(nèi)存預(yù)留怎么定虛擬化最容易被誤解的一點是“一臺物理機能塞多少虛擬機”。CPU 可以超分內(nèi)存不能隨便超。我的經(jīng)驗值是這樣CPU 超分比vCPU 總數(shù) ÷ 物理邏輯核數(shù)在通用業(yè)務(wù)場景下控制在 4:1 到 6:1如果是高頻交易或?qū)崟r計算類業(yè)務(wù)壓到 2:1 以內(nèi)。內(nèi)存則相反物理內(nèi)存的 80% 是可分配上限剩下 20% 留給 ESXi 自身和突發(fā)開銷。舉個例子一臺雙路 16 核共 32 邏輯核、256GB 內(nèi)存的宿主機按 5:1 超分可以給到 160 個 vCPU按內(nèi)存算 256×0.8204GB 可分配如果每臺虛擬機配 8GB 內(nèi)存內(nèi)存先到瓶頸只能放 25 臺左右。所以資源賬要按短板算不是按 CPU 算。資源類型可分配上限常見超分比瓶頸判斷CPU物理邏輯核 × 超分比4:1 ~ 6:1看業(yè)務(wù)峰值就緒時間內(nèi)存物理內(nèi)存 × 80%不超分通常先到瓶頸存儲 IOPS根據(jù)磁盤類型實測按業(yè)務(wù)峰值疊加看數(shù)據(jù)盤類型網(wǎng)絡(luò)帶寬物理網(wǎng)卡上行 × 冗余按 VLAN 隔離看東西向流量這張表建議直接放進方案文檔評審時誰都能看懂瓶頸在哪。2.2 集群拓撲三臺起步管理網(wǎng)和業(yè)務(wù)網(wǎng)必須分開集群規(guī)模不是越大越好。我一般建議生產(chǎn)集群從 3 臺宿主機起步最多不超過 8 臺。3 臺的意義在于一臺維護時剩下兩臺還能承載全部業(yè)務(wù)并保留 HA 切換能力。超過 8 臺后vMotion 網(wǎng)絡(luò)和共享存儲的爭用會變得明顯故障域也太大。網(wǎng)絡(luò)設(shè)計上管理網(wǎng)ESXi 管理、vCenter、vMotion 網(wǎng)、存儲網(wǎng)iSCSI/NFS、業(yè)務(wù)網(wǎng)必須用獨立 VLAN 或獨立物理網(wǎng)卡。我見過把管理網(wǎng)和業(yè)務(wù)網(wǎng)混在一個 VLAN 的方案結(jié)果一次業(yè)務(wù)廣播風(fēng)暴直接把 vCenter 打掛所有宿主機失聯(lián)只能去機房一臺臺重啟管理代理。# 在 ESXi 主機上查看物理網(wǎng)卡和上行鏈路狀態(tài) esxcli network nic list esxcli network vswitch standard list # 查看 vMotion 和存儲網(wǎng)卡是否獨立 esxcli network ip interface list這幾條命令用來確認(rèn)網(wǎng)卡分配是否符合設(shè)計。esxcli network nic list看物理網(wǎng)卡數(shù)量和鏈路狀態(tài)vswitch standard list看虛擬交換機上掛了哪些上行鏈路ip interface list看 VMkernel 接口分別綁在哪個 vSwitch 上。如果發(fā)現(xiàn) vMotion 和存儲共用同一塊物理網(wǎng)卡方案里就要補一條整改項加網(wǎng)卡或至少做流量整形。3. 存儲與網(wǎng)絡(luò)設(shè)計共享存儲選型、iSCSI 配置和多路徑存儲是服務(wù)器虛擬化里最容易出玄學(xué)問題的地方。方案文檔里如果只寫“采用共享存儲”實施時一定扯皮。共享存儲選型要看業(yè)務(wù)對 IOPS 和延遲的要求一般業(yè)務(wù)用 NFS 或 iSCSI 跑在千兆/萬兆以太網(wǎng)就行數(shù)據(jù)庫類業(yè)務(wù)建議用 FC 或 iSCSI 萬兆并做多路徑。我一般會先問一句業(yè)務(wù)峰值 IOPS 是多少如果對方答不上來就按每臺虛擬機 50~100 IOPS 估算再乘虛擬機數(shù)量留 30% 余量。3.1 iSCSI 存儲配置發(fā)現(xiàn)、綁定和 multipath 三件事iSCSI 配置在 ESXi 上分三步配 VMkernel 存儲網(wǎng)口、配 iSCSI 軟件適配器、綁 VMkernel 端口。順序錯了會出現(xiàn)“能看到目標(biāo)但連不上”的情況。下面是我常用的配置流程。# 1. 創(chuàng)建用于 iSCSI 的 VMkernel 接口假設(shè)在 vSwitch1 上 esxcli network ip interface add --interface-namevmk1 --portgroup-nameiSCSI esxcli network ip interface ipv4 set --interface-namevmk1 --ipv4192.168.100.10 --netmask255.255.255.0 --typestatic # 2. 啟用 iSCSI 軟件適配器 esxcli iscsi software set --enabledtrue esxcli iscsi adapter list # 3. 綁定 VMkernel 端口到 iSCSI 適配器 esxcli iscsi networkportal add --adaptervmhba64 --nicvmk1 # 4. 添加存儲目標(biāo)發(fā)現(xiàn)地址 esxcli iscsi adapter discovery sendtarget add --adaptervmhba64 --address192.168.100.20:3260 # 5. 重新掃描 esxcli storage core adapter rescan --adaptervmhba64邏輯說明第 1 步的 VMkernel 接口必須和存儲目標(biāo)在同一網(wǎng)段且不能和 vMotion 共用。第 2 步的vmhba64是軟件 iSCSI 適配器編號不同主機可能不同用adapter list確認(rèn)。第 3 步綁定端口是 iSCSI 多路徑的前提不綁定的話 ESXi 只會走默認(rèn)路由多路徑失效。第 4 步的發(fā)現(xiàn)地址填存儲陣列的 iSCSI 業(yè)務(wù)口 IP端口默認(rèn) 3260。第 5 步掃描后如果看不到設(shè)備先檢查 VMkernel 能不能 ping 通存儲口再看存儲端有沒有做 ACL 限制。3.2 多路徑策略不是配了就有用要看存儲類型多路徑PSP策略常見的有三種MRU最近使用、Fixed固定、RR輪詢。NFS 存儲不用配 PSPiSCSI 和 FC 才需要。我一般對 Active-Active 的存儲陣列用 RR對 Active-Passive 的用 MRU。配錯策略的后果是一條路徑掛了IO 不切換虛擬機直接卡死。驗證方法很簡單在 ESXi 上跑esxcli storage nmp device list看Path Selection Policy和Operational State。# 查看設(shè)備的多路徑狀態(tài) esxcli storage nmp device list # 把某個設(shè)備改成輪詢策略 esxcli storage nmp device set --devicenaa.60060160xxxx --pspVMW_PSP_RR參數(shù)說明--device后面跟的是設(shè)備 NAA ID用device list查。--psp可選VMW_PSP_RR、VMW_PSP_MRU、VMW_PSP_FIXED。改完不需要重啟但建議在業(yè)務(wù)低峰期操作因為切換瞬間可能有短暫 IO 抖動。4. 虛擬機部署與遷移模板、規(guī)范化和批量操作方案寫到虛擬機部署這一層最容易變成“下一步下一步”的截圖流水賬。真正有價值的是模板規(guī)范和批量方法。我一般會做三件事第一做一套最小化模板只裝 VMware Tools、補丁和監(jiān)控代理不裝業(yè)務(wù)軟件第二給虛擬機定命名和資源規(guī)范比如業(yè)務(wù)名-環(huán)境-序號CPU 和內(nèi)存按業(yè)務(wù)等級分檔第三用 PowerCLI 批量部署而不是手動克隆。4.1 用 PowerCLI 從模板批量克隆虛擬機下面這段腳本是我常用的批量部署骨架從模板克隆、配資源、加網(wǎng)絡(luò)、開機一次完成。# 連接 vCenter Connect-VIServer -Server vcenter.example.com -User administratorvsphere.local -Password YourPassword # 定義虛擬機清單 $vms ( {Nameapp-prod-01; TemplateTPL-Win2022; CPU4; MemoryGB8; NetworkVLAN-Prod; DatastoreDS-Prod-01}, {Nameapp-prod-02; TemplateTPL-Win2022; CPU4; MemoryGB8; NetworkVLAN-Prod; DatastoreDS-Prod-01}, {Namedb-prod-01; TemplateTPL-Win2022; CPU8; MemoryGB16; NetworkVLAN-DB; DatastoreDS-Prod-02} ) foreach ($vm in $vms) { # 從模板克隆 New-VM -Name $vm.Name -Template $vm.Template -Datastore $vm.Datastore -VMHost (Get-Cluster Cluster-Prod | Get-VMHost | Select-Object -First 1) # 配置 CPU 和內(nèi)存 Set-VM -VM $vm.Name -NumCpu $vm.CPU -MemoryGB $vm.MemoryGB -Confirm:$false # 加入指定網(wǎng)絡(luò) Get-VM -Name $vm.Name | Get-NetworkAdapter | Set-NetworkAdapter -NetworkName $vm.Network -Confirm:$false # 開機 Start-VM -VM $vm.Name -Confirm:$false }邏輯說明New-VM的-VMHost參數(shù)如果不指定vCenter 會自動選一臺宿主機但生產(chǎn)環(huán)境建議指定集群讓 DRS 決定。Set-VM改 CPU 和內(nèi)存時如果虛擬機已經(jīng)開機內(nèi)存熱添加需要操作系統(tǒng)和 VMware Tools 支持Windows 一般可以Linux 要看內(nèi)核版本。Set-NetworkAdapter改網(wǎng)絡(luò)前確認(rèn)目標(biāo)端口組已存在否則會報錯。這段腳本適合新部署不適合遷移已有物理機。4.2 物理機遷移P2V 的適用邊界和注意點P2V物理機轉(zhuǎn)虛擬機在方案里經(jīng)常被寫成“一鍵遷移”實際限制很多。我一般只對滿足以下條件的物理機做 P2V磁盤小于 2TB、沒有特殊加密狗或硬件綁定、業(yè)務(wù)能接受一次停機、源機器和 ESXi 網(wǎng)絡(luò)互通。不滿足的寧可新裝虛擬機再遷數(shù)據(jù)。P2V 工具用 VMware vCenter Converter遷移前務(wù)必做全量備份因為轉(zhuǎn)換過程中源機器磁盤如果有壞道可能直接卡死。# 遷移前在源物理機上檢查磁盤健康Linux smartctl -a /dev/sda | grep -i reallocated\|pending # 檢查磁盤大小和分區(qū) lsblk -o NAME,SIZE,TYPE,MOUNTPOINT如果Reallocated_Sector_Ct或Current_Pending_Sector不為 0先換盤再遷否則轉(zhuǎn)換到一半失敗源機器也可能起不來。這是血淚經(jīng)驗不是理論。5. 避坑與排查服務(wù)器虛擬化落地時最容易翻車的 5 個點5.1 現(xiàn)象虛擬機開機后網(wǎng)絡(luò)不通但宿主機能 ping 通網(wǎng)關(guān)原因虛擬交換機安全策略里“偽傳輸”被拒絕或者端口組 VLAN ID 配錯。解決檢查 vSwitch 安全策略把“偽傳輸”改為接受核對端口組 VLAN ID 和物理交換機 Trunk 允許列表是否一致。我遇到過物理交換機端口沒放行對應(yīng) VLAN結(jié)果虛擬機發(fā)包全被丟。5.2 現(xiàn)象HA 配置成功但拔掉一臺宿主機電源后虛擬機沒起來原因集群里沒有可用的冗余容量或者虛擬機所在存儲是本地盤而非共享存儲。解決HA 的前提是共享存儲和預(yù)留資源。檢查集群的“接入控制”策略如果開了“集群資源百分比”但預(yù)留不夠HA 不會切換。另外虛擬機如果放在本地數(shù)據(jù)存儲上HA 無法在其他主機上注冊。5.3 現(xiàn)象vMotion 遷移到 90% 卡住最后超時失敗原因目標(biāo)主機和源主機的 CPU 特性不一致或者 vMotion 網(wǎng)絡(luò)帶寬不足。解決集群里開啟 EVC增強型 vMotion 兼容性把 CPU 基線設(shè)到所有主機都支持的代次。vMotion 網(wǎng)絡(luò)建議萬兆起步千兆下遷移大內(nèi)存虛擬機會非常慢。檢查vmk接口的 vMotion 是否啟用以及 MTU 是否一致。5.4 現(xiàn)象存儲延遲突然飆升所有虛擬機卡頓原因某臺虛擬機在跑快照或者存儲路徑出現(xiàn)“全路徑死亡”。解決先看esxcli storage nmp device list里Operational State是否都是Active再看快照管理器有沒有超過 24 小時的快照。快照不是備份長期保留會拖垮存儲性能。我一般會在方案里寫死一條快照保留不超過 48 小時。5.5 現(xiàn)象vCenter 打不開但虛擬機還在跑原因vCenter 所在的虛擬機或物理機出問題或者 STS 證書過期。解決vCenter 是管理平面掛了不影響業(yè)務(wù)平面但沒法做變更。先檢查 vCenter 虛擬機狀態(tài)如果是證書過期用certificate-manager工具續(xù)期。方案里建議把 vCenter 做成備份并記錄恢復(fù)步驟別等掛了再翻文檔。6. 進階技巧用 esxcli 和 PowerCLI 做日常巡檢與容量趨勢方案落地不是終點日常巡檢才是。我習(xí)慣每周跑一次自動化巡檢把關(guān)鍵指標(biāo)拉出來看趨勢而不是等告警。下面這段 PowerCLI 腳本用來輸出集群的 CPU、內(nèi)存和存儲容量趨勢配合esxcli做單機深度檢查。# 集群容量趨勢巡檢 $cluster Get-Cluster Cluster-Prod $hosts Get-VMHost -Location $cluster $report foreach ($h in $hosts) { [PSCustomObject]{ HostName $h.Name CPUUsageMHz [math]::Round($h.CpuUsageMhz / $h.CpuTotalMhz * 100, 2) MemUsagePct [math]::Round($h.MemoryUsageGB / $h.MemoryTotalGB * 100, 2) VMCount (Get-VM -Location $h).Count UptimeDays [math]::Round(((Get-Date) - $h.ExtensionData.Runtime.BootTime).TotalDays, 1) } } $report | Format-Table -AutoSize邏輯說明CpuUsageMhz和CpuTotalMhz是當(dāng)前使用和總?cè)萘克愠鰜硎前俜直?。MemUsageGB同理。VMCount看單臺宿主機密度是否過高。UptimeDays看有沒有長期沒重啟的主機ESXi 雖然穩(wěn)定但補丁更新需要重啟超過 180 天沒重啟的機器要安排維護窗口。這段腳本可以存成.ps1配合 Windows 任務(wù)計劃每周跑一次輸出到 CSV 做趨勢對比。# 單機深度檢查存儲路徑和 VMkernel 接口 esxcli storage nmp path list | grep -i dead\|off esxcli network ip interface list esxcli system version getpath list里如果出現(xiàn)dead或off狀態(tài)的路徑說明存儲鏈路有問題要立刻查物理交換機和存儲端口。system version get看 ESXi 版本和 build 號方案里應(yīng)該記錄基線版本升級前確認(rèn)兼容性。我一般會把這幾條命令寫進巡檢手冊新人照著跑一遍就能發(fā)現(xiàn) 80% 的隱患。最后說個我自己的習(xí)慣每次做完虛擬化方案我都會在文檔最后一頁留一塊“已知限制和未覆蓋場景”比如“本方案不包含跨機房容災(zāi)”“存儲單點未做雙活”。這塊內(nèi)容比前面所有架構(gòu)圖都值錢因為它讓后面接手的人知道邊界在哪不會以為虛擬化能解決所有問題。希望幫到你。本文還有配套的精品資源點擊獲取