簡(jiǎn)介《NetApp存儲(chǔ)日常維護(hù)手冊(cè)》是一份面向NetApp FAS系列存儲(chǔ)硬件運(yùn)維人員與存儲(chǔ)管理員的技術(shù)文檔覆蓋設(shè)備日常巡檢、系統(tǒng)管理和故障診斷核心場(chǎng)景。手冊(cè)先從FAS3200系列硬件構(gòu)成講起說(shuō)明機(jī)架、電源、磁盤(pán)等組件的特性與檢查要點(diǎn)隨后介紹System Manager圖形管理接口和命令行CLI兩種維護(hù)方式并給出設(shè)備正常開(kāi)關(guān)機(jī)順序幫助建立規(guī)范的操作意識(shí)。日常操作部分包含登錄、創(chuàng)建存儲(chǔ)池Aggregate、創(chuàng)建靈活卷FlexVol、配置NAS共享CIFS/NFS、管理Snapshot快照和目錄配額等實(shí)戰(zhàn)步驟內(nèi)容貼近真實(shí)運(yùn)維任務(wù)。故障診斷章節(jié)可幫助快速定位存儲(chǔ)資源、性能監(jiān)控和日志檢查中的常見(jiàn)問(wèn)題技術(shù)架構(gòu)部分則講解FlexVol、FlexClone等數(shù)據(jù)保護(hù)和復(fù)制機(jī)制并延伸到存儲(chǔ)虛擬化解決方案。資源包為單個(gè)doc文檔約10.3MB按硬件說(shuō)明、設(shè)備管理、日常操作、項(xiàng)目管理、技術(shù)架構(gòu)、解決方案等模塊組織層次清晰便于查閱。目前已有1932人學(xué)習(xí)適合數(shù)據(jù)中心工程師、系統(tǒng)運(yùn)維人員系統(tǒng)掌握NetApp存儲(chǔ)維護(hù)方法也是提升設(shè)備穩(wěn)定運(yùn)行與存儲(chǔ)數(shù)據(jù)安全能力的實(shí)用參考。1. 先是最容易翻車(chē)的開(kāi)關(guān)機(jī)順序NetApp存儲(chǔ)日常維護(hù)從哪開(kāi)始我接手一臺(tái)FAS3200的時(shí)候以為最難的是分清后端SAS口、前端光纖口和心跳口結(jié)果第一個(gè)翻車(chē)的居然是開(kāi)關(guān)機(jī)。某次機(jī)房斷電維護(hù)同事憑手感先把控制器電源送上磁盤(pán)柜還全滅著控制器反復(fù)重啟進(jìn)不了系統(tǒng)最后排查才發(fā)現(xiàn)是開(kāi)機(jī)時(shí)序反了。NetApp存儲(chǔ)日常維護(hù)這件事難點(diǎn)不在命令有多復(fù)雜而在于整套設(shè)備從硬件指示燈、管理接口到日常操作都有一套既定順序亂一步就要多花半天時(shí)間。這份手冊(cè)覆蓋FAS3200系列的端口與指示燈識(shí)別、System Manager與CLI登錄、存儲(chǔ)池到共享的創(chuàng)建路徑、日常巡檢清單和故障報(bào)修流程適合剛接手存儲(chǔ)的運(yùn)維同學(xué)照著走也適合值班工程師拿來(lái)當(dāng)每日檢查的參照。2. 硬件設(shè)備說(shuō)明FAS3200系列端口、指示燈與磁盤(pán)柜2.1 控制器端口一眼分清后端、心跳、前端與管理口FAS3200系列我維護(hù)的具體型號(hào)是FAS3240A/B控制器后面板一排骨架端口第一次看必然懵。這堆口功能劃分其實(shí)很清晰照下表記就行端口用途0a、0b3Gb/6Gb SAS接口接NetApp后端SAS或SATA磁盤(pán)柜c0a、c0b8Gb/10Gb心跳線接口用于HA雙控制器內(nèi)部心跳0c、0d4Gb光纖接口可接后端FC磁盤(pán)柜也可接前端FC交換機(jī)或磁帶庫(kù)e0a、e0b1Gb以太網(wǎng)接口接前端交換機(jī)或前端主機(jī)e0M、SP100Mb管理口e0M用于遠(yuǎn)程網(wǎng)絡(luò)管理SP是遠(yuǎn)程串口e0P100Mb接口用于管理內(nèi)部磁盤(pán)柜slot1~slot6擴(kuò)展槽位可插10Gb以太網(wǎng)卡支持FCoE、2/4/8Gb光纖卡、3/6Gb SAS卡、PAM II卡等這里最容易寫(xiě)錯(cuò)的是c0a/c0b它們是心跳線不是業(yè)務(wù)口。我見(jiàn)過(guò)有人把業(yè)務(wù)線誤插到心跳口結(jié)果HA主備之間通信異常故障切換時(shí)另一半遲遲起不來(lái)。0a/0b是接磁盤(pán)柜的后端存儲(chǔ)口千萬(wàn)別挪給前端業(yè)務(wù)用。e0M是遠(yuǎn)程管理口平時(shí)維護(hù)都從它進(jìn)SP是帶外串口網(wǎng)口全掛的時(shí)候還有它兜底。這些端口的作用手冊(cè)里寫(xiě)得清楚但很多人裝機(jī)那天就忘了等到排障才來(lái)回翻。2.2 電源與控制器指示燈狀態(tài)面板上的指示燈不是裝飾每次巡檢第一眼就該掃它們?？刂破髡r(shí)應(yīng)該符合這個(gè)組合Power綠燈亮、Fault橙燈滅、Activity A和Activity B綠燈亮或閃爍AE系列B燈不亮。只要指示燈狀態(tài)不符合上述組合就要找支持處理不要拖到業(yè)務(wù)告警才想起看燈。額外要注意的是NVMEM電池狀態(tài)燈。NVMEM Battery綠燈閃爍表示NVMEM處于電池備電模式系統(tǒng)運(yùn)行且Data ONTAP運(yùn)行時(shí)NVMEM會(huì)處于武裝狀態(tài)關(guān)機(jī)后NVMEM不武裝。如果這個(gè)燈狀態(tài)不對(duì)異常斷電時(shí)內(nèi)存里未落盤(pán)的數(shù)據(jù)可能保不住屬于隱性風(fēng)險(xiǎn)。Controller module fault琥珀色燈亮表示控制器正在啟動(dòng)、Data ONTAP正在初始化、控制器處于維護(hù)模式或檢測(cè)到控制器模塊故障。這里有個(gè)容易誤判的點(diǎn)升級(jí)后重啟時(shí)它亮一陣子是正常的啟動(dòng)過(guò)程不要急著報(bào)修先通過(guò)串口看是不是停在維護(hù)模式。2.3 磁盤(pán)柜、電源模塊與磁盤(pán)指示燈磁盤(pán)柜整體看Power、Warning、Activity三組燈正常是Power綠燈亮、Warning橙燈滅、Activity綠燈亮或閃爍。任何燈不符都按異常處理。磁盤(pán)柜里的電源模塊PSU狀態(tài)燈組合也值得背下來(lái)燈狀態(tài)含義狀態(tài)燈亮PSU正常AC missing燈亮該電源模塊沒(méi)有交流電輸入Fan fault燈亮風(fēng)扇故障電壓/電流/溫度故障燈亮輸出參數(shù)異常所有燈滅沒(méi)有電源輸入血淚經(jīng)驗(yàn)PSU的AC missing亮著但另一路供電正常系統(tǒng)還在跑很多人就不管。實(shí)際上冗余供電已經(jīng)悄悄降級(jí)再壞一路就是非計(jì)劃宕機(jī)。巡檢時(shí)每塊PSU都要看一眼尤其是機(jī)柜底部容易忽略的位置。單塊磁盤(pán)上兩個(gè)LED的判斷邏輯也要記牢LED1綠色亮或閃爍表示磁盤(pán)正常LED1滅、LED2滅表示沒(méi)有安裝磁盤(pán)LED1滅、LED2橙一秒亮一秒滅表示SES device identification被設(shè)置LED1滅、LED2橙亮表示SES device fault bit被設(shè)置也就是磁盤(pán)故障LED1滅、LED2橙三秒亮一秒滅表示磁盤(pán)端口被隔離。端口被隔離通常發(fā)生在環(huán)路抖動(dòng)后盤(pán)還在但通路斷了這種要看SES狀態(tài)處理不要盲目拔插。2.4 磁盤(pán)混插原則同類(lèi)型、同大小、同轉(zhuǎn)速建存儲(chǔ)池Aggregate時(shí)有一條硬性規(guī)定同一個(gè)Aggregate里的磁盤(pán)必須是同樣類(lèi)型、同樣大小、同樣轉(zhuǎn)速否則整個(gè)存儲(chǔ)池以上限為準(zhǔn)按轉(zhuǎn)速最慢、容量最小的磁盤(pán)類(lèi)型計(jì)算。SATA磁盤(pán)不能加到SAS磁盤(pán)的Aggr里反過(guò)來(lái)也不行。這條規(guī)則在擴(kuò)容時(shí)最容易被忽略我見(jiàn)過(guò)有人往SAS池里塞了幾塊SATA盤(pán)系統(tǒng)認(rèn)了但全池性能被拉到SATA水平。擴(kuò)容前先確認(rèn)盤(pán)柜里剩余磁盤(pán)的型號(hào)、容量和轉(zhuǎn)速只核對(duì)數(shù)量是會(huì)翻車(chē)的。2.5 布線核對(duì)序列號(hào)、Shelf ID與端口對(duì)照現(xiàn)場(chǎng)維護(hù)的第一步不是敲命令而是核對(duì)物理連接。每次上架或搬動(dòng)設(shè)備后把磁盤(pán)柜的Shelf ID、控制器的0a/0b端口、心跳線c0a/c0b兩端對(duì)應(yīng)關(guān)系、e0M管理口接的交換機(jī)端口全部登記一遍。我吃過(guò)虧某次廠商換線磁盤(pán)柜Shelf ID順序被打亂開(kāi)機(jī)后Aggregate起不來(lái)最后花兩小時(shí)重新對(duì)線。手冊(cè)里硬件說(shuō)明部分真正干活時(shí)價(jià)值最大的其實(shí)是那張端口用途表建議打印出來(lái)貼在上架記錄頁(yè)。3. 管理接口System Manager、CLI與開(kāi)關(guān)機(jī)順序3.1 System Manager圖形管理接口平時(shí)創(chuàng)建卷、配共享、看配額我習(xí)慣用OnCommand System Manager 2.1圖形界面?？蛻舳谁h(huán)境要求不高Adobe Flash Player 8.0以上Java Runtime 1.6以上。但存儲(chǔ)端有幾個(gè)參數(shù)必須開(kāi)著否則客戶端連不上snmp.access legacy snmp.enable on ssl.enable on ssl.v2.enable on ssl.v3.enable on httpd.admin.enable on httpd.admin.ssl.enable on snmp community: public這些是System Manager連接所依賴(lài)的服務(wù)開(kāi)關(guān)。snmp.enable和snmp.access負(fù)責(zé)設(shè)備發(fā)現(xiàn)ssl和httpd.admin負(fù)責(zé)Web管理通道community字符串要跟客戶端填的一致。新裝機(jī)一般默認(rèn)全開(kāi)如果之前有人做安全加固關(guān)過(guò)這些服務(wù)圖形界面就會(huì)黑匣子一樣打不開(kāi)這時(shí)候不要反復(fù)重裝客戶端先去CLI確認(rèn)這幾個(gè)值。System Manager里的菜單路徑對(duì)應(yīng)關(guān)系很直接我抄了一張常用對(duì)照貼在工位操作分類(lèi)實(shí)現(xiàn)路徑卷管理Storage→VolumesCIFS共享協(xié)議管理Storage→SharesNFS共享協(xié)議管理Storage→ExportsLUN管理Storage→LunsQtree管理Storage→Qtrees配額管理Storage→Quotas磁盤(pán)管理Storage→Disks存儲(chǔ)池管理Storage→AggregatesSnapMirror管理Storage→SnapMirror用戶及組管理Configuration→Local Users and Groups以太網(wǎng)管理Configuration→Network協(xié)議管理Configuration→ProtocolsCIFS診斷Diagnostics→CIFS系統(tǒng)健康管理Diagnostics→System Health日志管理Diagnostics→LogsHA配置Ha Config新同事上手我先讓他們把這張表抄在工位上比背命令行快得多。圖形界面能完成幾乎所有的管理任務(wù)但排查深層問(wèn)題還是要落到CLI。3.2 CLI命令行登錄與基礎(chǔ)用法CLI是排障的最后手段圖形界面掛了也要靠它。登錄方式有兩種一是用隨機(jī)附帶的console線接CONSOLE口PC開(kāi)仿真終端串口參數(shù)是9600波特率、8位、無(wú)校驗(yàn)、1位停止位二是telnet登錄。缺省管理員是root密碼在初始安裝時(shí)設(shè)定可以用passwd命令修改。進(jìn)入命令行后輸入“?”或“help”就能看到全部命令。aggr、vol、snapshot、quota、cifs、exportfs、iscsi、fcp、lun這些都是日常高頻命令。想看某個(gè)命令的詳細(xì)用法用help加命令名FAS3240A help vol display or change characteristics of volumes The following commands are available; for more information type help vol command add destroy online size clone lang options split container media_scrub rename status copy mirror restrict verify create offline scrub這里我一般直接“help vol create”看參數(shù)比翻手冊(cè)省時(shí)間。用CLI有個(gè)習(xí)慣要養(yǎng)成操作之前先并行開(kāi)一個(gè)會(huì)話掛著date輸出回頭核對(duì)操作時(shí)間點(diǎn)對(duì)應(yīng)的日志排查問(wèn)題時(shí)能省很多事。telnet登錄的會(huì)話容易超時(shí)斷開(kāi)長(zhǎng)時(shí)間操作建議用SSH或開(kāi)個(gè)screen保持會(huì)話。3.3 設(shè)備正常開(kāi)關(guān)機(jī)順序開(kāi)關(guān)機(jī)順序是整個(gè)維護(hù)里最容易翻車(chē)也最不該翻車(chē)的部分。開(kāi)機(jī)順序按磁盤(pán)柜Shelf ID號(hào)從小到大依次開(kāi)啟磁盤(pán)柜電源大約20秒后再開(kāi)啟存儲(chǔ)控制器開(kāi)啟接有NetApp存儲(chǔ)的以太網(wǎng)交換機(jī)或光纖交換機(jī)開(kāi)啟掛載NetApp存儲(chǔ)空間的服務(wù)器或磁帶庫(kù)。關(guān)機(jī)順序確認(rèn)所有連接的應(yīng)用程序已關(guān)閉包括通過(guò)FCP或iSCSI連到存儲(chǔ)的數(shù)據(jù)庫(kù)等服務(wù)以及通過(guò)NAS連到存儲(chǔ)的應(yīng)用確認(rèn)連接到存儲(chǔ)的服務(wù)器已關(guān)閉通過(guò)串口或SSH以root或其他管理員賬戶登錄系統(tǒng)分別對(duì)兩個(gè)機(jī)頭執(zhí)行halt -f命令等到CFE狀態(tài)先關(guān)控制器電源再按照Shelf ID倒序關(guān)閉磁盤(pán)柜電源。為什么要先磁盤(pán)柜后控制器因?yàn)榭刂破鲉?dòng)時(shí)要枚舉后端磁盤(pán)磁盤(pán)柜沒(méi)就緒控制器可能認(rèn)不到盤(pán)Aggregate起不來(lái)甚至反復(fù)重啟。關(guān)機(jī)時(shí)先halt -f是為了讓Data ONTAP把緩存刷到NVMEM再下電直接拔電等于賭NVMEM電池沒(méi)問(wèn)題。CFE提示符是控制器固件層的狀態(tài)看到這個(gè)才算安全下電。雙機(jī)頭設(shè)備兩個(gè)節(jié)點(diǎn)都要halt別只停一個(gè)不然HA狀態(tài)會(huì)到partial的尷尬局面另一個(gè)節(jié)點(diǎn)會(huì)一直報(bào)partner down。4. 日常操作實(shí)戰(zhàn)從存儲(chǔ)池到共享創(chuàng)建的完整路徑4.1 System Manager創(chuàng)建存儲(chǔ)池Aggregate日常擴(kuò)容或新建存儲(chǔ)池一般由專(zhuān)業(yè)服務(wù)工程師完成但作為維護(hù)方要能看懂過(guò)程、能在緊急時(shí)自己操作。System Manager路徑Storage→Aggregates→Create。給新建聚合體起名比如aggr_testraidtype選擇Raid_dp。RAID-DP是NetApp的雙奇偶校驗(yàn)RAID允許同一RAID組里壞兩塊盤(pán)而不丟數(shù)據(jù)這是FAS3200系列建池的默認(rèn)推薦可靠性明顯高于RAID5。接著選擇添加的磁盤(pán)類(lèi)型再確定添加多少顆磁盤(pán)到aggr_test。這里再次強(qiáng)調(diào)同一個(gè)Aggregate里的磁盤(pán)必須同類(lèi)型、同大小、同轉(zhuǎn)速SATA不能和SAS混在一個(gè)池里。選完磁盤(pán)后把RaidSize設(shè)為16。FC/SAS磁盤(pán)的RaidSize默認(rèn)為16意思是每個(gè)RAID組最多16塊數(shù)據(jù)盤(pán)加校驗(yàn)盤(pán)SATA盤(pán)通常按官方推薦設(shè)置。RAID組大小影響性能和重建時(shí)間組越大有效容量越高單盤(pán)故障后的重建時(shí)間也越長(zhǎng)。實(shí)際選規(guī)模時(shí)要平衡追求容量就大組追求安全就小組。4.2 CLI創(chuàng)建存儲(chǔ)池與FlexVol圖形界面不方便時(shí)CLI下創(chuàng)建存儲(chǔ)池的命令同樣直接。以7-Mode風(fēng)格的Data ONTAP為例FAS3240A aggr create -t raid_dp aggr_test -d 16 FAS3240A vol create vol_test -s none aggr_test 500g第一條命令中-t指定RAID類(lèi)型為raid_dpaggr_test是新建聚合體的名字-d 16表示使用16塊磁盤(pán)創(chuàng)建聚合體。第二條命令在aggr_test上創(chuàng)建一個(gè)500GB的靈活卷vol_test-s none表示不啟用Snapshot保留。實(shí)際創(chuàng)建時(shí)要把磁盤(pán)數(shù)量、卷大小替換成現(xiàn)場(chǎng)規(guī)劃值建池之前先跑“aggr status -r”看池子當(dāng)前剩余空間別等卷建完才發(fā)現(xiàn)容量不夠。FlexVol是NetApp的靈活卷最大意義在于卷大小不用預(yù)先固化聚合體里有空間就能在線擴(kuò)容。創(chuàng)建后跑“vol status vol_test”確認(rèn)卷是online狀態(tài)再用“df -h”確認(rèn)容量按預(yù)期出現(xiàn)。卷的自動(dòng)增長(zhǎng)選項(xiàng)建議按業(yè)務(wù)需要開(kāi)啟auto-size策略要設(shè)上限免得卷無(wú)限膨脹把聚合體空間吃光。4.3 創(chuàng)建CIFS/NFS共享NAS共享分兩套協(xié)議CIFS給WindowsNFS給Unix/Linux。CIFS共享在CLI下的操作FAS3240A cifs setup FAS3240A cifs shares add /vol/vol_test -sharename sharedocs FAS3240A cifs shares change sharedocs -comment documents sharecifs setup是首次啟用CIFS服務(wù)的引導(dǎo)流程會(huì)詢問(wèn)域模式或工作組模式涉及用戶認(rèn)證方式cifs shares add把卷的根目錄導(dǎo)出為一個(gè)名為sharedocs的共享。CIFS共享名對(duì)客戶端可見(jiàn)命名最好統(tǒng)一規(guī)范按業(yè)務(wù)或部門(mén)縮寫(xiě)別用“test1”“test2”這種事后看不懂的名字。NFS導(dǎo)出用exportfsFAS3240A exportfs -a -p /vol/vol_test FAS3240A exportfs -io /vol/vol_test -o secsys,rw10.0.0.0/24第一條是允許導(dǎo)出卷-a表示全部導(dǎo)出-p表示持久化。第二條是帶選項(xiàng)的導(dǎo)出secsys使用AUTH_SYS認(rèn)證rw指定允許讀寫(xiě)的客戶端網(wǎng)段。NFS權(quán)限是兩層疊加的exportfs控制誰(shuí)能mount卷和目錄權(quán)限控制能怎么訪問(wèn)兩層都要對(duì)否則會(huì)出現(xiàn)“能mount但寫(xiě)不了”的怪問(wèn)題這種問(wèn)題先查exportfs選項(xiàng)再查目錄權(quán)限。4.4 Snapshot與目錄配額配置管理Snapshot是NetApp的快照機(jī)制按計(jì)劃對(duì)卷做時(shí)間點(diǎn)副本。配置路徑在Storage→Volumes里選卷后配置Snapshot計(jì)劃。CLI下常見(jiàn)操作FAS3240A snapshot create vol_test -s snap_before_upgrade FAS3240A snapshot list vol_testsnapshot create手動(dòng)打快照-s指定快照名比如升級(jí)前叫snap_before_upgrade?？煺湛臻g不是白來(lái)的它占用卷預(yù)留的Snapshot reserve容量默認(rèn)通常保留5%到20%。文件量大、變更頻繁的卷建議把快照保留空間設(shè)到卷容量的10%以上否則快照滿了會(huì)導(dǎo)致文件系統(tǒng)鎖死這是存儲(chǔ)日常維護(hù)里最容易被業(yè)務(wù)投訴的點(diǎn)業(yè)務(wù)看到的是“磁盤(pán)寫(xiě)不進(jìn)去”實(shí)際看snapshot list才發(fā)現(xiàn)快照占滿了reserve空間。目錄配額配置路徑在Storage→Quotas。CLI下FAS3240A quota on /vol/vol_test FAS3240A quota add /vol/vol_test -tree -limit-type soft -disk-limit 100g FAS3240A quota reportquota on開(kāi)啟配額功能quota add加一條規(guī)則對(duì)tree目錄樹(shù)做軟限制磁盤(pán)限額100GB。配額規(guī)則加完還要“quota resize”讓規(guī)則生效只add不resize是新手常踩的坑規(guī)則不生效還找不到原因。配額規(guī)則按匹配范圍生效規(guī)則寫(xiě)得太粗會(huì)誤傷同卷下的其他目錄建議先出quota report看當(dāng)前用量分布再?zèng)Q定限額定多少。4.5 創(chuàng)建SAN共享License是第一道門(mén)檻SAN共享對(duì)應(yīng)FCP光纖通道和iSCSI兩種協(xié)議。這里先潑冷水如果沒(méi)有FCP或iSCSI的license這些功能根本無(wú)法使用System Manager里會(huì)直接不顯示入口或操作報(bào)錯(cuò)。裝機(jī)時(shí)先確認(rèn)license狀態(tài)FAS3240A license FAS3240A iscsi enable FAS3240A fcp configurelicense命令顯示當(dāng)前授權(quán)的功能模塊iscsi enable開(kāi)啟iSCSI服務(wù)fcp configure進(jìn)行光纖通道配置。iSCSI開(kāi)啟后再創(chuàng)建LUN并做映射FAS3240A lun setup -s 100g /vol/iscsi/lun1 FAS3240A igroup create -t linux linux_initiator_group FAS3240A lun map /vol/iscsi/lun1 linux_initiator_grouplun setup創(chuàng)建100GB的LUNigroup create定義一個(gè)啟動(dòng)器組lun map把LUN映射給該組。映射關(guān)系是SAN環(huán)境的核心映射錯(cuò)了等于把盤(pán)暴露給不該看的機(jī)器。每次做完映射用“l(fā)un show -v”核對(duì)一遍確認(rèn)WWNN或iSCSI IQN映射到了正確的igroup上。SAN這塊我建議嚴(yán)格按變更流程走LUN映射錯(cuò)誤在高可用環(huán)境里可能導(dǎo)致兩臺(tái)服務(wù)器同時(shí)掛載同一塊盤(pán)數(shù)據(jù)損壞風(fēng)險(xiǎn)極高。5. 常見(jiàn)問(wèn)題排查巡檢項(xiàng)、autosupport與故障報(bào)修5.1 每日巡檢清單日常維護(hù)的核心是檢查不是操作。我把巡檢項(xiàng)固定成一張清單每次按序執(zhí)行目測(cè)看控制器面板、磁盤(pán)柜、PSU、每塊磁盤(pán)的指示燈是否符合正常狀態(tài)硬件狀態(tài)檢查用sysconfig -a確認(rèn)控制器、內(nèi)存、磁盤(pán)、電源的硬件信息完整檢查網(wǎng)絡(luò)是否正常ifconfig -a看管理口和業(yè)務(wù)口狀態(tài)ping網(wǎng)關(guān)確認(rèn)鏈路通檢查Cluster狀態(tài)是否正常cf status看雙機(jī)HA狀態(tài)檢查卷容量是否正常df -h看空間使用率快到90%就要規(guī)劃擴(kuò)容或清理Inode數(shù)量檢查df -i看索引節(jié)點(diǎn)使用率100%時(shí)即使容量有剩余也寫(xiě)不進(jìn)新文件性能檢查sysstat -u看CPU利用率和NFS/CIFS操作數(shù)判斷是否有異常峰值日志文件檢查查看系統(tǒng)日志重點(diǎn)看硬件告警、磁盤(pán)錯(cuò)誤和協(xié)議錯(cuò)誤收集autosupport信息每周至少一次。FAS3240A sysconfig -a FAS3240A ifconfig -a FAS3240A cf status FAS3240A df -h FAS3240A df -i FAS3240A sysstat -u 5sysconfig -a輸出里能看到控制器型號(hào)、序列號(hào)、每塊磁盤(pán)槽位和狀態(tài)cf status返回正常狀態(tài)時(shí)能看到HA enabled或Cluster enabled字樣如果出現(xiàn)partial或down就說(shuō)明HA有問(wèn)題要優(yōu)先處理。sysstat -u 5表示每5秒采樣一次連看幾次取平均值就是性能基線我在業(yè)務(wù)高峰時(shí)段必跑存下來(lái)的數(shù)值就是日后判斷“是否異?！钡膮⒄?。檢查網(wǎng)絡(luò)時(shí)ping網(wǎng)關(guān)只能證明三層通還要看ifconfig -a里的errors和dropped計(jì)數(shù)長(zhǎng)期不為零說(shuō)明鏈路質(zhì)量有問(wèn)題。5.2 收集autosupport信息機(jī)頭出問(wèn)題或需要廠商介入時(shí)autosupport信息是給支持團(tuán)隊(duì)的關(guān)鍵材料FAS3240A autosupport invoke -node all -message daily_health_check該命令會(huì)把系統(tǒng)配置、日志、性能數(shù)據(jù)打包發(fā)送到配置的接收方-node all表示收集兩個(gè)節(jié)點(diǎn)-message里寫(xiě)用途說(shuō)明。每周固定發(fā)一份本地也留檔真出故障時(shí)手頭有故障前后的數(shù)據(jù)做比對(duì)能少走很多彎路。autosupport發(fā)送失敗的排查順序先看network配置里autosupport的郵件服務(wù)器或HTTP目標(biāo)地址再檢查網(wǎng)絡(luò)連通性最后看發(fā)送日志。這是容易被忽視的通道很多人直到報(bào)修時(shí)才發(fā)現(xiàn)autosupport從來(lái)沒(méi)發(fā)出去過(guò)。5.3 故障報(bào)修流程本地解決不了就要走報(bào)修流程。支持方式分幾級(jí)先找本地支持工程師處理不了一定要上升到GSCGlobal Support Center全球支持中心。案例開(kāi)立流程是登錄support.netapp.com或電話開(kāi)案例提供設(shè)備序列號(hào)和autosupport信息描述故障現(xiàn)象支持中心分配案例號(hào)按嚴(yán)重級(jí)別響應(yīng)。損壞部件更換流程一般是確認(rèn)部件損壞并記錄序列號(hào)開(kāi)案例判定后寄備件現(xiàn)場(chǎng)換件并做驗(yàn)證最后通過(guò)autosupport確認(rèn)新部件狀態(tài)正常。換盤(pán)操作我堅(jiān)持在維護(hù)窗口期做換完馬上看aggr status和磁盤(pán)狀態(tài)確認(rèn)RAID重建正常啟動(dòng)不要換完就走。5.4 高頻故障排查記錄這幾條是實(shí)際維護(hù)中反復(fù)出現(xiàn)的問(wèn)題每一條都按“現(xiàn)象→原因→解決”記錄下來(lái)現(xiàn)象一磁盤(pán)柜某塊磁盤(pán)LED2橙色常亮。原因是SES device fault bit被設(shè)置通常表示磁盤(pán)故障被系統(tǒng)標(biāo)記。解決先查sysconfig -a確認(rèn)盤(pán)的狀態(tài)是failed還是spare不要直接拔盤(pán)要在系統(tǒng)把盤(pán)標(biāo)記為fail后按槽位取下?lián)Q新盤(pán)等系統(tǒng)自動(dòng)分配為spare并開(kāi)始重建?，F(xiàn)象二控制器Fault燈琥珀色亮起系統(tǒng)卡在啟動(dòng)階段。原因是控制器啟動(dòng)時(shí)Data ONTAP初始化異?；蛉藶檫M(jìn)入了維護(hù)模式。解決通過(guò)串口看啟動(dòng)日志確認(rèn)是否停在Maintenance mode誤入就執(zhí)行halt回到CFE后重新啟動(dòng)反復(fù)初始化失敗就把日志打包發(fā)GSC同時(shí)檢查心跳線c0a/c0b是否松動(dòng)。現(xiàn)象三業(yè)務(wù)反饋NAS無(wú)法寫(xiě)入新文件但df -h顯示容量還有剩余。原因是Inode耗盡或Snapshot reserve被占滿。解決先跑df -i確認(rèn)Inode使用率100%時(shí)需要?jiǎng)h除大量小文件或調(diào)整卷的maxfiles如果Snapshot空間滿用snapshot list vol_test找到占用大的舊快照在保留策略之外可以刪?，F(xiàn)象四HA集群狀態(tài)顯示partial。原因一般是一個(gè)節(jié)點(diǎn)掛掉或兩個(gè)節(jié)點(diǎn)之間的心跳中斷。解決先看cf status和uptime確認(rèn)節(jié)點(diǎn)狀態(tài)再查心跳口狀態(tài)檢查c0a/c0b物理連接和網(wǎng)口配置。partial狀態(tài)說(shuō)明冗余已經(jīng)失效屬于優(yōu)先級(jí)最高的問(wèn)題要立即處理?，F(xiàn)象五擴(kuò)容加盤(pán)后整個(gè)存儲(chǔ)池性能下降。原因是混入了不同轉(zhuǎn)速或類(lèi)型的磁盤(pán)系統(tǒng)按最慢盤(pán)降速。解決擴(kuò)容前核對(duì)磁盤(pán)型號(hào)、容量、轉(zhuǎn)速三要素寧缺毋濫。已經(jīng)混入的只能替換出來(lái)沒(méi)有捷徑。這條我親自踩過(guò)從此建池之前必查磁盤(pán)批次。5.5 維護(hù)窗口與變更記錄還有一條不屬于技術(shù)但很關(guān)鍵的教訓(xùn)存儲(chǔ)維護(hù)的所有操作都要落在變更記錄里。哪個(gè)卷擴(kuò)容過(guò)、哪個(gè)存儲(chǔ)池加過(guò)盤(pán)、Snapshot策略改過(guò)什么全記下來(lái)。存儲(chǔ)是黑匣子出了問(wèn)題如果沒(méi)有變更記錄排查就像大海撈針。我現(xiàn)在每次操作前都先記錄當(dāng)前狀態(tài)操作后馬上再記一筆這習(xí)慣救過(guò)我兩次。變更記錄不用寫(xiě)多復(fù)雜時(shí)間、操作人、命令、影響范圍、前后狀態(tài)對(duì)照五欄就夠了。定期把變更記錄和巡檢基線一起歸檔后面做容量規(guī)劃時(shí)直接翻歷史趨勢(shì)。6. 驗(yàn)證跑通把巡檢命令做成一張檢查表設(shè)備裝好、配置完不代表萬(wàn)事大吉真正的日常是巡檢。我習(xí)慣把驗(yàn)證過(guò)程固化成一個(gè)半自動(dòng)化流程每次維護(hù)窗口或例行巡檢按順序執(zhí)行下面這組命令把輸出存檔拿上次的基線對(duì)比。FAS3240A sysconfig -a # 硬件狀態(tài) FAS3240A cf status # HA集群狀態(tài) FAS3240A df -h # 卷容量使用率 FAS3240A df -i # Inode使用率 FAS3240A snapshot list vol_test # 快照列表與占用 FAS3240A quota report # 配額使用報(bào)告 FAS3240A autosupport invoke -node all -message weekly_check每行命令都對(duì)應(yīng)一套驗(yàn)證結(jié)論sysconfig -a輸出里沒(méi)有Error字樣、磁盤(pán)狀態(tài)全部onlinecf status顯示HA正常df -h使用率低于90%df -i使用率低于80%快照列表里沒(méi)有異常占用的快照quota report沒(méi)有超限條目autosupport能成功發(fā)出。這套檢查做完基本可以確認(rèn)設(shè)備處于健康狀態(tài)。驗(yàn)證跑通之后還有一個(gè)加分動(dòng)作把開(kāi)關(guān)機(jī)順序做成貼紙貼在磁盤(pán)柜門(mén)上。真到斷電維護(hù)那天現(xiàn)場(chǎng)的人不會(huì)記得手冊(cè)第幾章寫(xiě)了什么但抬頭就能看到“先磁盤(pán)柜、后控制器halt -f回到CFE再斷電”。我還會(huì)把巡檢命令精簡(jiǎn)成一行“ping網(wǎng)關(guān) sysconfig -a | head -50 df -h”每天到崗先跑一遍輸出丟進(jìn)運(yùn)維群存底。從那以后我每次巡檢都強(qiáng)制自己走一遍完整清單連電源指示燈都不跳過(guò)——這條習(xí)慣救過(guò)我也希望能幫到你。本文還有配套的精品資源點(diǎn)擊獲取