99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

數(shù)據(jù)中心供配電全鏈路解析:從市電到機(jī)柜的冗余、容量與調(diào)試

數(shù)據(jù)中心供配電全鏈路解析:從市電到機(jī)柜的冗余、容量與調(diào)試 上架前最后一個(gè)動(dòng)作永遠(yuǎn)是蹲在列頭柜前面看三相電流是否平衡。這個(gè)動(dòng)作看起來跟技術(shù)沒什么關(guān)系但做過幾年機(jī)房的人都知道供電這一環(huán)出問題前面所有的網(wǎng)絡(luò)架構(gòu)、存儲(chǔ)冗余、容器編排都白搭。數(shù)據(jù)中心的供配電系統(tǒng)說白了就是把市電從電網(wǎng)那頭一路安全、穩(wěn)定、可控地送到每一臺(tái)服務(wù)器的電源模塊里中間要經(jīng)過中壓引入、變壓、不間斷電源、末端配電、機(jī)柜PDU這幾道關(guān)。它決定了一個(gè)機(jī)房能承載多少算力、能扛住幾次市電波動(dòng)、能不能在柴發(fā)啟動(dòng)的那十幾秒里讓業(yè)務(wù)毫無感知。這篇文章主要面向三類人正在規(guī)劃?rùn)C(jī)房或者擴(kuò)容機(jī)柜的運(yùn)維和基礎(chǔ)設(shè)施工程師、需要評(píng)估供配電預(yù)算和冗余等級(jí)的技術(shù)負(fù)責(zé)人以及自己搭小型機(jī)房、想把電這塊搞明白的獨(dú)立開發(fā)者。我會(huì)把配電鏈路的每一段拆開講清楚把容量計(jì)算的過程一步步寫出來也會(huì)分享一些只有真正上過電、跳過閘、被電池報(bào)警吵醒過的人才知道的細(xì)節(jié)。1. 從10kV進(jìn)線到主板供電一條電要走完的六段路1.1 電力鏈路拆解每一段都可能是故障點(diǎn)很多人對(duì)供配電的理解停留在機(jī)房有兩路電、有UPS、有柴發(fā)這個(gè)層面。真正做設(shè)計(jì)的時(shí)候你得把整條鏈路畫出來從城市電網(wǎng)的10kV或者35kV進(jìn)線開始一段一段往下捋。我把這條鏈路分成六段中壓引入與計(jì)量、變壓器降壓、低壓主配電與自動(dòng)轉(zhuǎn)換、不間斷電源、末端配電、機(jī)柜級(jí)配電。每一段的故障模式、切換時(shí)間、維護(hù)窗口都不一樣混在一起談供電可靠性是沒有意義的。第一段是中壓引入。兩條10kV線路從上級(jí)變電站引過來理想情況是來自兩個(gè)不同的變電站或者至少是同一個(gè)變電站的兩段不同母線。這里有個(gè)特別容易被忽略的坑很多項(xiàng)目號(hào)稱雙路市電實(shí)際上兩路是從同一個(gè)變電站的同一段母線上分出來的兩條饋線。這種情況下上級(jí)變電站檢修或者母線故障兩路一起沒所謂的雙路供電在關(guān)鍵時(shí)刻形同虛設(shè)。我在參與過一次電力局計(jì)劃?rùn)z修時(shí)才真正體會(huì)到這一點(diǎn)圖紙上看著是兩條獨(dú)立路徑實(shí)際追溯上去在第三級(jí)就合流了。后來我們?cè)谠O(shè)計(jì)階段就要求把上級(jí)電源的拓?fù)鋱D畫出來一直追到區(qū)域變電站確認(rèn)兩路電源在物理上確實(shí)獨(dú)立。第二段是變壓器降壓把10kV降到400V。數(shù)據(jù)中心普遍用干式變壓器因?yàn)椴蝗?、維護(hù)簡(jiǎn)單、可以放在樓內(nèi)。變壓器的容量、阻抗、接線組別都會(huì)影響后面的短路電流和保護(hù)配合。這一段通常按N1配置也就是兩臺(tái)變壓器各承擔(dān)一半負(fù)載任何一臺(tái)故障另一臺(tái)能頂上全部負(fù)載。這里要注意的是變壓器的負(fù)載率不能拉滿長(zhǎng)期運(yùn)行在額定容量附近溫升和損耗都很難看壽命也會(huì)明顯縮短。第三段是低壓主配電和自動(dòng)轉(zhuǎn)換。市電進(jìn)來之后要經(jīng)過主進(jìn)線柜、母聯(lián)柜、饋線柜通過自動(dòng)轉(zhuǎn)換開關(guān)在兩路市電之間切換或者在市電和柴發(fā)之間切換。這一段是整套系統(tǒng)里動(dòng)作最頻繁的部分也是故障率最高的部分之一。第四段是不間斷電源。這是整個(gè)鏈路的核心也是投資占比最大的部分。UPS負(fù)責(zé)在市電波動(dòng)、瞬斷、切換期間維持輸出同時(shí)在市電長(zhǎng)期中斷時(shí)靠蓄電池?fù)蔚讲癜l(fā)帶載。第五段是末端配電包括列頭柜、母線槽這些把電分到每一排機(jī)柜的設(shè)備。第六段是機(jī)柜級(jí)配電也就是機(jī)柜里的PDU和服務(wù)器電源模塊。后面幾節(jié)我會(huì)逐段展開先把整體架構(gòu)和分級(jí)邏輯說清楚。1.2 可用性分級(jí)與配電架構(gòu)的對(duì)應(yīng)關(guān)系行業(yè)里有一套被廣泛引用的四級(jí)可用性分級(jí)從基礎(chǔ)級(jí)到容錯(cuò)級(jí)核心區(qū)別就在于有沒有冗余、冗余是否可同時(shí)維護(hù)、故障是否自動(dòng)隔離。這套分級(jí)不是拿來貼標(biāo)簽的它直接決定了你的配電架構(gòu)長(zhǎng)什么樣、花多少錢?;A(chǔ)級(jí)只有一條配電路徑?jīng)]有任何冗余計(jì)劃維護(hù)必須停機(jī)非計(jì)劃故障必然導(dǎo)致業(yè)務(wù)中斷。這種配置現(xiàn)在只出現(xiàn)在測(cè)試環(huán)境或者對(duì)連續(xù)性完全沒有要求的場(chǎng)景。第二級(jí)增加了冗余部件比如N1的UPS模塊、N1的變壓器但配電路徑仍然只有一條仍然存在單點(diǎn)故障維護(hù)時(shí)還是要停部分負(fù)載。第三級(jí)可以同時(shí)維護(hù)也就是常說的雙路供電兩條獨(dú)立的配電路徑可以輪流檢修而不影響負(fù)載但仍然可能有短暫的手動(dòng)切換。第四級(jí)是容錯(cuò)級(jí)任何一條路徑上的任何設(shè)備故障負(fù)載都不受影響也不需要人工干預(yù)架構(gòu)上對(duì)應(yīng)的是2N或者2(N1)。我給客戶做方案時(shí)第一句話通常是問業(yè)務(wù)能接受多長(zhǎng)的中斷時(shí)間。財(cái)務(wù)結(jié)算系統(tǒng)、實(shí)時(shí)交易、核心數(shù)據(jù)庫(kù)這類業(yè)務(wù)停機(jī)一分鐘的損失可能比整套2N配電的增量投資還高那沒什么好猶豫的直接按容錯(cuò)級(jí)設(shè)計(jì)。而離線訓(xùn)練、批量渲染、日志歸檔這類任務(wù)中斷幾十分鐘甚至幾個(gè)小時(shí)都能接受硬上2N就是浪費(fèi)預(yù)算。這個(gè)判斷比任何技術(shù)細(xì)節(jié)都重要因?yàn)榧軜?gòu)一定后面所有設(shè)備選型、空間規(guī)劃、運(yùn)維流程都跟著定死了改起來代價(jià)極大。2. 冗余架構(gòu)選型2N、N1、DR、RR該怎么定2.1 四種模型的真實(shí)差別選冗余模型的時(shí)候圖紙上的差別很清楚實(shí)際運(yùn)行和維護(hù)上的差別才是關(guān)鍵。我逐個(gè)說。N1是最常見的起步配置N是滿足負(fù)載所需的設(shè)備數(shù)量加一是指多配一套作為備用。比如負(fù)載需要三臺(tái)500kVA的UPS那就配四臺(tái)任意一臺(tái)故障剩下三臺(tái)仍然能滿足負(fù)載。它的優(yōu)點(diǎn)是投資相對(duì)可控、設(shè)備利用率高缺點(diǎn)是系統(tǒng)的總?cè)萘恐杏幸徊糠珠L(zhǎng)期閑置而且如果負(fù)載增長(zhǎng)超出預(yù)期那個(gè)1的余量很快就被吃掉了需要提前規(guī)劃擴(kuò)容。另外要注意N1能扛住一臺(tái)設(shè)備故障但扛不住一臺(tái)設(shè)備故障的同時(shí)另一臺(tái)在進(jìn)行計(jì)劃維護(hù)這對(duì)運(yùn)維排期是個(gè)約束。2N是指完全獨(dú)立的兩套系統(tǒng)每套都能獨(dú)立承擔(dān)全部負(fù)載。兩個(gè)UPS系統(tǒng)、兩條母排、兩路配電、機(jī)柜里兩個(gè)PDU一路來自A系統(tǒng)一路來自B系統(tǒng)。任何一套完全停運(yùn)另一套都能頂住。這是容錯(cuò)級(jí)的標(biāo)準(zhǔn)做法也是成本最高的做法設(shè)備投資基本翻倍而且兩套系統(tǒng)的負(fù)載率都只有50%左右效率上是有損失的?,F(xiàn)在的做法通常是配合模塊化UPS讓兩套系統(tǒng)的模塊數(shù)量按實(shí)際負(fù)載動(dòng)態(tài)配置減少閑置。DR是分布式冗余在一些互聯(lián)網(wǎng)廠商的大型園區(qū)里用得比較多。它把負(fù)載分成多個(gè)獨(dú)立的模塊每個(gè)模塊內(nèi)部有自己的配電模塊之間通過母聯(lián)互相支援。相比2NDR的設(shè)備總量少一些理論上成本低一些但系統(tǒng)邏輯更復(fù)雜切換策略需要仔細(xì)設(shè)計(jì)一旦策略寫錯(cuò)支援關(guān)系可能反而變成故障傳播路徑。RR是走線冗余用兩套獨(dú)立的走線路徑和配電設(shè)備但上游的電源設(shè)備是共用的。它可以防止單條線路或單個(gè)配電柜故障但防不住上游UPS故障屬于一種成本折中。有些項(xiàng)目預(yù)算不夠上2N又想解決末端單點(diǎn)就會(huì)選RR。冗余模型冗余范圍能否同時(shí)維護(hù)主要風(fēng)險(xiǎn)成本占比參考N1設(shè)備級(jí)受限需排期維護(hù)與故障疊加100%2N全路徑可以投資高、負(fù)載率低170%到200%DR模塊級(jí)可以邏輯復(fù)雜、策略依賴130%到150%RR走線級(jí)部分可以上游單點(diǎn)仍在110%到130%表格里的成本占比只是個(gè)粗略參考實(shí)際差異跟項(xiàng)目規(guī)模、設(shè)備品牌、機(jī)房條件關(guān)系很大不能直接拿去當(dāng)預(yù)算依據(jù)。我列出來是想說明一件事冗余不是免費(fèi)的也不是越多越好得跟業(yè)務(wù)價(jià)值對(duì)齊。2.2 一筆算清冗余的投入產(chǎn)出我經(jīng)常被問到底值不值得上2N我的回答是先算三筆賬。第一筆是停機(jī)成本。把過去一年因?yàn)殡娏υ驅(qū)е碌耐C(jī)次數(shù)和每次的損失估出來包括直接的業(yè)務(wù)損失、客戶賠償、恢復(fù)人力成本。如果一年損失遠(yuǎn)超2N的增量投資那答案很清晰。第二筆是增量投資的具體構(gòu)成。從N1升到2N增加的不僅僅是UPS還有變壓器容量、低壓柜、母排、線纜、末端配電、機(jī)房空間甚至柴發(fā)的容量也要跟著放大。很多人只算了UPS的差價(jià)結(jié)果預(yù)算超了一大截。我建議在方案階段就讓電氣、暖通、土建一起出量把增量成本完整列出來。第三筆是運(yùn)行成本的差異。2N架構(gòu)下每套系統(tǒng)負(fù)載率低UPS在低負(fù)載率下的效率通常低于最佳工作區(qū)間長(zhǎng)期電費(fèi)差異不能忽略。以一套2000kVA的系統(tǒng)為例效率差兩個(gè)百分點(diǎn)一年下來的電費(fèi)差額是實(shí)打?qū)嵉?。另外電池的維護(hù)更換也是按組走的2N意味著兩倍的電池組。還有個(gè)現(xiàn)實(shí)問題機(jī)房面積。2N架構(gòu)占用的配電間面積、電池間面積都更大在一些改造項(xiàng)目里空間比錢還難解決。我遇到過一個(gè)項(xiàng)目方案做得漂漂亮亮最后卡在電池間放不下那么多組電池只能退回N1加RR的組合。所以架構(gòu)選型一定要在方案早期就把空間約束摸清楚別等到施工圖階段才發(fā)現(xiàn)放不下。3. 關(guān)鍵設(shè)備的選型邏輯與實(shí)操細(xì)節(jié)3.1 雙路市電、變壓器與ATS中壓引入這塊除了前面說的要追溯電源獨(dú)立性還有幾個(gè)實(shí)操細(xì)節(jié)值得說。進(jìn)線柜的計(jì)量方式、保護(hù)配置、與供電部門的產(chǎn)權(quán)分界點(diǎn)都要在前期談清楚不然驗(yàn)收的時(shí)候會(huì)扯皮。中壓柜的體積和操作通道要求也影響配電間布局手車柜和固定柜的維護(hù)空間差別不小做平面布置的時(shí)候要留夠。變壓器選型干式變壓器是主流關(guān)注三個(gè)參數(shù)額定容量、短路阻抗、溫控方式。短路阻抗一般在6%左右阻抗小則短路電流大對(duì)開關(guān)和母排的動(dòng)熱穩(wěn)定要求高阻抗大則電壓調(diào)整率大末端壓降可能超標(biāo)。溫控要帶超溫報(bào)警和跳閘而且要確認(rèn)跳閘信號(hào)是送到監(jiān)控還是直接跳閘這個(gè)設(shè)置直接影響故障時(shí)的行為不同項(xiàng)目的要求不一樣。自動(dòng)轉(zhuǎn)換開關(guān)是這段最需要小心的設(shè)備。它分兩個(gè)大類一類是專用轉(zhuǎn)換開關(guān)觸頭專門為切換設(shè)計(jì)切換快、可靠性高另一類是用兩臺(tái)斷路器加機(jī)械聯(lián)鎖實(shí)現(xiàn)成本低但切換速度慢觸頭也不是為頻繁切換設(shè)計(jì)的。數(shù)據(jù)中心的主進(jìn)線切換應(yīng)該用前者而且要選帶旁路維護(hù)功能的型號(hào)這樣轉(zhuǎn)換開關(guān)本身檢修時(shí)不用停負(fù)載。關(guān)于切換時(shí)間我想強(qiáng)調(diào)一個(gè)容易被誤解的點(diǎn)自動(dòng)轉(zhuǎn)換開關(guān)的切換時(shí)間通常在幾百毫秒到兩秒之間這個(gè)時(shí)間對(duì)IT設(shè)備來說是致命的。它不是UPS不能用來保障IT負(fù)載。它的作用是在市電和柴發(fā)之間切換或者在兩路市電之間做長(zhǎng)時(shí)間切換切換期間負(fù)載由UPS和電池支撐。我見過有人把自動(dòng)轉(zhuǎn)換開關(guān)當(dāng)成快速切換電源來保障服務(wù)器結(jié)果切換瞬間服務(wù)器全重啟這個(gè)理解偏差必須糾正。注意雙路市電切換、市電與柴發(fā)切換都屬于秒級(jí)動(dòng)作IT負(fù)載必須依賴UPS過渡任何指望轉(zhuǎn)換開關(guān)本身保住服務(wù)器的方案都是錯(cuò)的。3.2 UPS與HVDC的選型分歧UPS這塊的爭(zhēng)論一直沒停過。工頻機(jī)和高頻機(jī)的差別本質(zhì)上是變壓器在不在機(jī)器內(nèi)部。工頻機(jī)內(nèi)置輸出變壓器抗沖擊能力強(qiáng)、對(duì)負(fù)載的適應(yīng)性好缺點(diǎn)是體積大、重量大、效率略低。高頻機(jī)省掉了工頻變壓器體積小、效率高、輸入功率因數(shù)好但對(duì)負(fù)載的適應(yīng)性和抗沖擊能力相對(duì)弱一些選型時(shí)要確認(rèn)負(fù)載類型。模塊化UPS這幾年基本成了主流選擇。它的好處很直觀按需配置功率模塊初期投資低模塊故障時(shí)其余模塊繼續(xù)工作更換模塊不需要停機(jī)擴(kuò)容時(shí)加模塊就行。但它也有代價(jià)機(jī)架本身的容量是固定的模塊數(shù)量有上限而且模塊多了之后監(jiān)控和均流管理更復(fù)雜。我個(gè)人的經(jīng)驗(yàn)是如果負(fù)載增長(zhǎng)曲線明確、機(jī)房空間緊張模塊化值得優(yōu)先考慮如果負(fù)載已經(jīng)穩(wěn)定、單機(jī)容量需求大傳統(tǒng)大容量UPS可能更省心。效率指標(biāo)要分開看。雙變換模式下的效率通常在94%到96%之間ECO模式可以到98%以上但ECO模式下市電直接供電切換過程中仍然有毫秒級(jí)的擾動(dòng)對(duì)極其敏感的設(shè)備不一定合適。我的做法是核心業(yè)務(wù)維持雙變換非核心或者有冗余的負(fù)載可以開ECO但一定要實(shí)測(cè)切換波形確認(rèn)設(shè)備能扛住。HVDC高壓直流是另一個(gè)方向240V或336V直流輸出直接給服務(wù)器供電。它的優(yōu)勢(shì)是效率高、結(jié)構(gòu)簡(jiǎn)單、電池可以直接掛在直流母線上省掉逆變環(huán)節(jié)、可靠性理論上更好。但它的落地受限于服務(wù)器電源必須配直流輸入的電源模塊生態(tài)上不如交流UPS成熟。國(guó)內(nèi)一些大型互聯(lián)網(wǎng)機(jī)房用得多普通企業(yè)機(jī)房如果要上得先確認(rèn)服務(wù)器廠商能不能供直流電源否則方案直接卡死。我的判斷是新建大型自用機(jī)房、服務(wù)器采購(gòu)可控的場(chǎng)景可以認(rèn)真評(píng)估HVDC改造項(xiàng)目、設(shè)備品牌雜亂的場(chǎng)景老實(shí)用交流UPS。3.3 蓄電池與柴油發(fā)電機(jī)電池是UPS系統(tǒng)里壽命最短、最容易被忽視的部分。鉛酸電池便宜、技術(shù)成熟但占地大、重量大、對(duì)溫度敏感壽命通常三到五年。鋰電池占地小、重量輕、循環(huán)壽命長(zhǎng)、支持大電流放電但成本高而且需要配套的電池管理系統(tǒng)和消防措施。選哪種要看機(jī)房條件如果電池間面積緊張、樓板承重有限鋰電池的優(yōu)勢(shì)就體現(xiàn)出來了。電池容量計(jì)算不能只看后備多少分鐘這個(gè)數(shù)字。電池的實(shí)際輸出能力跟放電倍率強(qiáng)相關(guān)放電越快可用容量越少。所以計(jì)算的時(shí)候要用電池廠家提供的恒功率放電表而不是簡(jiǎn)單用安時(shí)數(shù)乘電壓。這一點(diǎn)后面第四節(jié)的實(shí)操部分我會(huì)寫具體的計(jì)算方法。電池的溫度管理也很關(guān)鍵。鉛酸電池的額定容量是在25度環(huán)境下標(biāo)定的環(huán)境溫度每升高10度壽命大約減半。很多機(jī)房把電池放在沒有獨(dú)立空調(diào)的角落里夏天溫度輕松超過35度電池兩三年就不行了。我建議電池間單獨(dú)做溫控如果預(yù)算不允許至少要有強(qiáng)排風(fēng)和溫度監(jiān)控把溫度控制在30度以內(nèi)。柴油發(fā)電機(jī)是最后一道防線。容量選型通常按UPS的總?cè)萘砍艘?.2到1.5的系數(shù)因?yàn)閁PS在帶載啟動(dòng)時(shí)有一定的沖擊而且柴發(fā)在突加負(fù)載時(shí)的動(dòng)態(tài)特性會(huì)影響輸出電壓和頻率。柴發(fā)的加載策略一般是分步加載先帶一部分負(fù)載穩(wěn)定后再逐步增加避免一次加載過大導(dǎo)致頻率跌落甚至停機(jī)。油箱容量通常按滿載運(yùn)行8到12小時(shí)配置有條件的話配儲(chǔ)油罐保證長(zhǎng)時(shí)間斷電時(shí)的續(xù)航。柴發(fā)的日常維護(hù)比UPS更重要因?yàn)樗情L(zhǎng)期閑置的設(shè)備。定期空載試機(jī)、帶載測(cè)試、油路檢查、蓄電池檢查一樣都不能少。我見過不止一次市電真斷了、柴發(fā)啟動(dòng)失敗的情況原因都是長(zhǎng)期沒做帶載測(cè)試燃油系統(tǒng)有空氣或者啟動(dòng)電池虧電。這類問題在測(cè)試中暴露出來是好事在真故障時(shí)暴露就是事故。3.4 末端配電列頭柜、母線槽與智能PDU末端配電是把電送到機(jī)柜的最后一段也是最容易亂的一段。傳統(tǒng)做法是列頭柜加線纜每排機(jī)柜配一個(gè)列頭柜從列頭柜拉電纜到每個(gè)機(jī)柜的PDU。這種方式靈活、成本可控缺點(diǎn)是線纜多、改動(dòng)麻煩、占空間。母線槽是另一種做法沿著機(jī)柜排上方或者下方鋪設(shè)機(jī)柜通過插接箱取電擴(kuò)容和調(diào)整位置特別方便缺點(diǎn)是初期投資高、載流量有限、插接點(diǎn)需要定期檢查。智能PDU這幾年普及得很快它最大的價(jià)值不是遠(yuǎn)程開關(guān)插座而是計(jì)量。機(jī)柜級(jí)、插座級(jí)的電流、功率、電量數(shù)據(jù)能讓你清楚知道每個(gè)機(jī)柜實(shí)際用了多少電、三相是否平衡、峰值出現(xiàn)在什么時(shí)候。這些數(shù)據(jù)對(duì)容量規(guī)劃極其重要。我做過一個(gè)項(xiàng)目前期按平均5kW每機(jī)柜規(guī)劃上了智能PDU之后發(fā)現(xiàn)有的機(jī)柜實(shí)際跑到7kW以上有的只有2kW負(fù)載分布嚴(yán)重不均。如果不做機(jī)柜級(jí)計(jì)量這些問題根本看不見等到某個(gè)支路過載跳閘才發(fā)現(xiàn)就晚了。機(jī)柜的雙路供電要特別注意來源。A路和B路必須來自兩個(gè)不同的UPS系統(tǒng)或者至少兩個(gè)不同的配電支路絕對(duì)不能從同一個(gè)列頭柜的兩路出線來接那樣等于沒有冗余。接線的時(shí)候要有明確標(biāo)識(shí)我建議用不同顏色的線纜和標(biāo)簽區(qū)分A、B路運(yùn)維換線的時(shí)候不容易搞錯(cuò)。還有一種情況是設(shè)備只有一個(gè)電源接口這種設(shè)備要么配靜態(tài)轉(zhuǎn)換開關(guān)要么就只能接在一路電源上接受這路電源故障時(shí)設(shè)備掉線的風(fēng)險(xiǎn)這個(gè)取舍要在設(shè)計(jì)階段就跟業(yè)務(wù)方確認(rèn)清楚。4. 一次完整的容量推演從負(fù)載表算到線徑4.1 負(fù)載統(tǒng)計(jì)與需求系數(shù)容量計(jì)算的第一步是把負(fù)載統(tǒng)計(jì)清楚。IT負(fù)載是最核心的部分包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備。獲取這個(gè)數(shù)據(jù)有幾種方式新機(jī)房可以按規(guī)劃的設(shè)備清單估算改造機(jī)房最好用智能PDU實(shí)測(cè)數(shù)據(jù)什么都沒有的時(shí)候只能按機(jī)柜數(shù)量和預(yù)估功率密度來算。舉個(gè)具體的例子。假設(shè)一個(gè)機(jī)房規(guī)劃200個(gè)機(jī)柜規(guī)劃功率密度平均5kW每機(jī)柜那IT負(fù)載的理論最大值是1000kW。但實(shí)際運(yùn)行中不可能每個(gè)機(jī)柜都跑滿所以要乘以一個(gè)同時(shí)系數(shù)。這個(gè)系數(shù)跟業(yè)務(wù)類型有關(guān)互聯(lián)網(wǎng)業(yè)務(wù)波動(dòng)大同時(shí)系數(shù)可能取0.8到0.9傳統(tǒng)企業(yè)業(yè)務(wù)比較穩(wěn)定可以取0.9到0.95。這里我取0.9得到實(shí)際IT負(fù)載900kW。除了IT負(fù)載還要加輔助負(fù)載。照明、監(jiān)控、門禁這些占比很小可以忽略或者按經(jīng)驗(yàn)值加個(gè)幾kW。真正大頭是制冷系統(tǒng)也就是空調(diào)和冷機(jī)。如果做整體配電設(shè)計(jì)制冷負(fù)載要單獨(dú)算通常按PUE反推。假設(shè)設(shè)計(jì)PUE是1.3那制冷及其他非IT負(fù)載大約是IT負(fù)載的30%也就是270kW。這里有個(gè)設(shè)計(jì)習(xí)慣的差異有的方案把IT負(fù)載和制冷負(fù)載分開配電UPS只保障IT負(fù)載制冷由市電直接供電有的方案把制冷也納入保障范圍。前者成本低但市電中斷時(shí)制冷會(huì)停機(jī)房溫度會(huì)在幾分鐘內(nèi)快速上升通??坎癜l(fā)啟動(dòng)后恢復(fù)制冷來銜接中間有個(gè)溫度上升的窗口。后者成本高但連續(xù)性更好。這個(gè)選擇取決于業(yè)務(wù)對(duì)溫度的敏感程度和柴發(fā)的啟動(dòng)可靠性。我一般建議核心機(jī)房把制冷的關(guān)鍵部分納入柴發(fā)保障但不一定要走UPS。4.2 UPS容量與電池后備時(shí)間計(jì)算拿到IT負(fù)載900kW之后開始算UPS容量。計(jì)算要考慮三個(gè)因素功率因數(shù)、負(fù)載率目標(biāo)、冗余方式?,F(xiàn)代服務(wù)器的電源模塊基本都帶功率因數(shù)校正功率因數(shù)可以按0.95到0.99來取保守一點(diǎn)取0.95。那么視在功率是900除以0.95約947kVA。UPS的最佳負(fù)載率通常在40%到60%之間太低效率差、投資浪費(fèi)太高沒有余量、風(fēng)險(xiǎn)大。取50%作為設(shè)計(jì)負(fù)載率那么需要的UPS容量是947除以0.5約1894kVA向上取整選2000kVA。如果做2N那就是兩套2000kVA的系統(tǒng)每套都能獨(dú)立帶全部負(fù)載。如果做N1可以選三臺(tái)800kVA加一臺(tái)備用總?cè)萘?200kVA實(shí)際負(fù)載率約30%這個(gè)余量偏大了可以調(diào)整成兩臺(tái)1000kVA加一臺(tái)備用或者三臺(tái)模塊化機(jī)架按需配模塊。我用一段簡(jiǎn)短的Python把上面的邏輯固化下來方便反復(fù)試算不同參數(shù)def ups_sizing(it_load_kw, pf0.95, target_ratio0.5, model2N, unit_kva500): it_load_kw: IT負(fù)載有功功率 kW pf: 功率因數(shù) target_ratio: 目標(biāo)負(fù)載率 model: 冗余模型 2N / N1 unit_kva: 單機(jī)容量 kVA s_required it_load_kw / pf / target_ratio # 向上取整到單機(jī)容量的整數(shù)倍 import math units math.ceil(s_required / unit_kva) if model 2N: # 兩套獨(dú)立系統(tǒng)每套都能帶全部負(fù)載 per_system units total units * 2 else: # N1負(fù)載分配在N臺(tái)另加1臺(tái)備用 n max(1, units - 1) per_system n 1 total n 1 actual_ratio (it_load_kw / pf) / (per_system * unit_kva) return { 所需視在功率_kVA: round(s_required, 1), 每套配置_臺(tái): per_system, 總臺(tái)數(shù)_臺(tái): total, 實(shí)際負(fù)載率: round(actual_ratio, 3) } print(ups_sizing(900, 0.95, 0.5, 2N, 500))跑出來的結(jié)果是每套四臺(tái)500kVA兩套共八臺(tái)每套實(shí)際負(fù)載率約47%。這個(gè)配置的余量比較合理負(fù)載增長(zhǎng)到1000kW也還能扛住。電池后備時(shí)間的計(jì)算要更細(xì)致。市電中斷到柴發(fā)穩(wěn)定帶載一般需要10到30秒考慮柴發(fā)啟動(dòng)失敗需要重試的情況電池后備時(shí)間通常按10到15分鐘設(shè)計(jì)。計(jì)算過程是先確定UPS在目標(biāo)后備時(shí)間下的輸出功率再除以逆變效率和電池放電系數(shù)得到電池需要提供的直流功率最后按電池的恒功率放電曲線選型。以上面的負(fù)載為例單套系統(tǒng)承擔(dān)900kW負(fù)載按后備10分鐘計(jì)算def battery_sizing(load_kw, backup_min, inv_eff0.94, dc_bus_v480): 簡(jiǎn)化估算實(shí)際選型必須查電池廠家的恒功率放電表 load_kw: 單套系統(tǒng)承擔(dān)的負(fù)載 kW backup_min: 后備時(shí)間 分鐘 inv_eff: 逆變效率 dc_bus_v: 直流母線電壓 hours backup_min / 60 # 電池實(shí)際需要輸出的能量考慮放電系數(shù) 0.55大電流放電時(shí)的修正 discharge_factor 0.55 energy_kwh load_kw * hours / inv_eff / discharge_factor # 換算成安時(shí) ah energy_kwh * 1000 / dc_bus_v return { 電池需要能量_kWh: round(energy_kwh, 1), 母線電壓_V: dc_bus_v, 估算安時(shí)_Ah: round(ah, 1) } print(battery_sizing(900, 10))算出來大約需要590Ah。按常見的400Ah電池配置就是兩組400Ah實(shí)際可用容量有一定余量。要強(qiáng)調(diào)的是這個(gè)計(jì)算是簡(jiǎn)化估算真實(shí)的電池選型必須用廠家的恒功率放電表按單體的放電終止電壓和放電時(shí)間查表再乘以溫度修正系數(shù)和老化系數(shù)。鉛酸電池的壽命末期容量會(huì)衰減到額定值的80%左右設(shè)計(jì)時(shí)最好按80%來選給老化留余量。4.3 線纜、母排與保護(hù)配合線纜選型要過三關(guān)載流量、電壓降、短路熱穩(wěn)定。載流量是最基本的。銅芯電纜在空氣中敷設(shè)環(huán)境溫度35度的情況下參考載流量大致如下截面 mm2參考載流量 A單芯、空氣中常見用途25約110小容量列頭柜進(jìn)線35約135支路配電50約165中等容量列頭柜70約205列頭柜進(jìn)線95約245列頭柜進(jìn)線120約285主配電饋線185約375主配電饋線240約445大容量饋線多用于多拼這些數(shù)字只是量級(jí)參考實(shí)際必須查廠家樣本和敷設(shè)方式修正系數(shù)。多根并聯(lián)時(shí)要乘一個(gè)降容系數(shù)一般取0.85到0.9。穿管、橋架內(nèi)敷設(shè)也會(huì)降容這些修正不做算出來的載流量是虛高的。電壓降是第二個(gè)約束。從變壓器到末端機(jī)柜總壓降一般控制在5%以內(nèi)末端支路自己控制在3%以內(nèi)。電壓降跟電流、線路長(zhǎng)度、功率因數(shù)都有關(guān)系長(zhǎng)距離饋線尤其要注意。我做設(shè)計(jì)時(shí)習(xí)慣在計(jì)算表里把每一段的壓降單獨(dú)列出來累加看總量超了就加大截面或者縮短路徑。短路熱穩(wěn)定是第三關(guān)。發(fā)生短路時(shí)電纜要在保護(hù)動(dòng)作的時(shí)間內(nèi)承受住短路電流的熱效應(yīng)。這個(gè)校驗(yàn)需要知道短路電流的大小和保護(hù)的動(dòng)作時(shí)間截面不夠的話短路瞬間電纜絕緣就會(huì)受損。這一步很多人會(huì)跳過覺得載流量夠就行實(shí)際上在短路容量大的系統(tǒng)里熱穩(wěn)定經(jīng)常成為控制截面選型的因素。母排的選擇同理除了載流量還要校驗(yàn)動(dòng)穩(wěn)定也就是短路時(shí)的電動(dòng)力能不能讓母排變形。保護(hù)配合是個(gè)細(xì)活。上下級(jí)斷路器的整定要形成時(shí)間差和電流差保證故障時(shí)最近的保護(hù)先動(dòng)作不要越級(jí)跳到上級(jí)。UPS輸入輸出側(cè)的斷路器整定還要考慮UPS的啟動(dòng)沖擊和旁路切換整定得太靈敏會(huì)誤跳。這塊我建議做一份完整的保護(hù)配合表把每個(gè)斷路器的額定電流、長(zhǎng)延時(shí)、短延時(shí)、瞬動(dòng)整定值都列出來調(diào)試的時(shí)候逐臺(tái)核對(duì)。4.4 機(jī)柜選型與配電能力匹配機(jī)柜的選擇跟配電能力是綁在一起的不能分開看。機(jī)柜的功率密度直接決定PDU的規(guī)格、支路的容量、甚至是否需要更換架構(gòu)。普通業(yè)務(wù)機(jī)柜功率在3到5kW配兩個(gè)單相16A的PDU或者一個(gè)三相16A的PDU就夠了。到了5到8kW建議用三相32A的PDU三相配電天然比單相更容易平衡。8到15kW的機(jī)柜PDU要上到三相32A甚至更高同時(shí)要配垂直安裝的0U PDU因?yàn)樗桨惭b的1U PDU在這種功率下散熱和線纜管理都很難受。超過15kW基本就要考慮液冷配套或者用母線槽直接對(duì)機(jī)柜供電把PDU簡(jiǎn)化為取電單元。機(jī)柜本身的規(guī)格也要跟功率匹配。高功率機(jī)柜需要更好的前后門開孔率一般要78%以上不然冷風(fēng)進(jìn)不去、熱風(fēng)出不來。深度方面普通機(jī)柜800到1000毫米夠用但裝GPU服務(wù)器的話深度普遍要1100毫米以上有些機(jī)型甚至需要1200毫米。承重也要注意滿配的GPU機(jī)柜重量可能超過1000公斤靜態(tài)承重要留足余量地板或者支架的承重能力要單獨(dú)校核。還有一個(gè)容易忽略的點(diǎn)服務(wù)器上電瞬間的沖擊電流。服務(wù)器的電源模塊在上電瞬間會(huì)有較大的浪涌電流多臺(tái)設(shè)備同時(shí)上電時(shí)這個(gè)浪涌可能疊加到額定電流的好幾倍導(dǎo)致支路斷路器誤跳。解決方法有兩種一是采用分步上電讓設(shè)備錯(cuò)開啟動(dòng)二是選擇帶延時(shí)脫扣特性的斷路器能扛住短暫的沖擊。我實(shí)際調(diào)試時(shí)更傾向于分步上電配合帶計(jì)量的PDU上電過程中盯著電流曲線看哪一路沖高了就停下來分批發(fā)。5. 上電調(diào)試現(xiàn)場(chǎng)并機(jī)、切換與帶載測(cè)試5.1 上電前的檢查清單上電是整個(gè)工程里最緊張的時(shí)刻一旦有短路或者接線錯(cuò)誤可能就是設(shè)備損壞甚至安全事故。我整理的檢查清單大致包括這幾項(xiàng)。接線核對(duì)是第一項(xiàng)也是最重要的。所有一二次接線要跟圖紙逐條核對(duì)尤其是相序、極性、互感器變比這些。相序錯(cuò)了三相設(shè)備會(huì)反轉(zhuǎn)或者異常發(fā)熱互感器變比錯(cuò)了計(jì)量和保護(hù)的數(shù)值全是錯(cuò)的。核對(duì)接線的時(shí)候要兩個(gè)人交叉檢查一個(gè)人看圖紙一個(gè)人看實(shí)物比一個(gè)人自己看靠譜得多。絕緣測(cè)試是第二項(xiàng)。主回路、控制回路分別測(cè)絕緣電阻記錄數(shù)值。絕緣不合格絕對(duì)不能上電必須查明原因。測(cè)試完之后要記得放電尤其是長(zhǎng)電纜和電容器。開關(guān)狀態(tài)確認(rèn)是第三項(xiàng)。所有斷路器、隔離開關(guān)的分合狀態(tài)要在上電前確認(rèn)一遍避免帶負(fù)載合閘或者帶電掛地線。接地開關(guān)要全部拉開接地線要全部拆除這個(gè)順序和狀態(tài)最好做成表格一項(xiàng)項(xiàng)打勾。保護(hù)定值核對(duì)是第四項(xiàng)。前面說的保護(hù)配合表這時(shí)候要逐臺(tái)核對(duì)斷路器的整定值是否跟設(shè)計(jì)一致。很多設(shè)備的出廠定值跟設(shè)計(jì)值不一樣不核對(duì)就上電等于保護(hù)形同虛設(shè)。電池組檢查是第五項(xiàng)。電池的連接條力矩、極性、開路電壓、內(nèi)阻都要測(cè)一遍。電池是串聯(lián)的一根連接條松動(dòng)就可能在大電流放電時(shí)打火甚至燒毀。力矩要用扭力扳手按廠家要求擰緊不能憑手感。所有檢查完成之后先空載上電觀察電壓、相序、指示燈、監(jiān)控?cái)?shù)據(jù)一切正常再逐級(jí)帶載。帶載要從小到大邊帶邊測(cè)溫度、電流、電壓發(fā)現(xiàn)異常立刻停下來。5.2 并機(jī)與切換測(cè)試怎么做扎實(shí)并機(jī)調(diào)試是UPS系統(tǒng)里技術(shù)含量最高的環(huán)節(jié)。多臺(tái)UPS并機(jī)運(yùn)行需要確保各臺(tái)的輸出電壓、相位、頻率嚴(yán)格同步負(fù)載均分。調(diào)試步驟一般是從單機(jī)開機(jī)、參數(shù)設(shè)置、同步校準(zhǔn)到并機(jī)運(yùn)行、均流測(cè)試、帶載測(cè)試。均流測(cè)試要重點(diǎn)關(guān)注不平衡度。理想情況下各臺(tái)UPS的輸出電流應(yīng)該基本相等實(shí)際允許有5%左右的偏差。偏差過大可能是同步參數(shù)、輸出阻抗或者檢測(cè)電路的問題需要廠家配合調(diào)整。我遇到過并機(jī)后一臺(tái)機(jī)器長(zhǎng)期偏載的情況原因是均流線接觸不良這種問題在輕載時(shí)不明顯滿載時(shí)才暴露所以帶載測(cè)試一定要做到接近額定負(fù)載。切換測(cè)試分幾種。市電切換測(cè)試是模擬一路市電失電看系統(tǒng)能否正常切換到另一路IT負(fù)載是否受影響。這個(gè)測(cè)試要配合負(fù)載端的監(jiān)測(cè)記錄切換瞬間的電壓波形。UPS切換測(cè)試是模擬UPS故障看能否切到旁路以及切回時(shí)是否平穩(wěn)。電池放電測(cè)試是斷開市電讓電池帶載運(yùn)行到設(shè)定時(shí)間觀察電壓下降曲線和報(bào)警情況。柴發(fā)帶載測(cè)試是啟動(dòng)柴發(fā)逐步加載到設(shè)計(jì)容量觀察頻率、電壓穩(wěn)定性和加載能力。我的經(jīng)驗(yàn)是每次測(cè)試都要有完整的記錄包括測(cè)試時(shí)間、測(cè)試項(xiàng)目、測(cè)試前的狀態(tài)、測(cè)試過程和結(jié)果、發(fā)現(xiàn)的問題和后續(xù)處理。這些記錄不只是為了交差更重要的是作為基線以后再次測(cè)試時(shí)能對(duì)比發(fā)現(xiàn)設(shè)備性能的變化趨勢(shì)。電池的放電曲線尤其重要前后對(duì)比能提前發(fā)現(xiàn)電池容量衰減。6. 常見故障排查與避坑實(shí)錄6.1 問題速查表我把這些年遇到和聽到的典型問題整理成表格方便快速對(duì)照排查。現(xiàn)象可能原因排查方向處理建議某相電流明顯高于其他相單相負(fù)載分配不均用鉗形表逐路測(cè)電流看負(fù)載分布重新分配單相負(fù)載把大功率單相設(shè)備挪到輕載相電池后備時(shí)間明顯縮短電池老化、環(huán)境溫度高、長(zhǎng)期浮充電壓偏差測(cè)單體電壓和內(nèi)阻查電池間溫度更換落后單體改善電池間溫度校準(zhǔn)充電電壓UPS頻繁轉(zhuǎn)旁路負(fù)載沖擊、逆變器過載、內(nèi)部故障查負(fù)載電流波形看是否有大電流沖擊分散上電時(shí)序檢查負(fù)載是否超過容量聯(lián)系廠家檢測(cè)柴發(fā)啟動(dòng)后頻率不穩(wěn)加載過快、燃油供油不足、調(diào)速器問題觀察加載過程檢查油路改為分步加載檢查燃油濾清器和油路密封支路斷路器誤跳浪涌電流、斷路器定值偏小、接線松動(dòng)查跳閘時(shí)的負(fù)載狀態(tài)和電流記錄調(diào)整上電時(shí)序核對(duì)斷路器曲線緊固接線機(jī)柜PDU報(bào)過載實(shí)際負(fù)載超出規(guī)劃、負(fù)載分布不均看PDU計(jì)量數(shù)據(jù)遷移部分設(shè)備調(diào)整機(jī)柜分配變壓器溫升異常負(fù)載率過高、散熱不良、諧波損耗測(cè)負(fù)載率和溫升檢查通風(fēng)降低負(fù)載率改善通風(fēng)評(píng)估諧波治理表格里每一條都是真實(shí)會(huì)遇到的問題。我特別想說的是電池后備時(shí)間縮短這一項(xiàng)它往往不是突然發(fā)生的而是緩慢衰減日常巡檢不做放電測(cè)試就發(fā)現(xiàn)不了。6.2 手冊(cè)里不會(huì)寫的幾條經(jīng)驗(yàn)第一條永遠(yuǎn)不要相信圖紙上是對(duì)的?,F(xiàn)場(chǎng)施工和圖紙有出入是常態(tài)接線錯(cuò)、標(biāo)簽錯(cuò)、設(shè)備型號(hào)不符什么情況都有。上電前一定要實(shí)地核對(duì)圖紙只是參考。第二條給電池間裝個(gè)溫度記錄儀成本很低作用很大。電池衰減跟溫度的關(guān)系太密切了有了長(zhǎng)期溫度數(shù)據(jù)你就能解釋為什么某組電池壽命特別短也能量化改善措施的效果。第三條智能PDU的數(shù)據(jù)要定期看不要裝了不用。很多次容量告警都是通過PDU的趨勢(shì)數(shù)據(jù)提前發(fā)現(xiàn)的比如某個(gè)機(jī)柜的功率在過去三個(gè)月持續(xù)上升那就要提前規(guī)劃遷移或者擴(kuò)容而不是等跳閘。第四條柴發(fā)的定期帶載測(cè)試必須真帶載不能只空載試機(jī)。空載運(yùn)行只能驗(yàn)證啟動(dòng)系統(tǒng)驗(yàn)證不了帶載能力和油路在高負(fù)荷下的表現(xiàn)。我建議每季度做一次不低于50%額定容量的帶載測(cè)試有條件的話每年做一次滿載測(cè)試。第五條所有關(guān)鍵操作都要有兩人在場(chǎng)一個(gè)人操作一個(gè)人監(jiān)護(hù)。配電操作涉及高壓和帶電作業(yè)風(fēng)險(xiǎn)不低單人操作的容錯(cuò)空間太小。第六條維護(hù)記錄要寫清楚為什么不只是做了什么。比如更換了某個(gè)斷路器要記錄是因?yàn)槭裁船F(xiàn)象、經(jīng)過什么排查、判斷是什么原因。這些信息在下次遇到類似問題時(shí)價(jià)值極高。7. 高密機(jī)柜、液冷與負(fù)載調(diào)度帶來的新變化7.1 液冷機(jī)柜對(duì)配電提出的新要求這兩年高密算力的需求把機(jī)柜功率密度推得很快風(fēng)冷機(jī)柜做到15kW以上就已經(jīng)很吃力再往上基本都要上液冷。冷板式液冷目前是落地最多的方案機(jī)柜功率可以做到30到80kW浸沒式更高單柜上百千瓦也不稀奇。液冷對(duì)配電的影響是連鎖的。首先是機(jī)柜側(cè)功率密度上去了傳統(tǒng)的列頭柜加電纜的方案在很多場(chǎng)景下不夠用了母線槽直供或者一體化配電單元成為更常見的選擇。其次是冷卻分配單元的供電它相當(dāng)于液冷系統(tǒng)的心臟一旦失電冷卻液循環(huán)停止芯片溫度會(huì)在很短時(shí)間內(nèi)飆升。所以冷卻分配單元必須納入U(xiǎn)PS保障范圍而且自身要有冗余通常是N1配置。還有幾個(gè)細(xì)節(jié)容易被漏掉。液冷系統(tǒng)的漏液檢測(cè)要跟配電聯(lián)動(dòng)檢測(cè)到漏液應(yīng)該立即告警并在必要時(shí)切斷對(duì)應(yīng)機(jī)柜的供電防止液體接觸帶電部件。二次側(cè)的管路材質(zhì)、水質(zhì)管理、快接頭的可靠性都會(huì)影響長(zhǎng)期運(yùn)行的穩(wěn)定性。配電和液冷這兩套系統(tǒng)在設(shè)計(jì)階段就要一起考慮不能先做完配電再補(bǔ)液冷那樣接口和空間都會(huì)很別扭。我參加過幾次液冷相關(guān)的技術(shù)交流一個(gè)共同的感受是液冷不是簡(jiǎn)單的把風(fēng)冷換成水冷它改變了機(jī)房的功率分布、熱管理邏輯、運(yùn)維流程配電作為配套設(shè)施必須同步演進(jìn)。比如功率密度提高后單位面積的配電容量需求成倍增長(zhǎng)低壓柜的饋線數(shù)量、母排容量、電纜通道都要重新算。7.2 可調(diào)度與不可調(diào)度任務(wù)如何影響配電分區(qū)云計(jì)算和容器化普及之后負(fù)載開始有了可調(diào)度和不可調(diào)度的區(qū)分。不可調(diào)度任務(wù)一般指那些不能隨意中斷、不能隨意遷移的業(yè)務(wù)比如核心數(shù)據(jù)庫(kù)、交易系統(tǒng)、存儲(chǔ)集群的控制面??烧{(diào)度任務(wù)指那些可以中斷、可以遷移、可以排隊(duì)等待的業(yè)務(wù)比如離線訓(xùn)練、批量計(jì)算、視頻轉(zhuǎn)碼、日志處理。這個(gè)區(qū)分對(duì)配電設(shè)計(jì)有很實(shí)際的影響而且很多人沒意識(shí)到這一點(diǎn)。傳統(tǒng)的做法是所有負(fù)載一視同仁都走雙路UPS都按最高等級(jí)保障。但實(shí)際上可調(diào)度任務(wù)完全沒必要花這么多錢。它們可以在電力緊張的時(shí)候主動(dòng)讓出資源甚至在市電切換時(shí)接受短暫中斷任務(wù)重新排隊(duì)就好。落到配電架構(gòu)上可以這樣分區(qū)不可調(diào)度負(fù)載走標(biāo)準(zhǔn)的雙路UPSA、B兩路來自獨(dú)立系統(tǒng)保證任何一路故障都不影響業(yè)務(wù)??烧{(diào)度負(fù)載走一條保障等級(jí)略低的支路可以是單路UPS加市電或者干脆市電加自動(dòng)轉(zhuǎn)換開關(guān)配合機(jī)柜級(jí)計(jì)量和監(jiān)控。當(dāng)市電波動(dòng)或者柴發(fā)帶載時(shí)監(jiān)控系統(tǒng)感知到電力緊張通知調(diào)度系統(tǒng)把可調(diào)度任務(wù)逐步遷移或者暫停釋放出電力給不可調(diào)度負(fù)載。這個(gè)思路的價(jià)值在于它把配電容量和IT調(diào)度打通了讓電力資源可以被動(dòng)態(tài)管理而不是永遠(yuǎn)按峰值配置。實(shí)現(xiàn)上需要幾個(gè)條件機(jī)柜級(jí)的功率計(jì)量要準(zhǔn)調(diào)度系統(tǒng)要能接收電力告警并做出響應(yīng)業(yè)務(wù)側(cè)要能接受任務(wù)中斷和重新排隊(duì)。技術(shù)上不復(fù)雜難的是業(yè)務(wù)側(cè)的配合和流程上的約定。我個(gè)人的判斷是這種電力感知的調(diào)度會(huì)越來越普遍尤其是在電力成本高、容量受限的園區(qū)。配電設(shè)計(jì)如果一開始就把可調(diào)度和不可調(diào)度負(fù)載分開走線、分開計(jì)量后續(xù)做這類優(yōu)化會(huì)容易得多臨時(shí)改造的代價(jià)則很大。7.3 個(gè)人和小型數(shù)據(jù)中心怎么搭一套靠譜配電最后說說個(gè)人和小型機(jī)房的配電。這類場(chǎng)景預(yù)算有限、空間有限但基本的安全和可靠性要求不能省。供電方式一般是單相220V如果設(shè)備多、功率大可以申請(qǐng)三相進(jìn)線。總進(jìn)線的容量要根據(jù)所有設(shè)備的總功率算留出30%以上的余量。服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備加起來算IT負(fù)載空調(diào)、除濕這些單獨(dú)算空調(diào)建議走獨(dú)立回路不要跟IT設(shè)備混在一起。UPS的選擇個(gè)人場(chǎng)景一般1到3kVA就夠了注意要看輸出是純正弦波還是模擬正弦波帶主動(dòng)式PFC電源的服務(wù)器必須用純正弦波輸出的UPS模擬正弦波的可能會(huì)引起電源異響甚至損壞。后備時(shí)間按15到30分鐘配置主要目的是撐過短時(shí)波動(dòng)和給正常關(guān)機(jī)留時(shí)間。線徑和回路要算清楚。常見的參考是16A回路用2.5平方毫米銅線25A回路用4平方毫米32A回路用6平方毫米。插座用工業(yè)級(jí)的普通家用插座長(zhǎng)期帶大電流容易發(fā)熱老化。接地一定要做機(jī)柜、設(shè)備外殼、防靜電地板都要可靠接地接地電阻盡量做到最低。機(jī)柜選擇上12U到22U的小機(jī)柜比較常見注意深度要夠很多服務(wù)器深度超過700毫米淺機(jī)柜裝不進(jìn)去或者后面線纜擠成一團(tuán)。散熱要規(guī)劃好小機(jī)房的常見錯(cuò)誤是把機(jī)柜塞在封閉的儲(chǔ)物間里熱量排不出去設(shè)備溫度輕松超標(biāo)。至少要有進(jìn)風(fēng)口和排風(fēng)口有條件的話裝個(gè)溫控風(fēng)扇或者小型空調(diào)。監(jiān)控方面一個(gè)帶計(jì)量的PDU加一個(gè)溫濕度傳感器就能覆蓋大部分的日常監(jiān)控需求。電流異常、溫度過高能及時(shí)告警比事后發(fā)現(xiàn)問題強(qiáng)得多。另外記得給服務(wù)器配置來電自啟動(dòng)市電恢復(fù)后設(shè)備能自動(dòng)開機(jī)不用人工一臺(tái)臺(tái)去按電源鍵。這些東西看起來瑣碎但真正出問題的時(shí)候往往就是這些細(xì)節(jié)沒做好。我在自己那臺(tái)小機(jī)柜上踩過的坑包括UPS輸出接了帶開關(guān)的插排導(dǎo)致意外斷電、機(jī)柜后面線纜太亂影響散熱、接地線接在了水管上這是絕對(duì)錯(cuò)誤的做法。這些經(jīng)驗(yàn)寫出來希望后來的人能少走點(diǎn)彎路。設(shè)備選型這件事我這些年最大的體會(huì)是不要追求單一指標(biāo)的極致要看整個(gè)鏈路的匹配。一臺(tái)效率特別高的UPS配一條截面不足的電纜整體可靠性還是上不去一套完整的2N架構(gòu)配一個(gè)負(fù)載分配嚴(yán)重不均的末端一樣會(huì)在某個(gè)支路上跳閘。供配電是一套系統(tǒng)工程從進(jìn)線到芯片每一環(huán)都要經(jīng)得起推敲任何一環(huán)的短板都會(huì)成為整條鏈路的瓶頸。實(shí)際做項(xiàng)目的時(shí)候我習(xí)慣在圖紙定稿前把整條鏈路從頭到尾走一遍想象電流是怎么流的、故障時(shí)會(huì)發(fā)生什么、維護(hù)時(shí)怎么隔離走完這一遍很多隱藏的問題自己就冒出來了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠草在线观看| 婷婷色导航| 丁香五月婷婷婷桃花影院| 欧美性色五月天| 婷婷伊人综合| 99ri国产在线| 天天粽合合合合| 日本不卡一区二区三区| 天天狠狠干| 国产色色色色色| 天天综合中文| WWW久久久| 天天干夜夜谢| 天天舔日日肏夜夜爽| txt五月激情四射网综合俺也来了| 婷婷五月视屏| 综合亚洲六月婷婷在线| 国av网| 99热这里精品| 国产韩日亚洲美州欧亚综合在线| 激情小说色五月| 五月天色视频| 深夜男女福利刺激影院一区完整| 狠狠ri| 激情VA视频| 午夜成人在线免费视频| 九九热在线精品视频| 婷婷丁香视频| 日韩av在线电影| 99热精品中文字幕| 人人干人人操人人摸| 激情图片婷婷| 超极99精品| 碰97久久| 激情综合网亚洲色图| 97人妻人人| 色综合婷婷| 这里只有精品99www| 亚洲成人av在线观看| 人人草人人舔| 色婷婷五月综合网| 激情综合啪啪啪| 色婷婷香蕉在线| 影音先锋一区| 综合久久人妻| 婷婷久久国产视频| 亚洲精品国产成人AV在线| 六月婷婷色综合| 丁香五月婷婷骚视屏| 91久久| 香蕉AV777XXX色综合一区| 成人丁香婷婷| WWW.桔色成人.COM入口| 色婷婷网| 丁香五月婷婷五月| 99热综合在线观看| 国产精品色色| 最新色色五月天| 色五月婷婷、老熟女| 久久思思99| 在线播放中文字幕| 日韩九区| 色综合久久五月天| 337午夜福利| 棕合影院色色| 1024亚洲| Y11111111111少妇电影院| 色色A| 深爱综合网| 五月天成人在线视频丁香| 任你日热视频| 91久久九九| 国自产拍偷拍精品啪啪一区二区| 超碰在线99| 欧美va在线| 日本激情ⅩXX免费视频| 91热久久| 97婷婷狠狠| 久在热99| 亚洲黄色网址| 免费视频WWW在线观看网站| 影音先锋一区| 婷婷操久久| 色区域网站视频| 丁香五月天天| 婷五月丁香俺| 五月婷婷综合网| 东北熟女高潮99综合99| 日韩熟女啪啪视频| 婷婷色色网站| 美女婷婷激情亚洲| 亚洲六月综合激情久久下卡| 丁香伍月婷电影全集| 99这里都是精品6| 97色女人在线| 狠狠五月激情丁香六月| 免费观看大片视频 丁香婷婷 六月欧美| 狠狠色狠狠鲁| 精品综合久久久久久五月天| 开心色播色五月婷婷| 五月天婷婷六月激情网| 国产色丁香| 久9久9热久热| 亚洲成人免费在线| 婷婷五月天成人五月天| site:wpjngj.com| 一夜福利不卡| 五月婷在线色视频| 成 久久| 五月天激日本色情在线| 婷婷五月天 偷拍| 久久婷婷亚洲| 亚洲性天天| www.色99| 99婷婷五月天| 精品无码色欲AV| 色婷婷久久综合久色| 四色永久成人网站| 亚洲精品操一操、噜一噜、摸一摸、爽 | 丁香激情五月| 五月婷婷六月丁香综合视频在线| 五月激情小说| 色狠狠色噜噜AV天堂五区| 婷婷五月天亚洲| 欧美99| 婷婷综合色色| 精品人妻一区二区| 强辱丰满人妻HD中文字幕| 99热这里只有精| 国产亚洲精品久久久久久豆腐 | 97久久久久| 成人五月天丁香| 人人操97| 深爱女色婷婷丁香五月亚洲图区| 九九视频精品在线免费| 久久国产色| 这里只有精品视频免费在线观看| 超碰成人电影| 拍真实国产伦偷精品| 搡BBBB搡BBB搡18| 人与禽A片啪啪| 99精品综合| 久热久re| 久色网| 五月欧美色播| 天天爽天天摸人妻综合网| 亚洲综合五月天婷婷| 九九这里有精品| 99精品无码| 婷婷亚洲影院| 大地资源色婷婷视频在线| 久久综合五月天激情小说网站 | 五月婷婷啪啪| 丁香五月手机在线| 黄色网址五月婷婷| 婷婷射综合| aaa丁香五月天| 婷婷九月激情网| 婷婷五月婷婷五月| 久久婷婷成人| 亚洲精品无AMM毛片| 玖玖婷婷色欲| 日韩成人中文字幕| 激情都市五月天| 激情婷婷啪啪| 色婷婷综合网| 天久久久久| 大香网伊人久久综合| 4399在线观看免费高清电视剧| 天天干肏夜夜| 玖玖色综合网| 超91热| 国产成人在线不卡AV| 婷婷五月激情网站| 五月丁香六月婷婷欧美综合| 五月婷婷久久综合| 久啪欧美| 最新精品视频99| 五月激情站| 99精品在线| AV片一区在线观看| 成人五月天综合网| 五月天激情婷婷久久| 五月天综合久久| 天天色粽合合合合合合合| 超碰啪啪网| 欧美精品99| 色五月天天| 成功精品影院| 伊人婷婷大香蕉在线| 欧美婷婷日本| 五月久久婷婷成人网| 五月婷婷丁香| 97碰碰在线看视频免费| 毛片色五月| 婷婷狠狠操| 97成人丁香| 大香网伊人久久综合| www.色五月.com| av狠狠操| 国产综合视频婷婷| 激情五月天综合| 天天干天天干天天干| 婷婷色基地在线看 | 欧美五月停| 日本久热| 亚洲无码色| 日本人妻伦在线中文字幕| 婷婷激情人妻| 黄网免费看| 久久婷婷欧美| 9999久久久久| 亚洲中文字幕AV| 五月婷av| 91综合视频丁香| 思恩热国产视频右线观看| 国产五月天欧美色| 丁香操逼| 丁香五月天啪啪激情综和网| 亚洲成av人影院| 色婷婷88| 色婷婷五月天| se.久久视频在线观看| sewuyue第四色| 色中色综合| 国产4P视频精品五区| 免费久久这里只有精品99| www色色com| 99精品视频推荐| 婷婷五月天男人影院色色网| 五月婷婷激情日本| 日韩久久欧亚| 色五月婷婷影院| 成人超碰网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 色色色色色色色色色色色色色色,网站| 综合97五月| 成人精品人妻| 九九re精品视频在线观看| 99在线精品视频免费观看20| 亚洲成人丁香花| 五月天色婷婷图片| 激情婷婷丁香五月| 亚洲另类久久| 国产精品男人AV不卡| 五月天中文字幕在线婷婷| 一级黄色影片| 婷婷伊人激情婷婷| 操人妻AV| 天天做天天爱天天玩夜夜爽 | 丁香五月激情在线| 丁香五月天社区婷婷| 色综合综合色| 99碰碰视频| 九月激情综合婷婷| 99riAV国产精品视频| 五月婷婷综合社区| 超碰免费人妻| 五月天婷婷色在线视频免费观看| 天天干,夜夜爽| 人妻狠狠操| 婷婷五月六月丁香| 天天更新天天亚洲| 久久久久久久久月丁| 国产片色| 99视频在线观看视频| 婷婷综合精品视频97| 热久久婷婷| 99色视频在线| 变态另类9| 久久综合五月天| 久99热| 天天婷婷综合亚洲亚洲| 五月婷婷co.m| 色护士综合| 五月丁香婷婷视频| 五月婷婷免费在线| 狠狠精品干练久久久无码中文字幕| 色欲日日躁| 超91热| 日本色色视频| www.婷婷五月| 涩五月婷婷| 色99色| 99久在线视频| 五月天婷婷自拍图片在线观看| 99精品偷自拍| 夜夜躁爽日日| 丁香九月综合| 五月丁香婷婷激情爱爱| 婷婷五月天影院| 五月天婷综合网站| 国产高潮白浆一区二区| 91操片| 亭亭五月丁香综合欧美| 9九九久久精品无码专区| 丁香五月五月婷婷| 99久久99视频只有精品| 久久月天堂| 99人妻碰碰碰久久久久视| 中文字幕在线日亚州9| 99国产精品久久久久久久久久久| 激情五月小说婷婷| 色五月开心婷婷| 免费AV在线| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 91热久| 五月婷婷综合激情网| va中文资源在线观看| 欧美97超碰| 综合性爱网| 国产激情综合五月| 2015超碰| 亚洲亚洲人成综合网络| 97色天堂| 婷婷激情丁五月| www.久9| 思思热视频| 情涩婷婷五月天| 婷婷情色五月天| 亚洲亚洲人成综合网络| 久久人人九| 激情99热| 毛片新网地| 三十熟女| 久操热| 欧美激情凹凸丁香网| 久操干| 少妇水多A片太爽了| 久久99精品久久久久久三级| 五月天色在线| 九九99在线观看视频| 丁香色五月 97干| 热这里| 爆乳熟妇一区二区三区爆乳| 丁香五月熟女| 色婷婷五月天| 色欲天天综合网| 丁香五月婷婷欧美成人色图| 亚洲五月天第一综合干| 色琪琪一综合久久激情五月视频| 午夜在线成人网站免费观看| 丁香五月综合| 五月丁香| 182TV大香蕉| 激情五月丁香激情综合网| WWW.99热| 婷婷天堂视频| www.com在线操视频免费观看| 六月丁香网| 五月婷婷六月色| 五月婷婷免费| 色综合色婷婷色伊人| 五月丁香综合成人社区| 影音先锋91视频| 激情网五月天| 久久九九免费视频| 日日噜狠狠| 欧美婷婷综合| 色婷婷大香蕉| av在线免费网站 | 精品爆操| 特级西西4444www无码| 插插干干干色| 天天日天天狠狠操| 九九av| 色五月婷婷五月天激情综合| 久久99jiu9| 91 影音先锋| 五月天婷婷基地| 激情综合网址| 五月色婷婷中文字幕| 99视频精品在线| 久久人人人人妻| 成人婷婷色五月天| 五月婷婷播| 日本色色色| 色琪琪一综合久久激情五月视频| 婷婷月综合| 久操人| 丁香色情五月综合激情| 四季日韩AV无码综合| 色五月婷婷在线观看第一页舔| 九九热精品在线| 综合五月婷婷| 丁香色五月 97干| 色啪网| 丁香五月影视| 色婷婷基地| 中文字幕不卡+婷婷五月| 色婷婷综合影院| 思思热在线| 五月丁香成人小说| 4438激情网| 丁香婷婷五月综合| 91精品婷婷国产综合久久| 丁香五月影视| 丁香桃色网| 这里只有精彩视频| 黄桃AV无码免费一区二区三区| 久久99热这里只频精品6学生| 大香蕉啪啪啪| 嫩草极品| 综合久久综合五月天婷婷| 亚洲岛国电影| 五月伊人婷婷999| 丁香五月WWW| 久久国产高清| 久久久宗合| 久久久久久综合88| 26uuu.| 色婷婷丁香五月在线| 插插干干干色| 综合五月天完整| 色五月丁香婷婷| 成人色图情色成人网 www.5b5b5bcom 五月天| 可以看的av| www.91.com黄| 六月丁香啪啪啪| 在线观看免费观看在线9久| 999热在线观看视频| 极品嫩草| 国产精品18久久久| 五月丁香色停停啪啪啪| 五月婷婷综合影院| 欧美性二区| 婷婷丁香高潮了| 无码人妻一区二区三区免费九色| 99色热视频在线| 色综合久久88色综合天天99| 99综合网| 成人免费视频一区| 久久婷婷五月天激情新地址| 五月丁香六月婷婷玖玖| 婷婷中文字幕| 一级黄色影片| 九九热99精品| 91中文在线| 天天透天天摸天天舔| 五月天婷婷激情综合| 9久久久久久久久久久| 大香蕉伊人久久| 新激情五月天| 九色PORNY自拍成人精彩视频| 天天天天天天天干| 丁香婷婷基地| 婷婷色综合| 天堂呦 呦百度搜索-百度搜索| 91好好热日本在线| 99re在线观看视频| 五月天婷婷色| 无码成人AAAAA毛片AI换脸| 超碰97色| 色五月丁香一区在线| 十月色综合| 国产一级片| 色色色色色色综合网| 日韩高清久久| 五月婷婷少妇之| 色综合色综合色综合色综合| 狠狠操天天干| 性生活视频98791| 色 丁香婷婷| 十一月婷婷激情四射| 91超级碰| av在线中文| 五月天婷婷色播在线网| 成片免费观看视频大全| 超级碰碰99| 99热思思久| www.婷婷五月| 性欧美大战久久久久久久83| 91爱操| dingxiangtingtingliuyue| 青青草tp| bukadeavzaixian| 狠狠色婷婷7| 色综合99| 九九色网专区| 青青草a在线| 五月丁香六月婷婷色情| 操日本99| site:picc-up.com| 99热国产| 丁香五月天狠狠操| 超碰熟女拍拍| 四川女人毛多水多A片| 99久久久免费| 婷婷激情五月| 丁香五月天亚洲综合| 丁香久色| 人人爽天天爽| 超碰色色综合| 五月婷婷六月情| 99热午夜精品| www.五月婷婷久久.com| 人妻av在线| 色色狼人综合| 99视频只有精品| 综合网精品99| 天天射综合网天天插| 五月丁香六月情| 色婷婷AV在线| 日日噜噜夜夜狠狠久久丁香五月| 91av成人| 欧美综合五月丁香六月婷| 久久这里只有精品热在99| 欧美日韩国产一区| 丁香五月天亚洲视频| 婷婷中文综合网| www.五月激情.com| 五月天婷婷色| 日韩一区二区在线播放| 伊人婷婷五月天| 亚洲操逼片| 激情五月天开心| 综合99在线| 欧美VA在线观看| 色色色色欧美| 亚洲99视频| 大地资源色婷婷视频在线| 激情五月婷黄版| 99热91| 五月婷婷久久久| 激情五月天婷婷| 超碰在线网站| 婷婷六月综合基地| 玖玖在线| 综合啪啪| 五月婷在线| 久久久97| 婷五月丁香俺| 久久人妻视频| 中文aV网| 婷婷成人av| 婷婷五月色網站| 97婷婷五月| 99免费视频在线观看爱| 成人AV综合在线| 九九久热| 久99久视频免费观看| 婷婷成人AV| 五月天婷婷操逼视频| 色情丁香五月婷婷精品| 六月丁香啪啪| 九九这里只有精品| 亚洲中文乱字字幕线在永久| 99精品丰满| 五月婷婷丁香俺日污视频| 日韩五月婷婷| 亚洲成人av在线| 中文无码婷婷| 六月婷婷综合| 丁香五月婷婷在线视频| 婷婷色吧| 开心五月网 | 天天爱天天做天天舔| 俺去也五月| 热久久国产视频| 玖玖九九9999在线观看视频精品| 色婷婷六月| 五月婷婷激情| 激情久久久| 天天操夜夜玩!| 久久ri精品视频| 五月丁香六月婷婷色情| 五月婷婷干干干| 熟妇内谢69XXXXXA片| 凹凸操Av| 久热 91| 99re这里只有| 久久九九大香蕉电院| 伊人五月天久久| 啊V视频在线观看| 婷婷久久五月| 亚洲激情六月| 综合久久99| 婷婷丁香五月天小说| 久久综合五月婷婷| 色99网站| 337午夜福利| 啪啪黄页网| 色吧综合网| 五月婷婷五月天亚洲无码| 涩涩婷婷五月| 超碰av在线| 99免费视频网| 欧美色图45678| 91妻人人爽人人看片| 国产精品色色| 丁香五月婷婷成人色区| 激情综合网色五月| 99精品成人无码A片观看金桔| 九九精品视频在线观看| 五月婷婷性爱| 婷婷五月天渟渟| 五月天综合网| 婷婷五月在线播放| 五月天婷婷久久日| 色色五月丁香婷婷综合| 婷婷色导航| 久久伊人五月天| 色婷婷中文字母五月丁香| 日本色超碰| 五月亭亭开心网| www.五月天激情| 久热99| 色色色色色日韩午夜激情 | 欧美日韩成人在线免费| 北京熟妇搡BBBB搡BBBB| 日韩99视频| 青青福利网| 一级性感黄色内射视频| AV中文字幕夜夜操b天天摸bb | 99caobi| 99久久婷婷国产综合精品草原| 思思久久精品| 狠狠人妻久久久久久综合丁香| 天堂久久婷婷| 日本韩国视频在线观看社区免费的9| 97人人操人人爽| 激情五月综合网最新| 永久思思热在线| 久久一级片| 色色五月婷婷狠狠| 色狠狠色| 婷婷五月香蕉| 美女天天爽| 天天模,夜夜模夜夜爽| 日韩啪啪视频| www.99精品视频| 人人妖人人97| 色婷婷成人做爰A片免费看网站| 婷久久| 婷婷五月亚洲一本在线丁香| 天天撸夜夜爽| 99热无码精品| 99热r| 亚洲性视频| 4399无码视频二区| 精品一二三区久久AAA片| 91九色网| 超碰在线免费| 丁香五月天婷婷中文字幕| 国内精品玖玖| 九九操综合网| 色婷婷欧美在线| 激情AV| 91久久九久久九久久九久久九久久 | 青草青草久热这里只有精品| 91AV婷婷| 六月婷婷久久| 色色色五月婷| 操日视频| 国产综合婷婷| 天天色99| 草榴视频网| 啪啪色激情五月天| 亚洲99一级无嗎特制在线| 色综合久久之分久久| 狠狠狠狠狠狠| 激情久久久| 婷婷综合五月| 狠狠干夜夜干| 丁香五月五月婷婷| 碰碰91| 99热久久这里只有精品| www.久热| jiZZdr| 开心网五月色婷婷| 亚洲精品永久久久久久| 99激情视频| 丁香婷婷五月天在线视频| 婷婷五月天电影区小说区| 婷婷五月天成人网站| 夜夜操天天爽| 激情综合网五月激情| 狠狠色综合网站久久久久| 色色九区| 大香蕉婷婷丁香| 性视频久久| 精品婷婷| 色五月丁香总合网| 五月婷婷久久内射| 久久激情五月网| 五月开心深爱激情网| 久久综合人妻| 五月天丁香婷| 婷婷五月天久久久| www.91色| 爱久久小说下载网| 婷婷五月丁香四射| 亚洲色婷婷五月天| 色丁香久久| 天天日日人| 99色视频在线观看| www.久久av.com| 婷婷五月天综合AV| 久久丁香| 精品夜夜澡人妻无码AV| 影音先锋男人AV资源站| 99久热精品在线| 丁香五月婷婷激情网| 五月丁香在线视频观看| 国产精品色一哟哟| 丁香六月激情综合| 天天干天干| 嫩草AV久久伊人妇女超级A| AV亚洲在线| 五月丁香综合成人社区| 亚洲另类在线观看| 丁香六月爱综合| 99久在线精品99re8| 久久新地址| 99热在线观看| 99re视频在线| 色五月婷婷婷婷婷婷婷婷婷婷 | 色五月婷婷五月天| 五月丁香婷婷激情爱爱| YJLZZJLZZ亚洲乱熟无码| 久久成人性爱| 精品成人a v无码内射| 激情久久久久久| 国产精品VIDEOSSEX久久发布| 九九九九热99超碰| 日本不卡中文字幕| 丁香五月天激情综合网| 中文成人在线| 乱岳熟女50岁| 五月激情综合性爱| 色色色综合视频| 欧美日韩一区二区三区四区| 色婷婷www| 9|人妻人人操| 色久九| 久噜久噜| 六月丁香啪啪| 三日本无码| 久久伊人五月天| 五月婷婷六月基地| 色色五月天婷婷| H亚洲| 五月婷婷大香蕉| 国产玖玖资源| 久久人人看| 大胆伊人久久| 天天操天天操综合| 欧美视频五区| 色综合激情图区| 色~性~乱~伦~噜| 婷婷五月天偷拍| 东京热免费视频| 久久久久视剧HD| 五月婷婷激情综合在线| 99热综合| 五月婷久久久久综合| 欧美精品999| 五月天啪啪| 精品人妻伦九区久久AAA片| 人人操女人| 丁香五月冃欧美| 夜夜干天天操| 九九综舍久久| 日日艹思思热| www五月| 操操天堂| 久久久久人妻网址| 色色欧美色色| 蜘蛛女免费观看完整版高清电影| 日本欧美国产| 青青操成人福利| 五月婷无码| 99操99| 五夜丁香| 欧美成人A片AAA片在线播放| 99久久国产宗和精品1上映| 97婷婷色| 激情图片婷婷丁香五月| 永久天堂日本| 亚洲色欲AAAAAA| 五月天激情四射| 亚洲AV日韩无码| 噜噜噜噜综合在线| 在线中文字幕免费视频| 亚洲爱爱无码婷婷色五月| 思思热99热| 91丨九色丨熟女| 蜘蛛女侠2003满天星免费观看| 国产内射婷婷| 四虎婷婷五月天| 亚洲黄色影视| 天天五月丁香五月| 久久作爱| 激情综合国产| 婷婷五月天视频免费在线观看| 免费日本aⅴ中文字幕 | 丁香玖玖| 可以免费观看的AV| www.色色com| 激情五月深爱婷婷| ztEJj| 久99久热只有精品国产99| 99这里有精品| 99rewww| 五月婷婷综合视频| 欧美极品999| 婷婷色色网| 综合色99| 思思re99视频在线观看| 97色久| 亚洲精品国产setv| 97人人操在线| 超碰在线91| 综合色图区| 大香蕉人妻| 久久这里只有精品久久| 99热亚洲| 国产夫妻操逼内射视频| 色色亚洲| 六月丁香五月激情网| 日本不卡一区二区三区| 久久这里只有精品视频26| 一起草AV入口| 色久综合天天做视频| 婷婷字幕在线| 99热这里只有精品86| 热婷婷在线视频| 丁香美女五月天婷婷| 日韩欧美一道四区中文字幕| 97人人操| 九九精品在线视频观看| 日韩成人综合网| 激情五月激情综合网一级丸片| 免费无码毛片一区二区A片| 操逼福利视频| 亚洲精品第一国产综合亚AV | 牛牛碰免费| 色约约视频一区二区三区四区五区| 五月丁香啪啪伦理电影| 五月丁香婷婷啪啪综合| 久久人人九九| 男人的天堂999| 99re热视频这里只精品| 视色综合| 亚洲有码在线视频| 亚洲综合九九| 丁香五月 综合| 亚洲精品第一色色色色色色| 99er热精品视频| 久久激情五月网| 婷婷五月综合在线| 性小说五月天| 色九月综合| 日本WWW九九九| 六月婷婷天天操夜夜爽视频| 亚洲精品又粗又大又爽A片| 亚洲AV成人无码久久精品老人法拉利| 亚洲色图在线视频| 99精品热| 亚洲九九九九| 综合久久8| 久久久久久久97| 久热这里有精品视频| 婷婷亚洲在线| 五月天丁香婷| 日韩黄黄| 五月丁香趴趴| 六月婷婷五月天| 九九热这里只有国产精品| 色久99| 久色视频| 99热这里只有精品最新| 天堂色婷婷| 成人无码精品1区2区3区免费看| 五月深爱激情网| 婷婷九月激情| 成人.在线日韩| 99这里有精品| 在线VA视频| 伊人大香蕉综合在线| 五月激情六月综合| 天天天天爽爽天干| 99色天堂| 久久性都花花世界成人免费视频| 伊人狠狠丁香婷婷综合尤物| 伊人六月丁香婷婷| 天天干,天天操,天天射| 欧美大肥婆大肥BBBBB| 91午夜激情| 婷婷五月蜜桃成人桃色丁香| 91欧美日韩| 天天舔天天爽| 婷婷午夜天| 五月伊人综合| 午夜丁香 婷婷| 婷婷综合五月天| 色五月婷婷基地| 综合激情网| 97色欧美| 人碰人人人玩91| 激情五月天丁香| 夜夜操,天天撸| 久久66er久久| 71在线精品视频一区| 国产看真人毛片爱做A片| 五月天婷婷色色网| 天天射天天射一道本日本社区| 久草 天堂| 九九色网| 日本天天操| 色噜噜狠狠色综合网| 五月花亭亭| 热99精品视频在线观看| 色噜久| 不卡在线视频| 人人摸人人摸| 狠狠穞A片一區二區三區| 深爱婷婷色| 97操在线视频| 久久免费试看120秒| 成人美女网| 91成人性爱视频| www.99热| 五月天六月婷婷电影| 婷婷丁香六月五月天| 亚洲网站999| 五月丁香色色色| 国产精品VIDEOSSEX久久发布| 超碰免费99| 日本颜色视频人人爱| 很很干五月天| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 精品久久久999| 这里只有久久精99| 色婷婷五月天堂资源| 综合亚洲色色| 丁香婷婷五月天激情四射| 亚洲AV另类| 国产av网| 婷婷色影音天| 99热官网| 天天做天天爱天天爽| 亚洲综合色色| 久色激情| 狠狠五月天| 亚州操人在线视频| 丁香婷婷成人在线播放| 亚洲瑟瑟精品在线| 色播丁香五月婷婷操:屄| 九九精品在线视频观看| 五月婷婷丁香综合| 天天日夜夜欢| 亚洲成人无码网站| 九九99男女视频在线观看| 九九九AAA热视频| 亚洲岛国电影| 午夜伊人大香蕉| 一本大道熟女人妻中文字幕在线| 国产毛片精品一区二区色欲黄A片| 成人AV在线网站| 五月色婷婷中文字幕| 狠狠爱五月婷婷| www.婷婷| 性热视频99精品| 五月丁香成年黄色| 九九性爱网| 碰97久久| 亚洲成人AV在线播放| 久久五月天色婷婷| 人妻视频在线| 99热免费精品| 久久婷网| 操碰99| 超碰91在线| 色五月六月| 婷婷五月天伊人网| 久久久久久人妻| 色区久久| 777米奇影视第四色| 亚洲字幕AV一区二区三区四区| 96精品成人无码A片观看金桔| 99国产精品白浆在线观看免费 | 亚洲avjiujiur91| 婷婷激情五月天在线视频| 丁香婷婷激情五月色| AV五月丁香| 色色婷婷综合网| 婷婷五月天亚洲丁香| 婷婷丁香成人五月天| 五月婷婷丁香婷婷| 国产avapp 网| 色五月婷婷中文字幕| 婷婷亚洲综合| 成人国产欧美大片一区| 欧美性生交XXXXX无码小说| 色婷婷成人色网| 亚洲综合欧美色丁香婷婷888月图片| 丁香熟女乱| 91凹凸在线| 99综合网| 亚洲色婷婷婷婷人人爽| 久噜久噜| 天天玩夜夜操| 亚洲啪视频| 婷婷五月天色色| 超碰只有精品在线| 99久久高清视频| 色丁香五月| 久久er这里只有精品| 色香五月天| 丁香五月电影| 98色花堂98t.R| 色色射| 国产免费性爱| 9 1在线视频| 五月婷婷激情综合| 中文aV网| 天天天干夜夜夜操| 97人人草| 婷婷五月在线影院| 大天天伊人| 天天操夜夜爽天天操| 六月天六月婷| 五月丁香婷婷深深爱| 亚洲无码色色| 亚洲丁香花五月丁香花| 99日精品视频| 三区激情四射av| 中文乱子伦视频| 成人片在线播放| 日本精品久久久久中文字幕| 久久九九一區| 精品五月视频婷婷在线观看| 99精品久久久久久久婷婷久久 | 噜噜干日本| 免费无码毛片一区二区A片| 9 9 9色色| ay2区| 婷婷五月天狠狠搞干| 超碰在线免费| 色婷婷丁香花五月天| 色噜噜五月天| 五月天色婷婷小说| 婷婷婷久久久| 99热在线观看| 另类激情四射| www 五月天 com| 大香蕉婷婷五月| 鲁鲁色五月| 9操在线| 这里只有九九精品| 欧美久久婷婷| 在线观看视频1区| 九九热av| 久久性爱视频久久性爱视频| 色色婷婷丁香| 亚洲成人网址在线观看| 99小视频| 五月丁香六月欧美综合网站| 97色色婷婷| 婷婷综合网性| A A色色| 婷婷丁香五月综合| 五月天大香蕉视频| 久热这里只有精品在线观看| 五月天久久综合婷婷| 婷婷色情 | 亚洲美女高潮久久久久久69| va亚洲中文在线| 天天爽天天| 操比激情五月综合| 五月丁香欧美综合免费视频| 日本人妻A片成人免费看片| av免费在线观看0| 婷婷五月激情热播| 色婷婷88| 抽插特写| 性爱在线播放av| 黄色成人网站在线播放| 丁香九月激情在线视频| 综合激情啪啪| 日韩超碰在线| 日噜噜色| 丁香五月婷婷精品视频| 五月天伊人网| 五月丁香激情综合啪啪| 天天天天爽爽天干| 99热这里有精品| 国产成人网址| 五月天丁香婷婷社区| 丁香九月激情在线视频| 777.色色| 99热.com| 天天搞天天色综合| 这里只有久久精99| 日韩黄色中文字幕| wwW天天干| 久操大香蕉| 丁香婷婷性久久| 狠狠色噜噜狠狠| 荫道BBWBBB高潮潮喷| 激情5月舔| 大香蕉精品视频| 五月天激情网址| 五月丁香中文字幕| 日韩99无码| 综合在线丁香五月| 99碰碰| 99小视频在线| 欧美婷婷丁香五月社区| 五月婷婷丁香啪啪| 99热国产免费| ady狠狠入| 五月激情网综合| 色爽干| 男人综合网| 99色| 天天免费成年人视频| 五月婷婷色播| 欧美内射AA| 日韩无码成人电影| 丁香婷婷黄网站| 亚洲不卡| 99人碰碰碰| 99在线视频播放| 婷婷五月天亚洲综合| 婷婷色婷婷| 97五月天婷婷综合激情网| 色五月天成人| 香蕉中文在线| 色婷婷五月天激情在线观看| 99资源人人| 色五月激情| 亚洲AV成人无码电影| 婷婷五月天六月丁香| 丁香久月| 色私五月婷婷| 成人婷婷| 狠狠色婷婷7777久| 91一起操| 狠狠的日| 五月天婷婷色紫薇阁| 最近免费中文字幕大全高清大全1| 久久久久综合激动五月天| 亚洲无AV在线中文字幕| 国产淫熟妇| 亚洲AV日韩在线观看| 丁香六月婷婷激情| 激情AV中文| 色玖玖导航| 色五月综合| 色99视频| 五月婷庭丁香在线| 97久久婷婷色| 日日噜狠狠色| 色一情一乱一乱一区9| 射久久丁香五月| 99在线播放视频| 色婷婷五月天在线观看| WWW五月天| 99亚洲精品综合在线| 亚洲视频图片婷婷五月| 看全色黄大色大片| 色啪影院| 亚洲一色色色色色色色色| 中字幕视频在线永久在线观看免费| 伊人婷婷大香蕉在线| 第四色五月婷婷| 色色色干| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 超碰99在线| 99精品视频在线| 91免费试看| 国产婷婷综合在线免费视频| 五月天狠狠网站| 大色鬼综合| 色五月激情五月天| 天天久综合网永久入口17v| 亚洲操操操| 婷婷激情丁五月| 大香AV| 99热婷婷| 深爱激情网婷婷| www.玖玖婷婷在线| 丁香五月日韩| 狠狠 婷婷| 免费看片在线观看| 欧美色婷婷| 国产淫熟妇| 第五婷婷伊人丁香| AV性爱在线| 亚洲麻豆乱码国产2028| 丁香五月777| 九九性视频| 色色色.COM| 91九色国产| 日韩AV中文在线观看| 婷婷五月天天爽| 开心 五月 综合| 欧美人人草草| 婷婷久草| 精品色色色| 色五月综合激情| www.色色色com| 亚洲无码成人| 丁香伊人综合| 亚洲无aV在线中文字幕| 丁香激情网| 欧美性丁香色色五月天干干| 五月丁香激情片| 日本婷婷色| 开心五月婷婷激情| 天天色官网| 色五月婷婷色| 激情婷婷护士激情| 五月丁香| 久久丁香五月婷| 性爱综合网| 亚洲情欲久久| 99热这里只有精品9| 99精在线| 色网站99| 免费看成人747474九号视频在线观看| 丁香婷婷色五月| 五月天播播| 99热这里只有精品13| 超碰色综合| 精品综合网在线| 五月婷婷五月天| 思思热视频| www.日韩艹| 九九五月天| 色拍九九九| AA丁香综合激情| 噜噜狠狠色综合久| 亚洲婷婷五月天激情综合| 日本人妻A片成人免费看片| 99ri6在线视频| 综合激情五月丁香| 99热精品99| 婷婷五月天六月| 丁香六月婷婷一区| 激情綜合網址| 欧美三级韩国三级日本三斤| 超碰碰碰碰| 超碰在线9| 天天天天天日| 五月天成人网婷婷| 五月丁香婷婷中文| 久久人操-久草婷婷-成人AV| 9色91视频| 99热官网| 超碰在线免费| 五月天激情小说欧美激情| 伊人婷婷激情| 丁香五月色情| 日本九九视频| 九九精品碰| 婷婷五月色播天| 能看的AV| 四色99久久| 丁香五月色五月| 色小说五月天| 婷婷五月天成人网站| 五月丁香天堂网婷婷| 人人亚洲|