99精品久久精品一区二区-亚洲熟妇无码?v在线播放-日本国产精品无码字幕在线观看-久久久亚洲永夜AV-亚洲一级无码一区二区一-免费国产成高清人在线视频-中文字幕乱码免费观看-国产毛片精品妇女久久久

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

塔式、機(jī)架式、刀片服務(wù)器怎么選?運(yùn)維老手講透機(jī)房選型核心邏輯

塔式、機(jī)架式、刀片服務(wù)器怎么選?運(yùn)維老手講透機(jī)房選型核心邏輯 機(jī)房選型這件事表面上是采購(gòu)和技術(shù)方案的問(wèn)題但真正上手之后你會(huì)發(fā)現(xiàn)最后都會(huì)被三個(gè)名詞卡住機(jī)架式服務(wù)器、塔式服務(wù)器、刀片服務(wù)器。尤其是第一次給公司配服務(wù)器、或者剛接手運(yùn)維的兄弟看到這三個(gè)詞很容易懵——明明都叫服務(wù)器憑什么長(zhǎng)得完全不一樣價(jià)格差出好幾倍適用的場(chǎng)景也完全不同。這篇東西我不聊廠商PPT里的漂亮話只從一個(gè)裝過(guò)機(jī)器、扛過(guò)機(jī)柜、踩過(guò)不少坑的運(yùn)維老油條的角度把三類服務(wù)器的區(qū)別、適用場(chǎng)景、選型邏輯和實(shí)際操作中的避坑點(diǎn)一次講透。這篇內(nèi)容適合誰(shuí)看剛?cè)胄械倪\(yùn)維、小公司的兼職網(wǎng)管、準(zhǔn)備給實(shí)驗(yàn)室或辦公室搭服務(wù)器的技術(shù)負(fù)責(zé)人以及所有在機(jī)架、塔式、刀片之間猶豫不決的人??赐曛竽阒辽倌茉诓少?gòu)單上做出一個(gè)不后悔的選擇并且知道機(jī)器到貨之后該怎么規(guī)劃、怎么安裝、怎么避免那些看著小但能折騰死人的坑。1. 先說(shuō)清楚三類服務(wù)器的本質(zhì)區(qū)別在哪里很多人以為這三類服務(wù)器只是“長(zhǎng)相不同”其實(shí)它們的差異本質(zhì)上是設(shè)計(jì)目標(biāo)不同。換句話說(shuō)廠商在設(shè)計(jì)之初就沒想把它們用在同一個(gè)地方。搞清楚這一點(diǎn)后面的選型就順理成章了。1.1 塔式服務(wù)器最早也最親民的形態(tài)塔式服務(wù)器Tower Server長(zhǎng)得跟一個(gè)豎立的臺(tái)式機(jī)主機(jī)箱差不多只是更大、更重、內(nèi)部空間更充裕。這是服務(wù)器最早期的形態(tài)也是很多小公司接觸到的第一臺(tái)“真服務(wù)器”。你可以把它理解成一個(gè)加強(qiáng)版臺(tái)式機(jī)——CPU更多、內(nèi)存插槽更多、硬盤位更多、支持ECC內(nèi)存和RAID陣列卡但整體邏輯還是“一臺(tái)獨(dú)立計(jì)算機(jī)”。它的核心優(yōu)勢(shì)就是簡(jiǎn)單。買回來(lái)拆箱接上電源和網(wǎng)線開機(jī)裝系統(tǒng)完事。不需要機(jī)柜不需要理線甚至連機(jī)房都不用專門準(zhǔn)備放辦公區(qū)角落里就能跑。早期很多公司的ERP系統(tǒng)、進(jìn)銷存、財(cái)務(wù)軟件就是靠一臺(tái)塔式服務(wù)器撐了好幾年。塔式的短板也恰好在“簡(jiǎn)單”的對(duì)立面——空間利用率太低。一臺(tái)塔式服務(wù)器占地面積大概相當(dāng)于一個(gè)落地音響但只提供一顆或兩顆CPU的計(jì)算能力。如果業(yè)務(wù)規(guī)模上來(lái)需要加第二臺(tái)、第三臺(tái)辦公區(qū)很快就會(huì)被這些鐵疙瘩占滿供電和散熱也會(huì)成問(wèn)題。所以塔式更準(zhǔn)確的定位是單機(jī)應(yīng)用場(chǎng)景的入門選擇而不是數(shù)據(jù)中心里的大規(guī)模部署方案。1.2 機(jī)架式服務(wù)器數(shù)據(jù)中心的絕對(duì)主力機(jī)架式服務(wù)器Rack Server是現(xiàn)在數(shù)據(jù)中心里最主流的形態(tài)。它被設(shè)計(jì)成扁平的矩形盒子寬度統(tǒng)一為19英寸——這是國(guó)際標(biāo)準(zhǔn)的機(jī)柜寬度——高度按“U”來(lái)計(jì)算1U約等于44.45毫米。常見的有1U、2U、4U對(duì)應(yīng)的高度分別是約4.45厘米、8.9厘米和17.8厘米。機(jī)架式的設(shè)計(jì)邏輯非常明確在單位空間內(nèi)塞下盡量多的計(jì)算資源并且把所有設(shè)備統(tǒng)一安裝到標(biāo)準(zhǔn)機(jī)柜里集中管理。一臺(tái)標(biāo)準(zhǔn)42U的機(jī)柜理論上可以裝進(jìn)42臺(tái)1U服務(wù)器或者21臺(tái)2U服務(wù)器。這種密度是塔式完全做不到的。正因?yàn)榻y(tǒng)一了尺寸標(biāo)準(zhǔn)機(jī)架式服務(wù)器在機(jī)房里的部署就變得非常有條理機(jī)柜里一層一層碼好電源線從后邊接上PDU電源分配單元網(wǎng)線走理線架前面板留出指示燈和運(yùn)維接口。加上導(dǎo)軌抽拉設(shè)計(jì)運(yùn)維人員不用把整臺(tái)機(jī)器抱出來(lái)拉出導(dǎo)軌就能換內(nèi)存、插硬盤。不過(guò)機(jī)架式也有它的脾氣。首先是厚度限制帶來(lái)擴(kuò)展性妥協(xié)——1U的機(jī)器內(nèi)部空間非常緊湊PCIe擴(kuò)展槽位少、散熱空間小、風(fēng)扇轉(zhuǎn)速高導(dǎo)致噪音大。其次是必須依賴標(biāo)準(zhǔn)機(jī)柜沒有機(jī)柜的話單獨(dú)一臺(tái)機(jī)架式服務(wù)器放在桌面上又扁又長(zhǎng)接線還不方便基本屬于自找麻煩。1.3 刀片式服務(wù)器密度至上的“集成方案”刀片式服務(wù)器Blade Server是三類里最特殊、也最容易被人誤會(huì)的形態(tài)。它不是一個(gè)獨(dú)立的鐵盒子而是一個(gè)系統(tǒng)一個(gè)大型的刀片機(jī)箱也叫底盤/Chassis再加上若干片插在機(jī)箱里的“刀片”計(jì)算模塊。每片刀片就是一臺(tái)完整的服務(wù)器但它不帶電源、不帶散熱風(fēng)扇、不帶網(wǎng)絡(luò)接口這些全部由機(jī)箱統(tǒng)一提供。用過(guò)機(jī)架式的朋友可以把刀片理解成這樣的關(guān)系機(jī)架式是把整臺(tái)服務(wù)器做成一個(gè)“完整的盒子”放進(jìn)機(jī)柜刀片式則相當(dāng)于把服務(wù)器的電源、散熱、網(wǎng)絡(luò)、管理這些公共部分抽出來(lái)集中做成一個(gè)機(jī)箱計(jì)算單元?jiǎng)t瘦身成一片片模塊插上去就能用。刀片的核心優(yōu)勢(shì)就是密度極高、管理極統(tǒng)一。一個(gè)4U或6U的刀片機(jī)箱往往能插入8到16片刀片意味著一個(gè)機(jī)柜就能塞進(jìn)上百個(gè)計(jì)算節(jié)點(diǎn)。配合機(jī)箱自帶的管理模塊所有刀片的開關(guān)機(jī)、固件升級(jí)、狀態(tài)監(jiān)控都能在一個(gè)管理界面里完成。這種特性讓它成為大規(guī)模虛擬化、云計(jì)算集群的理想選擇。刀片的代價(jià)也很直接前期投入大、綁定性強(qiáng)。刀片機(jī)箱本身單價(jià)不低而且必須配上相應(yīng)數(shù)量的刀片模塊才能攤薄成本用得少反而比機(jī)架式更虧。操作系統(tǒng)的驅(qū)動(dòng)兼容性、固件升級(jí)流程也必須跟著廠商的生態(tài)走比機(jī)架式更封閉。更要命的是機(jī)箱是整個(gè)系統(tǒng)的單點(diǎn)——電源模塊、散熱模塊一旦出問(wèn)題整個(gè)機(jī)箱里的所有刀片都會(huì)受影響所以機(jī)房規(guī)范和備件策略都得更嚴(yán)格。2. 三類服務(wù)器逐項(xiàng)硬核對(duì)比不只看外觀要看實(shí)際賬前面說(shuō)的都是形態(tài)和設(shè)計(jì)邏輯但真正決定選型的是這些差異落到空間、功耗、維護(hù)、成本等維度的具體影響。我按實(shí)際運(yùn)維中比較關(guān)心的幾個(gè)維度逐一拉出來(lái)對(duì)比數(shù)字和單位都按真實(shí)機(jī)房里的情況來(lái)說(shuō)。2.1 空間占用與密度對(duì)比算算機(jī)柜里到底能塞多少算力空間這件事放在小公司可能覺得無(wú)所謂放到機(jī)房就是真金白銀。按常見的42U標(biāo)準(zhǔn)機(jī)柜來(lái)計(jì)算塔式服務(wù)器因?yàn)楦叨炔唤y(tǒng)一通常沒法在機(jī)柜里整齊疊放多數(shù)情況是放在機(jī)柜旁邊的地面上一臺(tái)塔式大約占0.5平方米的地板面積機(jī)架式1U服務(wù)器一臺(tái)占1U高度42U機(jī)柜理論上可以放42臺(tái)刀片式取常見配置——比如一臺(tái)10U的刀片箱放進(jìn)16片刀片——那么一個(gè)42U機(jī)柜可以放4個(gè)刀片箱提供64個(gè)計(jì)算節(jié)點(diǎn)。光看數(shù)字還不夠得看這些計(jì)算節(jié)點(diǎn)的密度差距。同樣是10U的空間機(jī)架式大約能放9臺(tái)1U機(jī)器但刀片箱能插進(jìn)16片刀片相當(dāng)于同等機(jī)柜空間里多出了近80%的計(jì)算節(jié)點(diǎn)。這還是按1U來(lái)算如果機(jī)架式用2U機(jī)器差距會(huì)更懸殊。不過(guò)密度高不是白來(lái)的。刀片箱對(duì)供電和散熱的要求要比普通機(jī)架式高好幾個(gè)等級(jí)所以“塞得進(jìn)”和“跑得穩(wěn)”是兩碼事。機(jī)柜的電力容量、空調(diào)的制冷能力跟不上密度再高的刀片也只能降頻運(yùn)行這一塊后面會(huì)專門說(shuō)。2.2 功耗、散熱與供電差異機(jī)房里的“氣”和“電”都得管服務(wù)器是吃電大戶也是產(chǎn)熱大戶。三類機(jī)器在這方面的表現(xiàn)差異非常明顯。塔式服務(wù)器體積大內(nèi)部空間寬敞散熱通??壳爸眠M(jìn)風(fēng)、后置出風(fēng)的大尺寸低轉(zhuǎn)速風(fēng)扇噪音相對(duì)低散熱余量也足。功耗上塔式的范圍很寬從低配單路到高配雙路都有但通常跑不滿很高的功率密度一臺(tái)滿載大概在300W到800W之間。因?yàn)樗揭话悛?dú)立供電電源線直接插墻插或普通PDU就行。機(jī)架式受限于厚度1U的機(jī)器風(fēng)向幾乎是“直線貫穿”前面板進(jìn)風(fēng)后面板出風(fēng)中間經(jīng)過(guò)CPU散熱器和內(nèi)存條。為了讓有限空間里的熱量快速排出機(jī)架式風(fēng)扇通常轉(zhuǎn)速高、噪音大滿載時(shí)的呼呼聲在機(jī)房里非常明顯。功率部分1U雙路服務(wù)器滿載一般在500W到1000W2U機(jī)型可以到1000W以上。注意機(jī)架式因?yàn)槎嗯_(tái)同時(shí)裝在一個(gè)機(jī)柜里機(jī)柜散熱通道是前后貫通的機(jī)柜前后門都要保證通風(fēng)面積空調(diào)送風(fēng)方向也要安排好。刀片式是最極端的。一個(gè)滿配刀片箱的功耗可以輕松超過(guò)3000W甚至5000W相當(dāng)于好幾個(gè)電熱水器同時(shí)在工作。機(jī)箱內(nèi)部風(fēng)扇組幾乎是一開機(jī)就在高轉(zhuǎn)配上空調(diào)的強(qiáng)制冷才能壓住刀片堆積的熱量。刀片機(jī)箱的電源模塊通常是冗余并行供電——比如六個(gè)2600W模塊——需要多路PDU接入對(duì)機(jī)柜供電容量有硬性要求。供電給不到位刀片會(huì)直接拒載。這三類機(jī)器放在一起散熱和供電的投入是逐級(jí)遞增的。塔式是“插上就能用”機(jī)架式是“機(jī)柜和管理要配套”刀片式則是“機(jī)房條件必須達(dá)標(biāo)”。選刀片卻配了一個(gè)普通辦公環(huán)境開機(jī)五分鐘就過(guò)熱報(bào)警這是新手最容易犯的錯(cuò)誤。2.3 擴(kuò)展性與可維護(hù)性加硬件、修故障的時(shí)候差距就出來(lái)了服務(wù)器用兩三年之后基本都會(huì)面臨加內(nèi)存、加硬盤、換網(wǎng)卡之類的需求。這時(shí)候三類機(jī)器的擴(kuò)展性差異就很現(xiàn)實(shí)。塔式服務(wù)器擴(kuò)展性最強(qiáng)。它的機(jī)箱空間充裕PCIe插槽數(shù)量多——中塔機(jī)型通常有6到8個(gè)擴(kuò)展槽位硬盤位也從4盤位到12盤位不等甚至可以再掛陣列柜。加卡、加盤都不需要太多技巧打開側(cè)板就是干。維護(hù)性的優(yōu)勢(shì)也很直接機(jī)器就在你旁邊斷電開箱哪兒壞了換哪兒新手也能操作。機(jī)架式服務(wù)器的擴(kuò)展性就看U高。1U機(jī)型通常只有一到兩個(gè)PCIe擴(kuò)展槽2U機(jī)型有3到5個(gè)和塔式比少了不少但勝在形態(tài)標(biāo)準(zhǔn)和統(tǒng)一。維護(hù)方面機(jī)架式配好導(dǎo)軌之后拉出來(lái)就能打開上蓋操作不用把整臺(tái)機(jī)器從機(jī)柜里抬出來(lái)。要注意的是1U機(jī)器內(nèi)部接線空間非常小插內(nèi)存條、換CPU散熱器時(shí)手大的兄弟會(huì)有點(diǎn)受罪。刀片服務(wù)器的擴(kuò)展邏輯和前面兩類完全不一樣。單片刀片內(nèi)部的PCIe擴(kuò)展基本不用指望——那點(diǎn)空間連半高卡都插不了幾塊刀片通常只留數(shù)量有限的板載網(wǎng)口和磁盤位。擴(kuò)展是整箱級(jí)的性能不夠就再插一片刀片進(jìn)去網(wǎng)絡(luò)不夠就加機(jī)箱里的交換模塊。這種擴(kuò)展方式的優(yōu)勢(shì)是彈性好、管理統(tǒng)一但代價(jià)是單節(jié)點(diǎn)內(nèi)部幾乎沒有折騰空間想在某一片刀片上插一塊專用GPU加速卡很多時(shí)候根本插不上。2.4 成本結(jié)構(gòu)對(duì)比別只看采購(gòu)價(jià)電費(fèi)才是隱藏的大頭采購(gòu)時(shí)的標(biāo)價(jià)最容易迷惑人。我見過(guò)不少公司一看塔式服務(wù)器便宜立馬下單結(jié)果業(yè)務(wù)上量之后發(fā)現(xiàn)性能和擴(kuò)展跟不上又得再來(lái)一輪機(jī)架式采購(gòu)也見過(guò)團(tuán)隊(duì)被刀片的高密度吸引很快上了刀片箱結(jié)果后續(xù)電費(fèi)和維護(hù)成本高得讓財(cái)務(wù)眉頭直皺。實(shí)際上成本要分成四塊看采購(gòu)成本、運(yùn)行成本電費(fèi)制冷、維護(hù)成本、空間成本。塔式服務(wù)器的采購(gòu)單價(jià)在三類里通常最低低配單路機(jī)型幾千元就能拿下。但它占用空間大、單臺(tái)計(jì)算密度低所以空間成本是最高的。你可以算一筆賬數(shù)據(jù)中心機(jī)柜的租用費(fèi)是按U甚至按面積算的一臺(tái)塔式占用的地面面積如果換算成機(jī)架位隱形開銷并不低。維護(hù)成本方面塔式相對(duì)最簡(jiǎn)單硬件故障直接開箱換件就行。機(jī)架式是性價(jià)比最均衡的。1U和2U的采購(gòu)價(jià)格從幾千到幾萬(wàn)跨度很大但整個(gè)生態(tài)非常成熟二手市場(chǎng)活躍、備件好找、兼容方案多??臻g利用率比塔式高出幾個(gè)量級(jí)單機(jī)功耗可預(yù)測(cè)性強(qiáng)電力規(guī)劃和成本測(cè)算很容易做。維護(hù)成本要看環(huán)境——機(jī)柜布局合理的機(jī)房換一臺(tái)機(jī)器基本是拉出、換件、推回、上電十幾分鐘搞定機(jī)柜理線一團(tuán)糟的機(jī)房光是抽出服務(wù)器就要先拆一堆網(wǎng)線時(shí)間成本全耗在這上面。刀片式的采購(gòu)成本在三類里最容易讓人打退堂鼓一個(gè)刀片箱加十幾片刀片報(bào)價(jià)幾十萬(wàn)甚至上百萬(wàn)很正常。但它有一筆隱蔽的“省”管理成本低。不用一臺(tái)臺(tái)單獨(dú)接管理口和電源線所有刀片共用一套管理模塊批量部署、云化調(diào)度都更順手。運(yùn)行成本上刀片雖然總功耗高但分?jǐn)偟絾蔚镀笠驗(yàn)殡娫崔D(zhuǎn)換效率集中化、制冷通道集中化單位負(fù)載的電費(fèi)往往低于一堆散裝機(jī)架式。真正要警惕的是機(jī)箱本身的空載功耗——哪怕只插了2片刀片機(jī)箱的電源、風(fēng)扇、管理模塊全都在轉(zhuǎn)這部分電費(fèi)即使不用也跑不掉。3. 怎么選一套能直接上手的選型思路說(shuō)了這么多對(duì)比落到實(shí)際問(wèn)題就是一句話我到底該買哪一類我給一個(gè)相對(duì)實(shí)用的決策思路不需要你成為硬件專家只要順著四個(gè)問(wèn)題往下走基本就能圈定方向。3.1 先看業(yè)務(wù)規(guī)模和形態(tài)這是第一步也是決定性的一步。如果你只有一套業(yè)務(wù)系統(tǒng)要跑用戶量不大比如一家?guī)资说墓九芤惶譋RP或者一個(gè)門店跑收銀進(jìn)銷存沒有專職運(yùn)維——選塔式。一臺(tái)中高配塔式服務(wù)器足夠撐住這類負(fù)載三到五年。機(jī)房環(huán)境也不用刻意準(zhǔn)備防塵、通風(fēng)、斷電保護(hù)做到位就夠。如果你有多個(gè)業(yè)務(wù)系統(tǒng)、多個(gè)應(yīng)用要跑或者已經(jīng)在規(guī)劃做虛擬化比如用VMware、Proxmox VE、Hyper-V之類把多套系統(tǒng)整合到幾臺(tái)物理機(jī)上——選機(jī)架式。兩臺(tái)2U雙路機(jī)架式服務(wù)器做成虛擬化集群性能和穩(wěn)定性都對(duì)得起價(jià)格。如果你要做大規(guī)模的云計(jì)算平臺(tái)、大數(shù)據(jù)集群或者你已經(jīng)明確知道未來(lái)一年內(nèi)計(jì)算節(jié)點(diǎn)會(huì)超過(guò)幾十臺(tái)并且有一個(gè)像樣的機(jī)房來(lái)支撐——刀片式才是劃算的。低于這個(gè)體量刀片的優(yōu)勢(shì)發(fā)揮不出來(lái)反而背上機(jī)箱空載成本和綁定成本不值得。3.2 再看機(jī)房物理?xiàng)l件電源、空調(diào)、機(jī)柜尺寸業(yè)務(wù)想用刀片但你得先問(wèn)問(wèn)機(jī)房答不答應(yīng)。這里給一張自查表采購(gòu)之前照著核一遍電力容量機(jī)房總供電多少安機(jī)柜分配多少千瓦刀片箱動(dòng)輒3000W以上一個(gè)普通辦公室的16A插座根本帶不動(dòng)。機(jī)架式也要算好一個(gè)42U機(jī)柜塞滿1U雙路設(shè)備總功率可能突破15kW普通機(jī)房設(shè)計(jì)容量未必夠。制冷能力空調(diào)制冷量夠不夠機(jī)房有沒有下送上回或上送下回的規(guī)范氣流組織如果只是開放式辦公區(qū)建議直接放棄刀片。機(jī)柜深度標(biāo)準(zhǔn)機(jī)架式服務(wù)器深度一般600毫米到900毫米刀片機(jī)箱深度更大。買機(jī)柜之前先量機(jī)柜內(nèi)部實(shí)際可用深度尤其是靠墻角、被管道擋住的機(jī)柜很容易出現(xiàn)深度不夠關(guān)不上門的情況。機(jī)房高度和承重這聽起來(lái)夸張但裝滿設(shè)備的機(jī)柜重達(dá)幾百公斤很正常老舊樓板的承重能力要提前確認(rèn)。3.3 算一筆總成本賬TCO采購(gòu)價(jià)只是起步我建議把五年的總持有成本拉出來(lái)比一比。簡(jiǎn)化算法是五年總成本 采購(gòu)價(jià) 五年耗電費(fèi) 五年維護(hù)備件費(fèi) 空間占用費(fèi)。舉個(gè)例子一個(gè)小機(jī)房要部署16個(gè)計(jì)算節(jié)點(diǎn)。方案A16臺(tái)1U機(jī)架式方案B1個(gè)10U刀片箱加16片刀片。假設(shè)單臺(tái)1U機(jī)架式采購(gòu)1.5萬(wàn)元16臺(tái)就是24萬(wàn)刀片箱加16刀片可能報(bào)價(jià)30萬(wàn)到35萬(wàn)。第一眼刀片貴不少但看后邊機(jī)架式16臺(tái)要占用32U到40U空間需要額外的網(wǎng)絡(luò)交換設(shè)備和線纜管理電費(fèi)按每臺(tái)500W跑五年16臺(tái)五年電費(fèi)將近35萬(wàn)元刀片箱整箱功耗算4000W五年電費(fèi)約17萬(wàn)元。再加上空間成本機(jī)架式在機(jī)房里的租金分?jǐn)傔h(yuǎn)高于一個(gè)10U刀片箱。五年算下來(lái)反而是刀片更省。但注意這個(gè)結(jié)論有一個(gè)前提你的負(fù)載真有那么大。如果只需要4個(gè)節(jié)點(diǎn)塔式或機(jī)架式明顯更靈活。刀片的省省在規(guī)模效應(yīng)規(guī)模沒起來(lái)就談不上省。3.4 部署形態(tài)與運(yùn)維習(xí)慣也要考慮最后一條是很多技術(shù)選型容易忽略的你的運(yùn)維團(tuán)隊(duì)習(xí)慣怎么維護(hù)設(shè)備。如果你就一個(gè)人兼著管網(wǎng)絡(luò)、管桌面、管服務(wù)器那你最需要的是“少操心”的設(shè)備。塔式最省心機(jī)架式也可以只要管理口配置好遠(yuǎn)程管理能力足夠。刀片式雖然管理界面統(tǒng)一但機(jī)箱、刀片、交換模塊、固件升級(jí)這些概念學(xué)習(xí)曲線比機(jī)架式陡不少一個(gè)人如果沒接觸過(guò)前期會(huì)很吃力。如果你背后有完整的運(yùn)維團(tuán)隊(duì)甚至有專門的機(jī)房管理規(guī)范那刀片的集中管理優(yōu)勢(shì)就會(huì)被放大幾十臺(tái)刀片固件批量升級(jí)、狀態(tài)批量巡檢、故障節(jié)點(diǎn)快速隔離一套操作比一臺(tái)臺(tái)單獨(dú)SSH進(jìn)服務(wù)器高效得多。這種效率差是刀片最值錢的地方。4. 實(shí)戰(zhàn)中的典型問(wèn)題與避坑經(jīng)驗(yàn)這些坑我是真踩過(guò)型號(hào)和參數(shù)看再多都不如實(shí)際部署中踩出來(lái)的教訓(xùn)來(lái)得深刻。我把這些年積累的幾個(gè)典型問(wèn)題按場(chǎng)景整理出來(lái)每條都是真金白銀換的經(jīng)驗(yàn)。4.1 塔式服務(wù)器放辦公區(qū)的噪聲與散熱陷阱塔式服務(wù)器比臺(tái)式機(jī)安靜但那是相對(duì)機(jī)架式來(lái)說(shuō)的。滿負(fù)載跑起來(lái)塔式的高轉(zhuǎn)速風(fēng)扇依然有明顯噪聲放在開放式辦公區(qū)員工肯定有意見。我見過(guò)一個(gè)公司把塔式服務(wù)器直接塞在工位旁邊的矮柜里夏天CPU溫度一路飆到90多度頻繁降頻業(yè)務(wù)卡成幻燈片。正確的做法是給塔式服務(wù)器預(yù)留獨(dú)立空間至少要保證前后通風(fēng)順暢不要貼墻、不要塞進(jìn)密閉柜子。有條件的話給它單獨(dú)拉一路防雷電源插座避免和空調(diào)、微波爐共用線路。如果辦公室本身就沒有機(jī)房條件那別硬上高配塔式選低功耗的低配機(jī)型會(huì)穩(wěn)妥很多。4.2 機(jī)架式服務(wù)器的“深度陷阱”和理線問(wèn)題機(jī)架式服務(wù)器的寬度是統(tǒng)一標(biāo)準(zhǔn)但深度差異很大。有些低端1U機(jī)深度只有500多毫米有些高性能4U機(jī)深度超過(guò)900毫米。買機(jī)器前不量機(jī)柜實(shí)際深度到貨才發(fā)現(xiàn)推進(jìn)去頂?shù)胶竺婢€槽柜門都關(guān)不上這種事每天都在發(fā)生。理線是另一個(gè)新手重災(zāi)區(qū)。服務(wù)器裝上去電源線、網(wǎng)線、光纖、管理線一通亂接后門鼓成一團(tuán)之后任何一臺(tái)機(jī)器要維護(hù)都得先拆半天線。我的建議是機(jī)柜里必須配理線架網(wǎng)線用成品跳線而不是自己壓線光纖走專用光纖槽。線纜標(biāo)簽從第一天就必須做每根線兩端貼上標(biāo)簽寫明對(duì)端設(shè)備不然后面排查故障的時(shí)候表情只能是崩潰。4.3 管理口配置帶外管理是救命稻草不管選機(jī)架式還是刀片式必須把帶外管理口BMC/IPMI/iDRAC/iLO配置好。這是服務(wù)器上的一個(gè)獨(dú)立管理網(wǎng)口不占業(yè)務(wù)網(wǎng)卡即使系統(tǒng)死機(jī)、網(wǎng)絡(luò)中斷運(yùn)維也能通過(guò)它遠(yuǎn)程查看硬件狀態(tài)、開關(guān)機(jī)、看控制臺(tái)。實(shí)際使用場(chǎng)景很殘酷業(yè)務(wù)凌晨三點(diǎn)掛掉機(jī)房又遠(yuǎn)你沒法立刻趕過(guò)去。這時(shí)候如果帶外管理口配好了你能直接遠(yuǎn)程重啟、看POST界面、甚至掛載ISO重裝系統(tǒng)幾十秒就能定位問(wèn)題。如果沒配好這一晚就別想睡了。新到貨的服務(wù)器第一件事就是進(jìn)管理口設(shè)置界面配好IP、賬號(hào)、密碼測(cè)試遠(yuǎn)程訪問(wèn)正常再上架。這個(gè)動(dòng)作花不了十分鐘但后面能救命無(wú)數(shù)次。4.4 刀片式的單點(diǎn)依賴與固件綁定刀片式最風(fēng)光的時(shí)候是虛擬化大規(guī)模部署但它的風(fēng)險(xiǎn)也在集成度上。一個(gè)刀片箱里的電源模塊、散熱模塊、管理模塊都是共享的任何一環(huán)故障影響面都是整個(gè)機(jī)箱而不是某一片刀片。所以選刀片之前就要把備件策略想清楚冗余模塊當(dāng)然是標(biāo)配但備件庫(kù)里是不是隨時(shí)有替換件廠商的維保響應(yīng)時(shí)效是多少這些要提前談好。固件綁定問(wèn)題更麻煩。刀片箱的固件升級(jí)、交換模塊的配置、刀片之間的兼容矩陣都比機(jī)架式復(fù)雜。我見過(guò)一臺(tái)刀片箱因?yàn)楣碳炝税姹竟芾砟K直接失聯(lián)最后只能走廠商遠(yuǎn)程介入才恢復(fù)。所以刀片環(huán)境的幾條鐵律要記牢禁止在業(yè)務(wù)高峰期升級(jí)固件升級(jí)前必須完整備份配置升級(jí)時(shí)必須按照廠商的兼容矩陣逐級(jí)升不允許跳版本。4.5 “看似劃算”的二手刀片陷阱拆機(jī)市場(chǎng)里刀片機(jī)箱和刀片模塊的二手價(jià)格非常誘人很多人以為淘一套回家能撿大便宜。實(shí)際觀察下來(lái)二手刀片是三類服務(wù)器里最容易踩坑的。因?yàn)榈镀瑱C(jī)箱和模塊高度綁定你買的二手刀片如果和機(jī)箱不是同一個(gè)生態(tài)體系——比如不同代、不同兼容清單——很可能插上去點(diǎn)不亮。再加上刀片模塊內(nèi)部結(jié)構(gòu)緊湊二手貨的風(fēng)扇、電源等部件老化問(wèn)題會(huì)比普通塔式機(jī)架式更隱蔽。真出了問(wèn)題配件還不好找。我的態(tài)度是入門練手可以淘一淘二手機(jī)架式但生產(chǎn)環(huán)境里尤其是刀片這種集成度高的東西別碰二手。省下的采購(gòu)成本很可能在故障處理成本和業(yè)務(wù)停擺成本里加倍還回去。4.6 虛擬化與操作系統(tǒng)的兼容性確認(rèn)前面熱詞里也沒少出現(xiàn)“服務(wù)器虛擬化技術(shù)”相關(guān)的內(nèi)容選型時(shí)一定要提早確認(rèn)硬件和虛擬化平臺(tái)的兼容性。機(jī)架式和塔式還好驅(qū)動(dòng)和兼容性資料都比較開放刀片式就要特別留意有些刀片節(jié)點(diǎn)的網(wǎng)卡、存儲(chǔ)控制器型號(hào)偏冷門虛擬化平臺(tái)或新版本操作系統(tǒng)未必自帶驅(qū)動(dòng)。我的習(xí)慣是采購(gòu)前先到虛擬化平臺(tái)和操作系統(tǒng)的官方兼容性列表里查一遍硬件型號(hào)確認(rèn)能被支持再下單。別信“應(yīng)該沒問(wèn)題”先查表查不到就問(wèn)廠商要支持聲明。為了省這一步我見過(guò)有人機(jī)器到了之后裝不上驅(qū)動(dòng)在兼容性泥潭里折騰了整整一周。最后再分享一點(diǎn)個(gè)人的實(shí)操體會(huì)做運(yùn)維久了我越來(lái)越覺得選服務(wù)器不是選“最好的”而是選“最適合當(dāng)前階段的”。塔式、機(jī)架式、刀片式?jīng)]有哪一類是絕對(duì)王者不同階段的選擇完全可以不同。今天業(yè)務(wù)小一臺(tái)塔式就能穩(wěn)住明年業(yè)務(wù)上量機(jī)房條件跟上了再平滑過(guò)渡到機(jī)架式或刀片式這很正常。我自己的習(xí)慣是無(wú)論選哪類先保證管理口配好、線纜標(biāo)簽做好、關(guān)鍵備件有底。硬件這東西本身出大事的概率不高出事的往往是人手忙腳亂的時(shí)候做出的不規(guī)范操作。把準(zhǔn)備工作做在前頭后面就算半夜被叫起來(lái)處理故障心里也有底。希望這篇對(duì)比能幫你在下次采購(gòu)前少走點(diǎn)彎路真金白銀地省下來(lái)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚色网站小视频| 色婷五月| 婷婷五月色图| 一级无码作爱片| 婷婷色导航| 九九九九九九九热| 99热这里只有精品96| 九月婷婷综合网| 狠狠色色| 性做久久久久久久免费看| 五月激情婷婷国产精品久久久久久| 丁香六月激| 91人人爽人人操| 婷婷性爱| 狼人久草| 国产67194| 国产性爱一级| 日本久热| 五月天色丁香| 99热这里只有精品8| 五月丁香婷婷深深爱| 99热这里精| 99操逼| 五月丁香婷婷啪啪综合| 秋霞AV美国| www.婷婷五月.com| 欧美日韩五月婷婷| 日韩av在线电影| 日韩精品99久久| 伊人久久丁香狠狠婷婷综合香蕉 | 五月丁香婷婷爱激情综合网| 丁香午月AV中文字幕| 九九精品热播| 亚洲高清在线| 97五月天婷婷午夜| 五月婷婷丁香六月在线| 五月丁香在线综合| 99热这里只有精品55| 婷婷五月丁香六月天亚洲综合| www。狠狠干。com| 人妻尝试久久久久久久久久久久| 激情九九综合网| 99色丁香婷婷综合网| 99爱这里只有精品| 亚洲色 视频| 热99这里只有精品视频| 丁香操逼| 99综合入口| 两性婷婷丁香五月| 丁香六月婷婷开心婷婷网| 丁香五月婷婷综合激情哟哟哟| 超级碰碰97在线| 强辱丰满人妻HD中文字幕| 99热这里是精品| 激情五月婷婷综合| 任我干视频在线观看| av网站不卡在线| 五月开心播播网| 极品少妇XXXX精品少妇偷拍| 人妻六月天| 色婷婷另类| 亚洲AV无码影院| 2017狠狠干| 婷婷五月av| 91九九| 六月丁香激情综合网| 五月天天天操天天爽夜夜操| 亚洲色 视频| 天天高潮夜夜爽| 五月婷婷婷丁香播| 99热66| www·五月天| 丁香五月激情六月综合| 天堂综合久久| 蜜桃成语时李时珍 免费| 国产乱妇无乱码大黄AA片| 久久黄色片| 99久久五月婷婷| 狠狠爱夜夜| 人人摸人人操人人爽| 色啪网| 五月天婷婷久久日| 婷婷成人五月天| 九九热这里| 激情人妻蜜夜系列区| 色婷婷AⅤ| 99色视频在线观看最新| 99热这里只有精品2| 色噜噜综合网| 9 1 A v久久久| 99ri国产在线| 激情色色色| 九九99免费视频| 高清一区二区三区日本久| www.99操| 五月天全国最大成人网| 亚洲激情在线| 五月天堂色| 超碰色热| 婷婷 久综合| 久久这里只有精品22| 色综合丁香| 久久99热网| 2017狠狠干| 五月涩涩网| 六月婷婷综合| 91 原创 在线 九色| 都市激情久久| 九九免费视频| 性色婷婷| 超碰日日操| 久久A极片| 久久99激情| 久热这里只有精品视频6| 婷婷五月亚洲综合| 婷婷五月亚洲综合| 久久激情天堂| 91久久久久久久91| z色五月播播久久| 色五月丁香五| 五月婷婷之激情五月| 99热手机在线精品| 99热精品在线| 久久538| 1024成人在线观看| 狠狠五月激情丁香六月| 偷偷操99| 六月婷婷激情| 激情五月天视频| 丁香六月婷婷综合缴| 国产全是老熟女太爽了| 99er免费在线观看| 国产毛片精品一区二区色欲黄A片| 久久性视频| 婷婷涩涩五月天| 五月婷婷碰碰| 亚洲色情网站| 国产小网站| 丁香五月天成人| 婷婷伊人綜合中文字幕小说| 在线区区区| 婷婷丁香色五月| 久久久久久99精品无码| 亚洲欧洲国产精品| 99久热这里只有精品视频删减版| 99热精品在线| 五月丁香成人版| 丁香六月婷婷久久综合| 人人看人人要| 超色欲天天| 色五月婷婷基地| 91N 一起草| 日本人人xxx| 香蕉五月婷婷| 亚州色婷婷| 日韩成人AV在线播放| 天天天天干| 日本久久爽| 久久伦乱| 欧日韩AV| 91熟妇大香蕉| 丁香五月大香蕉| 99九九久久| 日本三级日本三级99| 人人色人人摸人人看| 久久只有18视频| 天天综合激情| www.激情五月天.con| 99视频在线观看网址| 超碰在线综合| 夜夜穞天天穞狠狠穞AV美女按摩| 国产乱妇乱子伦| 美国不卡视频| 操操啪| 婷婷综合激情五月综合| 日本久久超碰| 亚洲亚洲人成综合网络| 超碰猛烈的性猛交| 99热在线这里只有精品| 99色干| 九九碰九九爱97| 99视频在线观看欧| 亚洲成人一区| 日韩国产AV播放| 五月激情小说| 五月天婷婷黄色| 午夜日韩久久久网站| 亚洲色综合| 四LLL少妇BBBB槡BBBB| 综合热无码| 六月激情网| 色啪影院| 五月色亚洲| 综合色图区| 伊人无码高清| 色哟哟精品| 综合在线网| 婷婷桃色网| 综激情网| 五月亭亭狠狠| 九月色婷婷综合| 婷婷五月色综合| 精品无码久久久久久久久| 婷婷五月天狠狠搞干| 婷婷性爱| 一区二区乱码视频| 色色色色色五月| 极品少妇高潮啪啪AV无码| 五月婷婷之综合激情| 欧亚洲在线高清视频| 91狼友视频网页更新| 久热伊人| 另类激情五月| 操九色| 玖玖九九99| 狠狠搞狠狠操| www.夜夜操| 我爱va亚洲va52| 26.uuu丁香五月婷婷| 亚洲精品V天堂中文字幕| 久操97| 99热99这里只有精品| 欧美激情 日韩无码 婷婷 五月天| 欧美日韩精品一区二区三区钱| 五月天精品| 九九精品综合| 操人无码| 伊人久久婷婷| 超碰国产在线| 激情小说在线视频| 99热免费在线| 亚洲九九视频| 久久精彩免费视频| 色九九综合| 色五月91| 超碰人人色| 99国产精品久久久久久久久久久| 六月婷婷色| 丁香 婷婷 亚洲 熟女| 五月婷婷久久激情 | www.超碰在线| 91久久久久久久| 婷婷综合一二三| 99re8在这里只有精品| 五月丁香久久激情网| 六月婷婷五月丁香首页| 5月色亭亭视频| 天天色情站| 婷婷五月天色| 婷婷五月激情片| 天天插天天日天天爽| 婷婷第六色| 五月色婷| 五月丁香久| 99热这里只有精品免费| 六月婷婷综合| 在线播放 精品| caop视频| 99热精品网| 色爱综合五月| 五月丁香六月综合基地| 色噜噜狠狠色综| 丁香五月在线人妻| 婷婷成人五月天一区| 天天天天天操| 久久婷婷五月天蜜桃| 五月婷婷在线免费| 五月丁香综合| 亚洲精品国产A久久久久久| 久久久99精品免费观看| 丁香五月很很肏| 超碰99热在线观看| 婷婷五月激情综合| 天天综合天天玩夜夜玩天天玩夜夜玩| 色五月婷婷色五月| 97操操| 激情深爱五月天| 久久曰曰| 久七香蕉| 日本va网站| 五月婷婷无码专区| 五月色丁香| 九九性视频| 操操碰| 婷婷无五月无码视频| 丁香五月婷婷综合激情啪啪啪| 操日本色| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 99热这里只有精品免费观看| 成人精品在线观看| 久久婷婷五月综合色和| 激情五月丁香婷婷夜夜操| 涩涩涩婷婷| 五月婷婷在线视频| 少妇AB又爽又紧无码网站| 大香蕉福利导航| 亚洲综合在线播放| 欧美激情凹凸丁香网| 色五月超碰| 夜夜爽77777妓女免费下载| 91精品久| 丁香婷婷偷拍| 97综合在线| 超极99精品| 高清视频一区| 日狠狠| 91精品综合久久久久久五月丁香| 国产免费av在线| av婷婷丁香 六月| 五月天色影院| 久久精彩视频18| 日本久久精品| 婷婷激情视频| 色爱综合五月| 日日夜夜爽| 99精品在线| 七月激情六月婷婷综合在线播放| 激情 婷婷 丁香五月天| 色色99| 99色| 五月天激情国产综合婷婷| 色色色com| 激情五月份婷婷| 婷婷深爱五月天在线| 免费啪啪亚州视频| 五月狠狠| 婷婷五月天视频亚洲| 日本不卡高字幕在线2019| 久久92| 色五XX| 五月婷婷六月激情| 新99色色色色色色| 九九久久综合| 六月婷婷之青青草| 日韩一级片| 91成人看片| 五月丁香啪啪伦理电影| 婷婷丁香五月天色色| 五月停停直播| 国产99久久久国产精品免费看| 日本三级中文字幕| 婷婷精品在线| 91日本在线| 久草狼人| 99欧美| 九九色综合| 色婷婷天堂| 五月婷婷色五月| 亚洲av综合在线| 91婷婷五月天综合视频| 国产精女同一区二区三区久| 五月丁香基地| 99精彩视频在线观看| 俺也去综合| 国产成人AV| 色五月婷婷、老熟女| 久久香蕉影院| 99精品爱| 69精品人妻不卡视频| 欧美黄色韩日网| 99久免费视频| 99久在线精品99re8热| 久草五月婷婷| 久久婷婷视频| 婷婷五月花西瓜| 99情色五月天| 婷婷丁香激情综合色情| 五月丁香色婷婷婷基地| αv中文字幕在线观| 五月丁香青草综合啪啪| 人妻操日日| 五月天婷婷丁香导航| 91一道本| 久热九九| av中文网站| 丁香五月性爱爱五月| 五月丁香六月成人| 五月激激网w'w'w| 人妻体体内射精一区二区| 丁香开心深爱| 色天堂操| 色色五月婷| 我爱va亚洲va52| 日本天堂久久| 色啪网| 激情综合丁| 综合久久伊人| 专区无日本视频高清8| www.五月天。com| 五月婷婷色白丝| 99在线播放视频| 开心六月丁香五月婷婷| 五月婷婷国产| 色啪网| 久久九九热re6这里有精品| 五月开心深爱激情网| 丁香婷婷91在线观看视频| 99热在这里只有精品| 久热这里只有精品99re,久热这里只有精品7| 丁香婷婷综合影院| 天天肏夜夜肏| 26uuu欧美| 99热这里在线精品| 五月叮香啪| 中文字幕在线观看视频www| 99热777| 影音先锋噜一噜| 香蕉人妻AV久久久久天天| 五月婷婷丁香婷婷| 激情婷婷另类| 久久久久久xxxxx| 久草 tingting| 激情综合色| 婷婷色激情五月天| 精品国产va久久久久久久| 啪啪五月综合| 婷婷五月丁香激情| 五月丁香婷婷色| 中文在线成人| 99er精品视频| 色婷婷丁香五月天激情综合网| 色婷婷9| av不卡网站| 婷婷丁香人妻天天爽| 天天干狠狠艹| 热99这里只有精品视频| 少妇人妻人伦A片| 婷婷色基地| 99 频99热国里只有精品| 久久久久久久久久久44| 久久久久视剧HD| 六月丁香啪啪| 99re8这里只有精品99re8热视频| 婷婷六月天| 亚洲色综合性| 色小说五月婷婷| 五月婷婷性爱| 日韩久久视频| 丁香五月综合婷婷| 色婷婷免费观看| 亚洲视频在线网| 亚洲精品国产A久久久久久| 99热偷拍| 大香蕉伊人久久| 激情丁香九九五月综合网| 天天色综合图片| 五月天四色房丁香| 亚洲一区二区无码蜜乳av| 99热国产这里只有| 99re这里只有精品免费| 色青青五月| 99久久99热| 久久这里只精品66| 成人天天爽| 99精品在线播放| 婷婷天堂站| 日本一道久久| 五月欧美色播| 丁香六月 人妻| 婷婷五月天成人动漫| 五月丁了香蕉综合| 26uuu欧美亚洲日韩| 人妻丰满精品一区二区A片| 99综合视频| 99综合免费视频| 日韩九区| 五月婷婷激情| 日本三级第一页| 七七色综合| 婷婷五月天大香蕉在线视频观看| 国内久久亭亭| 五月婷久久| 五月天丁香啪啪综合| 婷婷97狠狠干| 婷婷五月色网| 色五月五月天色婷婷色五月| 97热视频| 国产AV一区二区三区最新精品 | 色婷婷色五月丁香| 色婷婷丁香五月综合| 色色色9| 9l视频自拍九色9l视频在线观看| 久热大香蕉| 久久婷婷精品| 欧美激情-区二区三区| 婷婷五月天综合AV| 就99这里只有精品| 五月婷婷综合在线视频小说| 女同激情久久av久久| 婷婷综合五月| AV在线不卡网站| 狼人狠狠操| 久久色在线视频| 欧美va亚洲va在线播放| 亚洲欧洲国产精品| 精品亚洲国产成AV人片传媒| 久操人| 婷婷久久大香蕉| 婷婷六月丁香激情综合| 天天色天天日天天舔| 99热99色| 99色免费在线观看| 天天AV导航网| 97热在线精品| 日韩AV免费看| 另类视频一区| 激情综合丁香五月| 丁香色婷婷| 婷婷五月天丁香久久| 久久婷综合| 精品色色色| 九九黄色网| 99热国产在线| www.激情五月天.com| 五月丁香六月情| 色五月婷婷五月| 五月做爱| 色丁香在线视频| 狠狠色五月| 午夜天天精品视频| sesesesezonghe| 色哟哟性爱av| 五月天色婷婷图片| 久久99综合| 99精品九九| 天天做天天视天天谢| 开心激情网五月天| 男人操女人高潮91视频| 九九熱最新視頻| 天天插天天射| 亚洲天堂色| 无码一区二区日韩| 亚洲九九夜夜| 棕合影院色色| 五月婷婷婷丁香播| 第四色色六月色综合| 乱女乱妇熟女熟妇综合网站| 色综合九九| 1024亚洲| 天天精品视频免费观看| 九月性爱网| 五月激情婷婷色| 色情婷婷五月天| 96精品久久久久久久久| 性爱久久| 超碰在线综合| 色婷久| 免费观看日韩成人av| 热热久久久久久久久| 大香蕉九九| 亚洲色五月| 亚洲在线综合| 丁香婷婷性爱| 日日撸夜夜操| 五月天激情偷拍| 久久久久久久人妻| 色五月婷婷狠狠撸| 婷婷综合| 六月丁香五月亭亭| 婷婷.com| 日日.c| 久色大香蕉| 婷婷五月天在线综合| 亚洲色图五月丁香五月婷婷| 冬月かえでAV无码播放| 99视频久久| 久久婷婷综合拍| 亚洲中文乱字字幕在线永久| 六月婷色| 婷婷综合五月| 激情文学天天| 日韩在线观看网址| 婷婷五月天电影区小说区| 色婷婷五月综合色婷婷| 色婷六月| 九月影院義母在线播放| 九九在线精点品| 婷婷五月天激情网址| www.婷婷| 深爱五月最新网址| 一区二区三区XXXXXX| 能看的AV| 人妻性爱av网站| 一二三区视频韩国| 99热欲| 日本五月天网站| 丁香五月91| 伊人久久婷婷| 九九在线这里只有精品视频| 久久免费操| 天天操天天操天天操天天操天天操| 久去色色| 日本熟女啪啪| 日韩成人无码人妻| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 丁香六月婷婷社区| 超碰人人色| 五月天无码视屏播放| 亚洲xx在线| 激情中文在线| 五月丁香直播| www.99精品视频| 99无码精品| 天天搞天天色综合| 色综合久| 超碰无码老师| 天天日天天干天天操| 淫荡综合网| 夜夜爱伊人| 久久久国产精品黄毛片| 99九九视频| 婷婷久久夜| 五月天婷婷激情网| 亚洲日韩一页精品发布| 99噜噜| 中文字幕日韩无码制服诱或| 插逼综合网| 亚洲V国产V欧美V久久久久久| 五月成人网站| 五月的丁香六月的婷婷| 91avse| 在线看九一V图片| 99热综合网| 久久99色色| 91精品无码| 狠狠爱婷婷五月天| 国产3p露脸普通话对白| 99热日韩| 久久久久久人妻| 婷婷丁香视频| 噜噜色五月| 色婷婷影| 婷婷五月丁香激情图片| 91人在线观看| 天天日天天舔| 日良久久| 五月丁香网站| 日日夜夜天天综合| 国产一级婬片毛片| 五月婷婷伦理| 5月激情天| 久久免费丁香| 五月天基地| 亚洲在线网站| 婷婷五月激情欧美大胆视频| 五月婷在线| 婷婷色网站| 婷婷亚洲久久| 久久久久视剧HD| 亚洲激情四谢| 色色色九九九五月婷婷| 国产精品涩涩涩视频网站| 激情五月天综合| 六月色播| 五月婷婷天堂| 超碰大香蕉网| 操久久网| 亚洲中文字幕AV| 激情综合99| 婷婷情爱五月天6| 婷婷十月激情综合网| 操啊操av| 亚洲夜夜操| 婷婷激情五月综合丁香社| 五月天欧美 另类小说| 99色看这里只有精品| 丁香五月花婷婷开心| 性爱综合网| 丁香六月啪啪| 熟女重口味αV| 五月久久噜噜| 免费观看的AV| 99免费热视频| 激情六月婷婷| 久婷婷| 色色性爱视频| 99国产精品久久久久久久久久久| 乱精品一区字幕二区| 五月天电影网| 七七久久综合| 97五月天婷婷综合激情网| 2015WWW永久免费观看播放| 91在线视频综合| 热五月婷婷| 色优久久| 99热骚货| 婷婷在线激情| 丁香六月在线| 色狠狠色噜噜AV天堂五区| 青青久久五月| 日韩在线一级| 亚洲精品网站色视频| 五月丁香久久久日婷婷久久婷婷日| 激情五月婷婷色综合| 丁香综合网| 丁香五月欧美| 久久婷婷伊人| 色九九九综合| 久操人妻| 五月天电影网| 色婷婷www| 99精品在线观看| 久热re视频在线观看网站| 婷婷色五月天色| 99热99精品在线观看| 中文字幕成人| 无码少妇高潮喷水A片免费| 婷婷丁香五月综合久久| 开心五月综合激情网| 激情婷婷五六月天| 日本丁香五月| 高清无码网址| 九色无码| 99在线视频在线观看| 99精品无码| 97色在线| 五月丁香黄色| 久久机只有这里精品| 天天肏高清在线| 亚洲精品白浆高清久久久久久| 99视频在线观看视频| 亚洲国产精品成人免费一区久久久在线观看AAAA| 91婷婷五月天综合视频| 九九99九九99| 五月天婷婷无码| 丁香五月婷婷激情小说| 激情丁香五月天图片| 丁香六月婷婷| 九九色之九九色之88| 先锋男人99资源| 亚洲AV人人操| 日本在线wwww| 人妻肉射免费观看| 色五月激情网| www.jiujiujiu| 色婷婷综合网站| 996热| 亚洲熟女色| 五月丁香六月综合激情无码软件亮点| 丁香五月久久| 色婷婷欧美| 99色网站| 91丁香色五月| 五月色天五月色| 天天色天天操天天射| 国产成人AV在线播放| 婷婷五月天综合色| 九九热青草| 天天天天天天天干| 级情九色| 亚洲不卡| 欧美五月婷婷| 国产资源在线视频| 很很干天天干| 丁香97综合| 激情婷婷五月天日本系列| 亚洲爆乳无码精品AAA片蜜桃| 亚洲中文字幕AV| 综合一区二区三区| 丁乡久久| 另类视在线| 婷婷五月中文字幕| 色色色色色网| 欧美操我| 人人摸人人| 狠狠色狠狠爱| 色99色| 综合玖玖偷拍| 日本爆乳片手机在线播放| 1囯产午夜仑鲁鲁| 色狠狠色噜噜AV天堂五区消防| 91色性感五月婷婷丁香| 六月天六月婷| 五月综合激情网| 婷婷无码视频| 日韩久操婷婷| 婷婷五月色播| 免费国产视频| 操操碰| 色狠狠狠干| 丁香六月天| 激情综合网,婷婷| 欧美日本日韩| 亭亭五月天黑人2014| 久99久视频精品| 激情五月少妇| 久久久五月天网站| 九九热啪啪| 六月丁香啪啪| 无码激情AAAAA片-区区| 欧洲亚洲激情五月天在线| 国产精女同一区二区三区久| 五月天婷婷成人| 久久免费丁香| 天天爽天天日| 另类小说五月天激情| 免费日本aⅴ中文字幕| 久久激情五月婷婷| 九九综合九九| 一本色道久久88综合日韩精品| 色狠狠综合| 欧美日韩五月婷婷| 99国产在线| 能看的AV网站| 色综合久久88| 香蕉婷婷| 婷婷五月激情视频| 婷婷的99视频网站| 国产片XXXXA片国语对白| 99免费热视频| 国产激情综合| 丁香五月婷婷av影院| 深爱激情五月天| 色婷婷XXXXX| 五月激情四射网站| 在线视频99| 婷婷综合五月天激情| 亚洲另类AV| 超碰国产在线| 色综合色综合网| 日日干天天射| 91午夜婷婷狠狠久久综合9色| www.夜夜操.com| 五月丁香怕啪啪| WWW、日本色丁香、co m| 婷婷综合久久| 天天做天天爱天天做| 天天色播| 99玖玖精品| 久99视频| 亚洲婷婷激情综合激情999精品| 亚洲综合视频天天精品| 日韩成人综合| 天天色情站| 色五月激情| 99成人无码| 久久婷婷精品| 黄色91在线观看| 人妻体体内射精一区二区| 五月综合视频| 天天爽天天透天天爱| 成人AV在线电影| 免费观看日韩成人av| www.婷婷| 九九热中文| 五月婷婷 激情五月| 99 色色吧| 六月丁香中文字幕| 婷婷六月丁综合| 欧美性生交XXXXX无码小说| 91色逼| 俺去也五月天婷婷| 六月伊人婷婷| 六月丁香婷婷五月天| 亚洲av无码精品色午夜| 偷拍丁香九月激情| 99成人| 六月丁香色色| 五月亭亭狠狠| 丁香色综合| 日韩av干| 婷婷五月天va| 精品国产va久久久久| 五月丁香六月综合基地| 色色九区| 色色色色色日韩午夜激情 | 99色色网| www夜夜操| 婷婷久热| 婷婷伊人久久| 91狠狠色色丁香婷婷综合久久| 五月丁香操亭亭网| 激情色视频| 日撸夜撸日操| 99热传媒| 成人龟情网丁香五月| 98国产精品综合一区二区三区| 51国精产品自偷自偷综合| 日本久久高清| 色婷婷狠狠爱| 成人av免费观看| 五月天婷婷久久| 久婷| 色色99| 九九激情| 色五月激情网| 强壮的公次次弄得我高潮A片日本 | 99热这里只有精品55| 九九精品免费| 国产精品大香蕉| 激情五月天婷婷| 免费观看18视频网站| 国产一区二区三区影院| 亚洲精品白浆高清久久久久久 | 色色色热热热| 婷婷久草| 在线看九一V图片| 碰碰碰97国产| 五月丁香天堂| 啪啪色区| 成人短视频在线| 色色自拍视频网站| 五月社区丁香| 99久久精品视频女神1| 亚洲综合丁香五月天| 五月丁香六月在线| 激情丁香九九五月综合网| 日本久热| 天天综合精品| 大香蕉久久视频久久视频| 激情电影五月婷婷| 超碰无码318604| 五月婷婷综合网| 丁香五月aV| 26uuu国产激情视频| 激情第四色| 九热视频| 国产99久久久国产精品免费看| 五月丁香婷婷钟和色图| 综合爱久久| 亚洲永久四色| 天天干夜夜欢| EEUSS鲁片一区二区三区| 久久99视频| 欧美69久成人做爰视频| 人人操人人添人人摸97| 中文无码婷婷| 欧美猛片| 丁香六月婷| 亚洲成人网站在线观看| 91干网站| 无码区婷婷五月花开| VA国产在线综合网站| 色婷婷六月丁香综合欲精品| 91丨九色丨大屁股| 五月综合激情啪啪啪啪啪| 2015超碰| 色婷激情网| 五月婷婷九九热| 婷婷色在线| 玖色色综合| 婷婷五月蜜桃成人桃色丁香| 激情五月丁香六月| 五月综合视频| 日本色婷婷| 久热99| 久久加勒比| 丁香婷婷久久激情| 五月天婷婷综合网| 欧美性色A片免费免费观看的| WWW·色色色·COM| 性婷婷| 成人一级片| 两性婷婷丁香五月| 九九av| 天天干天天操天天爽| 婷婷激情五月综合| 亚洲色激情| 五月香六月婷| 成人丁香| 91久久九久久九久久九久久九久久| 丁香六月天婷婷色| 欧美色图天堂网| 久久伊人婷| 69er小视频| 色婷婷五月在线| 丁香五月综合久久综合| 激情五月色综合国产精品| 色色综合网站| 婷婷久久五月天中文字幕在线观看| 婷婷爱综合| 91一起操| 伊人综合婷婷| 26uuu另类亚洲欧美日本一| 久久五月丁香| 五月丁香色色| 婷婷五月天网| 人妻在线观看视频| 亚洲人人干| 色色色999| 婷婷91| 五月天婷婷基地综合网| 日本9区视频| 人人看人人摸人人| 成人做爰高潮A片免费视频| 99久久精彩视频。| 色~性~乱~伦~噜| www.五月天色色色| 日韩无码色色| Caoub青青超碰| 狠狠插狠狠| 日韩综合成人| 激情五月亚洲综合网| 六月婷婷色综合| 中文字幕成人| 99在线热| 91狠狠色| 丁香六月在线| 免费AV播放| 色色色色五月| 性爱AV天堂| 五月天婷婷久久| 成人做爰A片免费看网站找不到了| WWW.99热| 色欲天天综合网| 99久久九九| 亚洲色色色色色色色色色| 婷婷色在线观看| 丁香五月电影| 免费观看的av| 91免费在线视频6| 三男玩一女三A片| 激情五月天啪啪| 亚洲网在线观看| 日本五月视频| 六月丁香婷婷大香蕉| 六月激情综合| www..999热久| 99只有精品| 色婷婷丁香五月在线| 俺也高清无码高清视频| 亚洲视频另类| 欧美色五月| 99久久综合网| 99国产精品久久久久久久久久久 | 99精品久久久久久久婷婷久久| 婷婷色色综合| www.国产色| 亚洲精品成人片在线播| 久久综合首页| 五月婷婷在线丁香| 乱精品一区字幕二区| 天天干、天天日日| 99久久亚洲国产| 91综合国免费久入| AV天堂淫乩| 天天久久九九| 日本啪啪网| 爱爱色五月天| 97涩婷婷| 激情四射网| 丁香五月婷婷动漫视频| 操碰99在线视频观看| 五月婷婷综合久久| 婷婷亚洲激情在线观看视频 | 91大屁股| 日本黄色在线观看| 亚洲激情av| 五月丁香淫淫婷婷婷| 日韩亚洲视频| 色五月婷婷777| 婷婷六月天| 蜜臀A∨在线水帘洞| 九九久99免费视频| 九九热精品| 五月花婷婷丁香| 午夜九九九九九九九九九九九九九| 久99久视频| 欧美黄色AA片哗啦啦啦| 色色99| 伊人丁香五月婷婷潮吹| 俺去也五月| 蜜乳中文字| 97色色-99久久| 久久综合9| 人人干人人看| 日本熟女二区| 色婷婷丁香五月天在线视频| 色五月婷婷青娱乐| 亚洲成av人影院| 激情五月天啪啪| 五月综合六月丁| AV在线资源| 天啪天啪天啪天啪| 亚洲综合另类| 免费看欧美成人A片无码| 加勒比色色| 日本不卡中文字幕| 5Www色5夜| 婷婷五月天丁香花| 五月婷婷导航| 99热色在线精品| 天堂婷婷五月在线| 超碰不卡在线| 九九色插| 国产毛多水多女人A片| 99热在线精品观看| 丁香六月激情综合啪啪| 思思99热在线| 婷婷五月天久久| 久婷视频| 99网址在线观看| 激情婷婷丁香| 丁香六月婷婷开心| 成人精品亚洲性爱| 丁香五月天堂亚洲社区| 偷拍五月丁香| 日本啪啪网| 婷婷深爱五月| www久热com| 激情丁香网| 欧洲精品欧洲情| 大香蕉人妻| 五月丁香好婷婷A片网| 久久国产AV| 久久九九Com| 午夜天天精品视频| 202丰满熟女妇大| 欧美色婷婷| 精品久久99| 婷婷色九月| 五月婷六月| 久久激情天堂| 亚洲五月丁香六月婷婷| 五月天婷婷激情综合| 色性日本| 岛国av电影网站| 欧洲亚洲欧洲99久久| 安息电影在线观看完整版| 九九av| 婷婷综合欧美| 五月丁香六月久久| 五月丁香综合啪啪| 777色婷婷爱五月| 99热99网| 另类五月婷婷| 五月六月丁香婷婷在线观看| 色五月丁香总合网| 国产五月丁香在线| 九九精品这里只有| 婷婷六月丁香1| 亚洲性爱99在线| 色五月综合婷婷| 99精品免费欧美小视频 | 操逼毛片国语对白| 成人av中文字幕| 无码啪啪| 91丨熟女丨首页| 丁香五月婷婷六月婷| 五月天伊人日日噜影片AV| 激情五月天婷婷视频| 亚洲小视频| 五月丁香五月婷婷| 久久多色| 国产激情综合| 99超超碰| 日本99婷婷| 操操自拍| 九九热这里只有精品556| 久久五月人人摸| 狠狠插狠狠| 色偷偷五月天| 婷婷激情综合| 亚洲综合激情五月久久| 五月丁久久| 色99免费视频中文| 日本一级| 五月情四婷婷| 五月天激情网开心网| 丁香五月AV| 狠狠色狠狠操| www.色色色com| 成年视频免费观看| 色色五月天婷婷| 久久机热这里只有 | 99热这里只有精品2016| 99精品视频免费| 97久久久久| 丰满老熟妇BBBBB搡BBB| 伊人成综合五月婷婷| 婷婷激情九月| 丁香五月婷婷六月婷| 五月婷六月| 九九99精品视频在线观看| 国产日产亚系列精品版优势| 人人操人人看97干| 精热在线综合网| 色五月丁香五月婷婷五月成人网 | 99热一本久道| 激情五月天久久丁香| 嫩草AV久久伊人妇女超级a| 婷婷丁香亚洲色综合91| 欧美交换配乱吟粗大25P| 97操男人的天堂| 天天狠狠婷婷在线| 五月开行婷婷色五月| 啊v视频在线观看| 久久人妻超碰一区| 1024国产| 婷婷五月丁香综合人妻| 成人在线精品| 20253AV| 九九热色视频| 五月婷婷丁香婷婷| 九九热精品视频在线观看| 99色.com| 五月丁香WWW| 久99视频在线观看| 亚洲无码影音| 婷婷在线播放av| 精品无吗va视频免费观看| 九九视频在线观看视频6 | 久久久久婷| 婷婷五月天手机版视频| 婷婷午夜| 97婷婷五月激情六月丁香伊人| 久久99激情| 久久久91| 五月天大香蕉AV| 五月天激情Av| 欧洲亚洲精品| 97黑人精品区| 亚洲丁香五月| 婷婷五月天小说| 97精品欧美91久久久久久久| www天天爽| 四川BBB搡BBB爽爽视频| 一区色色色色网| 超碰不卡在线| 色黄啪啪| 天天操夜夜肏| 狠狠综合网| 亚洲小视频免费播放| 色婷另类| 亚洲乱啪| 丁香月六月| 婷婷五月天VI| 亚洲激情网站无码| 五月天婷婷激情小说电影| 激情视频综合| 熟女激情五月天| 伊人激情综合| 操逼在线视频| 国产精品A成V人在线播放| 99开心五月五月丁香激情| 久久婷五月婷| 97性视频| www.日本91| 狠狠色婷婷7777久综合| 久久无码成人| 免费看欧美成人A片无码| 婷婷午夜| 岛国AV网| 97久久人人| 婷婷久久网| 六月激情婷婷| 丁香六月婷婷综合激情欧美| 99热99极品观看| 婷婷五月花| 99九九玖玖| 9色在线视频| 97狠狠色| 色婷视频| 色噜噜狠狠色综合AV兰草影视| 色婷婷香蕉| 色色婷| 97人人干| 色婷婷成人丁香| 少妇做爰免费视看片| 在线综合婷婷| 婷婷丁香18| 日日操天天| 综合网网欲色| 97干网站| 久久无码激情视频| 欧美性猛交AAAA片黑人 |