華為云高性能分布式存儲(chǔ)架構(gòu)如何做到穩(wěn)定低時(shí)延？

活動(dòng)當(dāng)天，華為云存儲(chǔ)資深架構(gòu)師張志樂(lè)，從架構(gòu)的三方面深度剖析了華為云存儲(chǔ)如何做到了穩(wěn)定低時(shí)延：第一，復(fù)制和數(shù)據(jù)路由技術(shù)對(duì)分布式存儲(chǔ)系統(tǒng)性能起到?jīng)Q定性作用。華為分布式存儲(chǔ)采用強(qiáng)一致性以及DHT路由，因?yàn)閺?qiáng)一致性時(shí)刻保證所有副本的數(shù)據(jù)都是最新的，使用數(shù)據(jù)時(shí)只需讀取主副本，時(shí)延比最終一致性更低；元數(shù)據(jù)路由在數(shù)據(jù)量增長(zhǎng)時(shí)索引會(huì)急劇增多，而DHT路由和數(shù)據(jù)量無(wú)關(guān)，性能上沒(méi)有長(zhǎng)尾效應(yīng)。

第二，存儲(chǔ)介質(zhì)以及網(wǎng)絡(luò)方面的優(yōu)化。SSD的垃圾回收機(jī)制會(huì)引入寫(xiě)放大，極端情況下時(shí)延增大10倍；大規(guī)模集群下多對(duì)多數(shù)據(jù)傳輸，RDMA網(wǎng)絡(luò)擁塞問(wèn)題突出。華為分布式存儲(chǔ)實(shí)現(xiàn)了多流分離以及軟件主動(dòng)Trim，有效避免了無(wú)效的數(shù)據(jù)搬移，提高IO效率的同時(shí)，延長(zhǎng)SSD的壽命；時(shí)刻監(jiān)控網(wǎng)卡故障以及交換機(jī)故障，在觸發(fā)PFC風(fēng)暴之前及時(shí)切換業(yè)務(wù)，避免網(wǎng)絡(luò)擁塞引起的雪崩效應(yīng)。

第三，好的架構(gòu)必須通過(guò)好的代碼實(shí)現(xiàn)落地?；诋惒骄€程pipeline的線程調(diào)度需要多輪等待喚醒，IO耗時(shí)久。華為分布式存儲(chǔ)使用polling模式，網(wǎng)絡(luò)上通過(guò)RMDA輪詢(xún)或者DPDK輪詢(xún)，節(jié)省內(nèi)核到用戶(hù)態(tài)的拷貝和切換；磁盤(pán)上通過(guò)SPDK，減少中斷和切換，最終實(shí)現(xiàn)無(wú)線程上下文切換、無(wú)中斷、零等待，大幅提高IO效率。

華為云存儲(chǔ)資深架構(gòu)師張志樂(lè)

對(duì)公有云的性能而言，僅僅做到以上三點(diǎn)仍不夠，還必須通過(guò)QoS機(jī)制做多租戶(hù)隔離，用戶(hù)的性能SLA才能得到保證。華為云存儲(chǔ)提供QoS機(jī)制，并且在中國(guó)區(qū)獨(dú)家提供Burst能力，使得小容量云硬盤(pán)在短時(shí)間內(nèi)獲得性能突發(fā)。

接下來(lái)的現(xiàn)場(chǎng)演示，展現(xiàn)了華為云存儲(chǔ)的三項(xiàng)能力：

1. 普通IO云硬盤(pán)，沒(méi)有QoS限制能跑到92000+IOPS，通過(guò)QoS限制在穩(wěn)定1000 IOPS；
2. 100 GB高IO云硬盤(pán)，借助Burst能力能保持在3000 IOPS半小時(shí)以上；
3. 共享云硬盤(pán)性能線性增長(zhǎng)，16掛載點(diǎn)情況下所有掛載點(diǎn)均有20000+IOPS。

華為云專(zhuān)屬存儲(chǔ)方案：魚(yú)與熊掌兼得的最佳實(shí)踐

然而，云時(shí)代下，企業(yè)自建機(jī)房運(yùn)維難度大、成本高、成本高昂，擴(kuò)容周期長(zhǎng)，企業(yè)正積極向公有云或混合云轉(zhuǎn)型。

對(duì)于數(shù)據(jù)安全性、合規(guī)性要求較高的政府、大型集團(tuán)企業(yè)或金融機(jī)構(gòu)，對(duì)于專(zhuān)屬存儲(chǔ)的需求正持續(xù)走高。華為云獨(dú)家推出專(zhuān)屬存儲(chǔ)服務(wù)，提供私有云級(jí)別的物理隔離能力，保證數(shù)據(jù)安全性、合規(guī)性的同時(shí)，用戶(hù)可以通過(guò)服務(wù)化的方式按需按量購(gòu)買(mǎi)，享受公有云的便利性。

華為云服務(wù)資深架構(gòu)師陳鐘平介紹了華為云專(zhuān)屬存儲(chǔ)服務(wù)有兩種產(chǎn)品形態(tài)：

DSS具有分布式存儲(chǔ)高并發(fā)、大帶寬以及靈活擴(kuò)展的特性，能夠滿足云資源池、HPC以及OLAP等高并發(fā)應(yīng)用場(chǎng)景的需求。如某政府客戶(hù)利用DSS構(gòu)建專(zhuān)屬云，并將城市建筑工人的考勤系統(tǒng)遷移至其上，滿足數(shù)據(jù)存儲(chǔ)合規(guī)性，且節(jié)省了自建機(jī)房的運(yùn)維成本。

DESS能夠提供0.5ms穩(wěn)定低時(shí)延，雙活特性保證6個(gè)9的業(yè)務(wù)可用性，支撐Oracle RAC、SAP HANA等企業(yè)核心數(shù)據(jù)庫(kù)平滑上云。如某知名企業(yè)考慮到數(shù)據(jù)安全性以及業(yè)務(wù)可用性，決定采用DESS替代企業(yè)高端SAN存儲(chǔ)，配合BMS裸金屬服務(wù)器，將核心業(yè)務(wù)系統(tǒng)平滑遷移上云，然后利用VPC將通用資源區(qū)已有的云上業(yè)務(wù)打通，實(shí)現(xiàn)公司整體業(yè)務(wù)上云。

華為云服務(wù)資深架構(gòu)師陳鐘平

多云環(huán)境下的挑戰(zhàn)以及解決方案

未來(lái)即將走向多云的時(shí)代，但由于現(xiàn)在公有云行業(yè)標(biāo)準(zhǔn)化和開(kāi)放度并不成熟，管理者在做多云部署以及管理的時(shí)候往往要面對(duì)很多風(fēng)險(xiǎn)和成本，比如數(shù)據(jù)遷移，在相同技術(shù)堆棧之間做遷移都有技術(shù)挑戰(zhàn)，遑論在不同公有云的不同技術(shù)堆棧之間遷移大量數(shù)據(jù)。同時(shí)，大家現(xiàn)在對(duì)一些關(guān)鍵問(wèn)題的認(rèn)識(shí)還比較模糊，比如說(shuō)數(shù)據(jù)在多個(gè)云之間流動(dòng)，這個(gè)職責(zé)是不是云服務(wù)提供商應(yīng)該做的，這里邊有沒(méi)有數(shù)據(jù)管理以及安全的問(wèn)題，等等。

Veritas一直在作為第三方技術(shù)供應(yīng)商解決平臺(tái)之間的差異問(wèn)題，這個(gè)戰(zhàn)略也會(huì)延伸到未來(lái)的多云時(shí)代里。不同的云之間，數(shù)據(jù)管理、服務(wù)遷移以及業(yè)務(wù)連續(xù)性等問(wèn)題，本質(zhì)上都是云平臺(tái)之間的差異問(wèn)題，都是Veritas致力去幫用戶(hù)解決的。

在未來(lái)IT世界，數(shù)據(jù)將會(huì)是比基礎(chǔ)設(shè)施更重要的資產(chǎn)，但數(shù)據(jù)的合規(guī)和治理帶來(lái)的挑戰(zhàn)一直被大家低估?！皻W盟即將出臺(tái)把數(shù)據(jù)管理權(quán)力回歸個(gè)人的法律，比方說(shuō)用戶(hù)可以要求互聯(lián)網(wǎng)平臺(tái)將其個(gè)人相關(guān)數(shù)據(jù)全部清除，即所謂的‘?dāng)?shù)據(jù)遺忘權(quán)’，這里面隱含了一系列數(shù)據(jù)合規(guī)性的管理，如果數(shù)據(jù)沒(méi)有刪除，罰責(zé)將會(huì)是該公司全年產(chǎn)值的4%。” Veritas解決方案專(zhuān)家殷劍介紹。“Veritas在數(shù)據(jù)合規(guī)性管理上有很長(zhǎng)一段時(shí)間的積累，能夠做到智能識(shí)別個(gè)人用戶(hù)的數(shù)據(jù)，并在這基礎(chǔ)上做管理和服務(wù)?！?/p>

Veritas的VRP管理平臺(tái)能夠預(yù)測(cè)用戶(hù)的服務(wù)是否能部署、運(yùn)營(yíng)在另一個(gè)云平臺(tái)上，并且滿足合規(guī)性；也可以在不中斷業(yè)務(wù)的前提下，將數(shù)據(jù)在多個(gè)云之間做遷移。但要真正解決多云的問(wèn)題，我們還面臨著很多挑戰(zhàn)，因?yàn)槊總€(gè)公有云都在進(jìn)行劇烈的迭代和演進(jìn)，Veritas也在緊跟時(shí)代的步伐，與主流公有云廠商一起努力，讓用戶(hù)在多云環(huán)境上部署、管理業(yè)務(wù)更加便捷和高效。華為與Veritas長(zhǎng)久以來(lái)有深入的合作關(guān)系，雙方目前在容災(zāi)備份方面有密切合作，將來(lái)會(huì)延伸至多云管理等更多解決方案。

Veritas解決方案專(zhuān)家殷劍

活動(dòng)當(dāng)天，華為云存儲(chǔ)團(tuán)隊(duì)的專(zhuān)家們就分布式存儲(chǔ)技術(shù)實(shí)現(xiàn)、公有云運(yùn)維和容災(zāi)等問(wèn)題與參會(huì)觀眾進(jìn)行了深入探討。提問(wèn)時(shí)間現(xiàn)場(chǎng)氣氛持續(xù)熱烈，直到散會(huì)時(shí)間仍有多名熱情觀眾留下與專(zhuān)家互動(dòng)交流。上

除了線下面對(duì)面交流，大家還可以通過(guò)華為云社區(qū)與大咖線上互動(dòng)，時(shí)間地點(diǎn)不再受限，還能找到志同道合的朋友，共同進(jìn)步。

華為云技術(shù)私享會(huì)系列活動(dòng)還將會(huì)在上海、深圳等地陸續(xù)開(kāi)展，覆蓋更多的服務(wù)以及解決方案，為大家?guī)?lái)更多華為云服務(wù)的技術(shù)干貨分享，敬請(qǐng)期待！

請(qǐng)點(diǎn)擊此鏈接了解華為云更多產(chǎn)品：http://www.huaweicloud.com/product/

zhupb