華為云高性能分布式存儲架構(gòu)如何做到穩(wěn)定低時延？

活動當(dāng)天，華為云存儲資深架構(gòu)師張志樂，從架構(gòu)的三方面深度剖析了華為云存儲如何做到了穩(wěn)定低時延：第一，復(fù)制和數(shù)據(jù)路由技術(shù)對分布式存儲系統(tǒng)性能起到?jīng)Q定性作用。華為分布式存儲采用強(qiáng)一致性以及DHT路由，因?yàn)閺?qiáng)一致性時刻保證所有副本的數(shù)據(jù)都是最新的，使用數(shù)據(jù)時只需讀取主副本，時延比最終一致性更低；元數(shù)據(jù)路由在數(shù)據(jù)量增長時索引會急劇增多，而DHT路由和數(shù)據(jù)量無關(guān)，性能上沒有長尾效應(yīng)。

第二，存儲介質(zhì)以及網(wǎng)絡(luò)方面的優(yōu)化。SSD的垃圾回收機(jī)制會引入寫放大，極端情況下時延增大10倍；大規(guī)模集群下多對多數(shù)據(jù)傳輸，RDMA網(wǎng)絡(luò)擁塞問題突出。華為分布式存儲實(shí)現(xiàn)了多流分離以及軟件主動Trim，有效避免了無效的數(shù)據(jù)搬移，提高IO效率的同時，延長SSD的壽命；時刻監(jiān)控網(wǎng)卡故障以及交換機(jī)故障，在觸發(fā)PFC風(fēng)暴之前及時切換業(yè)務(wù)，避免網(wǎng)絡(luò)擁塞引起的雪崩效應(yīng)。

第三，好的架構(gòu)必須通過好的代碼實(shí)現(xiàn)落地?；诋惒骄€程pipeline的線程調(diào)度需要多輪等待喚醒，IO耗時久。華為分布式存儲使用polling模式，網(wǎng)絡(luò)上通過RMDA輪詢或者DPDK輪詢，節(jié)省內(nèi)核到用戶態(tài)的拷貝和切換；磁盤上通過SPDK，減少中斷和切換，最終實(shí)現(xiàn)無線程上下文切換、無中斷、零等待，大幅提高IO效率。

華為云存儲資深架構(gòu)師張志樂

對公有云的性能而言，僅僅做到以上三點(diǎn)仍不夠，還必須通過QoS機(jī)制做多租戶隔離，用戶的性能SLA才能得到保證。華為云存儲提供QoS機(jī)制，并且在中國區(qū)獨(dú)家提供Burst能力，使得小容量云硬盤在短時間內(nèi)獲得性能突發(fā)。

接下來的現(xiàn)場演示，展現(xiàn)了華為云存儲的三項(xiàng)能力：

1. 普通IO云硬盤，沒有QoS限制能跑到92000+IOPS，通過QoS限制在穩(wěn)定1000 IOPS；
2. 100 GB高IO云硬盤，借助Burst能力能保持在3000 IOPS半小時以上；
3. 共享云硬盤性能線性增長，16掛載點(diǎn)情況下所有掛載點(diǎn)均有20000+IOPS。

華為云專屬存儲方案：魚與熊掌兼得的最佳實(shí)踐

然而，云時代下，企業(yè)自建機(jī)房運(yùn)維難度大、成本高、成本高昂，擴(kuò)容周期長，企業(yè)正積極向公有云或混合云轉(zhuǎn)型。

對于數(shù)據(jù)安全性、合規(guī)性要求較高的政府、大型集團(tuán)企業(yè)或金融機(jī)構(gòu)，對于專屬存儲的需求正持續(xù)走高。華為云獨(dú)家推出專屬存儲服務(wù)，提供私有云級別的物理隔離能力，保證數(shù)據(jù)安全性、合規(guī)性的同時，用戶可以通過服務(wù)化的方式按需按量購買，享受公有云的便利性。

華為云服務(wù)資深架構(gòu)師陳鐘平介紹了華為云專屬存儲服務(wù)有兩種產(chǎn)品形態(tài)：

DSS具有分布式存儲高并發(fā)、大帶寬以及靈活擴(kuò)展的特性，能夠滿足云資源池、HPC以及OLAP等高并發(fā)應(yīng)用場景的需求。如某政府客戶利用DSS構(gòu)建專屬云，并將城市建筑工人的考勤系統(tǒng)遷移至其上，滿足數(shù)據(jù)存儲合規(guī)性，且節(jié)省了自建機(jī)房的運(yùn)維成本。

DESS能夠提供0.5ms穩(wěn)定低時延，雙活特性保證6個9的業(yè)務(wù)可用性，支撐Oracle RAC、SAP HANA等企業(yè)核心數(shù)據(jù)庫平滑上云。如某知名企業(yè)考慮到數(shù)據(jù)安全性以及業(yè)務(wù)可用性，決定采用DESS替代企業(yè)高端SAN存儲，配合BMS裸金屬服務(wù)器，將核心業(yè)務(wù)系統(tǒng)平滑遷移上云，然后利用VPC將通用資源區(qū)已有的云上業(yè)務(wù)打通，實(shí)現(xiàn)公司整體業(yè)務(wù)上云。

華為云服務(wù)資深架構(gòu)師陳鐘平

多云環(huán)境下的挑戰(zhàn)以及解決方案

未來即將走向多云的時代，但由于現(xiàn)在公有云行業(yè)標(biāo)準(zhǔn)化和開放度并不成熟，管理者在做多云部署以及管理的時候往往要面對很多風(fēng)險(xiǎn)和成本，比如數(shù)據(jù)遷移，在相同技術(shù)堆棧之間做遷移都有技術(shù)挑戰(zhàn)，遑論在不同公有云的不同技術(shù)堆棧之間遷移大量數(shù)據(jù)。同時，大家現(xiàn)在對一些關(guān)鍵問題的認(rèn)識還比較模糊，比如說數(shù)據(jù)在多個云之間流動，這個職責(zé)是不是云服務(wù)提供商應(yīng)該做的，這里邊有沒有數(shù)據(jù)管理以及安全的問題，等等。

Veritas一直在作為第三方技術(shù)供應(yīng)商解決平臺之間的差異問題，這個戰(zhàn)略也會延伸到未來的多云時代里。不同的云之間，數(shù)據(jù)管理、服務(wù)遷移以及業(yè)務(wù)連續(xù)性等問題，本質(zhì)上都是云平臺之間的差異問題，都是Veritas致力去幫用戶解決的。

在未來IT世界，數(shù)據(jù)將會是比基礎(chǔ)設(shè)施更重要的資產(chǎn)，但數(shù)據(jù)的合規(guī)和治理帶來的挑戰(zhàn)一直被大家低估?！皻W盟即將出臺把數(shù)據(jù)管理權(quán)力回歸個人的法律，比方說用戶可以要求互聯(lián)網(wǎng)平臺將其個人相關(guān)數(shù)據(jù)全部清除，即所謂的‘?dāng)?shù)據(jù)遺忘權(quán)’，這里面隱含了一系列數(shù)據(jù)合規(guī)性的管理，如果數(shù)據(jù)沒有刪除，罰責(zé)將會是該公司全年產(chǎn)值的4%?！?Veritas解決方案專家殷劍介紹?！癡eritas在數(shù)據(jù)合規(guī)性管理上有很長一段時間的積累，能夠做到智能識別個人用戶的數(shù)據(jù)，并在這基礎(chǔ)上做管理和服務(wù)?！?/p>

Veritas的VRP管理平臺能夠預(yù)測用戶的服務(wù)是否能部署、運(yùn)營在另一個云平臺上，并且滿足合規(guī)性；也可以在不中斷業(yè)務(wù)的前提下，將數(shù)據(jù)在多個云之間做遷移。但要真正解決多云的問題，我們還面臨著很多挑戰(zhàn)，因?yàn)槊總€公有云都在進(jìn)行劇烈的迭代和演進(jìn)，Veritas也在緊跟時代的步伐，與主流公有云廠商一起努力，讓用戶在多云環(huán)境上部署、管理業(yè)務(wù)更加便捷和高效。華為與Veritas長久以來有深入的合作關(guān)系，雙方目前在容災(zāi)備份方面有密切合作，將來會延伸至多云管理等更多解決方案。

Veritas解決方案專家殷劍

活動當(dāng)天，華為云存儲團(tuán)隊(duì)的專家們就分布式存儲技術(shù)實(shí)現(xiàn)、公有云運(yùn)維和容災(zāi)等問題與參會觀眾進(jìn)行了深入探討。提問時間現(xiàn)場氣氛持續(xù)熱烈，直到散會時間仍有多名熱情觀眾留下與專家互動交流。上

除了線下面對面交流，大家還可以通過華為云社區(qū)與大咖線上互動，時間地點(diǎn)不再受限，還能找到志同道合的朋友，共同進(jìn)步。

華為云技術(shù)私享會系列活動還將會在上海、深圳等地陸續(xù)開展，覆蓋更多的服務(wù)以及解決方案，為大家?guī)砀嗳A為云服務(wù)的技術(shù)干貨分享，敬請期待！

請點(diǎn)擊此鏈接了解華為云更多產(chǎn)品：http://www.huaweicloud.com/product/

zhupb