如何應(yīng)對(duì)數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)挑戰(zhàn)

在傳統(tǒng)應(yīng)用傳統(tǒng)存儲(chǔ)架構(gòu)穩(wěn)態(tài)能力的基礎(chǔ)上，數(shù)字化轉(zhuǎn)型在如火如荼的進(jìn)行當(dāng)中，過程當(dāng)中會(huì)涌現(xiàn)出越來越多新的智能應(yīng)用，那么，不同種類的應(yīng)用帶來了哪些數(shù)據(jù)挑戰(zhàn)呢？為此，趙帥總結(jié)了四個(gè)方面：

第一個(gè)挑戰(zhàn)是精細(xì)化，未來會(huì)有越來越多的應(yīng)用追求精細(xì)化，比如對(duì)照片的像素要求越來越高，數(shù)據(jù)量，數(shù)據(jù)類型會(huì)越來越多。

第二個(gè)挑戰(zhàn)是即時(shí)性，一些關(guān)鍵應(yīng)用，比如一些實(shí)時(shí)在線交易系統(tǒng)，對(duì)即時(shí)性有很高要求。

第三個(gè)挑戰(zhàn)是整合化，如今的業(yè)務(wù)系統(tǒng)和應(yīng)用越來越多，應(yīng)用對(duì)應(yīng)的數(shù)據(jù)之間能否打造一個(gè)數(shù)據(jù)集，完成應(yīng)用與應(yīng)用，業(yè)務(wù)與業(yè)務(wù)的對(duì)接整合尤為重要。

第四個(gè)挑戰(zhàn)是不確定性，人的行為難以預(yù)測，一個(gè)突發(fā)新聞比如明星爆炸性緋聞事件可能會(huì)給某網(wǎng)站帶來大批量的訪問，網(wǎng)站能否承載還是個(gè)問題，這種不確定性帶來的壓力要如何應(yīng)對(duì)？如何避免系統(tǒng)宕機(jī)，如何面對(duì)這些不確定性呢？

四個(gè)挑戰(zhàn)凸顯了業(yè)務(wù)變革下涌現(xiàn)的新興應(yīng)用對(duì)于數(shù)據(jù)存儲(chǔ)的新需求，我們正在步入一個(gè)新的數(shù)據(jù)時(shí)代，存儲(chǔ)要怎么變？浪潮存儲(chǔ)總結(jié)了過去，著眼未來，于是提出要重新定義存儲(chǔ)，其思路就是化繁為簡，讓分布式存儲(chǔ)走向融合。

從介紹中了解到，浪潮打造了超大規(guī)模數(shù)據(jù)中心級(jí)分布式存儲(chǔ)平臺(tái)，希望以一個(gè)存儲(chǔ)平臺(tái)承接數(shù)據(jù)中心幾乎所有應(yīng)用，從邊緣計(jì)算、邊緣應(yīng)用，到核心智能應(yīng)用和傳統(tǒng)應(yīng)用，再到多云環(huán)境的存儲(chǔ)都能承接，這個(gè)存儲(chǔ)平臺(tái)可以覆蓋到用戶大數(shù)據(jù)離線分析業(yè)務(wù)，或者實(shí)時(shí)在線分析業(yè)務(wù)、人工智能、HPC、機(jī)器學(xué)習(xí)、備份歸檔等等業(yè)務(wù)場景。

趙帥認(rèn)為，這個(gè)存儲(chǔ)要有非常好的彈性擴(kuò)展能力，用單一設(shè)備就能構(gòu)建最小化的分布式存儲(chǔ)集群，起始容量在30幾個(gè)TB，隨后可擴(kuò)展到多個(gè)節(jié)點(diǎn)，達(dá)到8到10PB甚至更高，擴(kuò)展到1個(gè)數(shù)據(jù)中心幾百臺(tái)機(jī)柜，提供EB級(jí)的訪問空間，更重要的是，隨著它的彈性容量的擴(kuò)展，它的性能也會(huì)線性提升。

這一要求對(duì)于技術(shù)本身提出了很高要求。今年3月，浪潮發(fā)布了兩款面向數(shù)據(jù)中心打造的新產(chǎn)品，一款是面向核心業(yè)務(wù)的高端存儲(chǔ)平臺(tái)，適用于數(shù)據(jù)庫之類關(guān)鍵應(yīng)用。另外一個(gè)就是超大規(guī)模數(shù)據(jù)中心級(jí)分布式存儲(chǔ)平臺(tái)AS13000，它是在分布式存儲(chǔ)AS13000的基礎(chǔ)上進(jìn)行升級(jí)的，浪潮是希望用一個(gè)平臺(tái)或者一個(gè)架構(gòu)承載用戶的所有的應(yīng)用。

AS13000亮點(diǎn)

作為一款新的分布式存儲(chǔ)產(chǎn)品，在設(shè)計(jì)上有哪些特別呢？

趙帥總結(jié)說，該分布式存儲(chǔ)平臺(tái)的設(shè)計(jì)要點(diǎn)可總結(jié)為兩個(gè)“5+X”。

首先是硬件層面的5+X，5指的是5種硬件形態(tài)，包括機(jī)架式服務(wù)器、機(jī)柜式服務(wù)器、多節(jié)點(diǎn)服務(wù)器、高密度服務(wù)器以及邊緣服務(wù)器，X指的是根據(jù)用戶不同的需求，包括容量需求、性能需求、智慧計(jì)算的需求，對(duì)應(yīng)提供不同的CPU、顯卡、SSD、HDD等等不同硬件配比。

軟件層面5+X，5指的是5種數(shù)據(jù)服務(wù)或者5種訪問協(xié)議，常見的分布式存儲(chǔ)支持4種訪問協(xié)議，而浪潮的這次額外增加了數(shù)據(jù)庫協(xié)議，值得一提的是，它能將億級(jí)文件查詢時(shí)間從原來的小時(shí)級(jí)縮短到秒級(jí)。X指的是與X種應(yīng)用融合，浪潮分布式存儲(chǔ)與一些原生的云端分布式應(yīng)用進(jìn)行融合，在這方面，浪潮與許多ISV合作伙伴合作，進(jìn)行深度集成。

細(xì)細(xì)看來，AS13000G5在很多層面上做了優(yōu)化和改進(jìn)。

比如在小文件讀寫性能方面。小文件讀寫是整個(gè)分布式存儲(chǔ)業(yè)界都比較頭疼的問題，AS13000G5通過小文件聚合和對(duì)象聚合兩種技術(shù)，把最小的訪問單元從KB級(jí)提高到MB級(jí)，以此提升小文件隨機(jī)讀寫以及小文件刪除的性能。

在空間利用率方面。分布式存儲(chǔ)的空間利用率除了必要的消耗外，使用率有一個(gè)安全水位（存儲(chǔ)空間使用率），負(fù)責(zé)人的廠商會(huì)告知用戶這個(gè)安全水位，超過水位會(huì)嚴(yán)重影響性能，不負(fù)責(zé)的廠商的做法可能會(huì)造成系統(tǒng)意外宕機(jī)了。浪潮通過多機(jī)一致計(jì)算技術(shù)將安全水位提高了6%，空間利用率達(dá)到了90%，也就相應(yīng)提升了資源利用率。

在支持的文件數(shù)方面。常見的分布式存儲(chǔ)系統(tǒng)都能支持存儲(chǔ)百億級(jí)別的小圖片，但是如何實(shí)現(xiàn)千億級(jí)別的存儲(chǔ)呢？浪潮AS13000G5在新技術(shù)的支持下，管理文件數(shù)提升了10倍，這一特性在未來的衛(wèi)星行業(yè)、交管的系統(tǒng)當(dāng)中，會(huì)起到非常至關(guān)重要的作用。

浪潮既有存儲(chǔ)又有服務(wù)器業(yè)務(wù)，在這次更新中，浪潮的存儲(chǔ)產(chǎn)品線結(jié)合了服務(wù)器產(chǎn)品線的優(yōu)點(diǎn)，硬件設(shè)計(jì)上可以兼容市面上99%的機(jī)柜，原來的存儲(chǔ)機(jī)型在4U高度空間下提供36盤倉，現(xiàn)在4U可提供72個(gè)盤倉，單一設(shè)備可提供1PB存儲(chǔ)容量。多節(jié)點(diǎn)服務(wù)器設(shè)計(jì)中提供的物理隔離和邏輯隔離能力可以讓浪潮實(shí)現(xiàn)單一設(shè)備部署最小的分布式系統(tǒng)集群。

集中式存儲(chǔ)有統(tǒng)一存儲(chǔ)的概念，一套存儲(chǔ)上有多種存儲(chǔ)服務(wù)，實(shí)現(xiàn)方式多種多樣，分布式存儲(chǔ)的統(tǒng)一存儲(chǔ)要怎么做呢？趙帥介紹說，分布式的跨協(xié)議通常靠數(shù)據(jù)副本來做，復(fù)制數(shù)據(jù)后兩份數(shù)據(jù)經(jīng)由不同的協(xié)議對(duì)外提供訪問，浪潮存儲(chǔ)靠的是資源池，不同的數(shù)據(jù)服務(wù)采用轉(zhuǎn)換協(xié)議，相對(duì)于前者，優(yōu)勢(shì)在于沒有數(shù)據(jù)復(fù)制造成的中間開銷，效率大為提升。

人工智能最理想的場景之一就是在運(yùn)維方面，AS13000G5在智能預(yù)測方面也有突破，在這里，智能預(yù)測可分為故障預(yù)測和性能預(yù)測。浪潮發(fā)現(xiàn)分布式存儲(chǔ)上硬盤故障是可以預(yù)測的，14天范圍內(nèi)的硬盤故障預(yù)測準(zhǔn)確率高達(dá)85%，留給用戶充足的時(shí)間提前準(zhǔn)備和更換。性能預(yù)測方面，可以預(yù)測未來九十天的硬盤性能波動(dòng)情況，硬盤級(jí)的性能預(yù)測給AS13000G5整體的預(yù)測提供了非常好的數(shù)據(jù)支撐。

浪潮AS13000G5的創(chuàng)新非常細(xì)致且全面，體現(xiàn)了浪潮從硬件設(shè)計(jì)到軟件堆棧優(yōu)化的方方面面的創(chuàng)新實(shí)踐能力。在2019年的軟件定義存儲(chǔ)峰會(huì)上，有嘉賓表示，軟件定義存儲(chǔ)其實(shí)離不開硬件，純軟件的軟件定義存儲(chǔ)只是一種商業(yè)模式，在實(shí)際應(yīng)用中還是軟硬一體優(yōu)化為主，因?yàn)樯婕暗椒椒矫婷娴膬?yōu)化，這其實(shí)是用戶所需要的。這一觀點(diǎn)得到了許多專業(yè)人士的認(rèn)可，也就決定了，像浪潮這樣有軟硬件綜合能力的創(chuàng)新企業(yè)才能更好地開發(fā)軟件定義存儲(chǔ)市場。

應(yīng)用場景與應(yīng)用案例

浪潮分布式存儲(chǔ)總結(jié)出了七大應(yīng)用場景，分別是視頻監(jiān)控、廣電媒資、人工智能、云計(jì)算、大數(shù)據(jù)、HPC和傳統(tǒng)應(yīng)用，Gartner評(píng)估了存儲(chǔ)廠商在五大場景下的八項(xiàng)關(guān)鍵能力，并給出最終排名，在浪潮在五大場景下的表現(xiàn)都進(jìn)入到了TOP7當(dāng)中，在HPC方面，浪潮排名第三。大數(shù)據(jù)分析領(lǐng)域，浪潮排名第四；在云計(jì)算方面，浪潮排名第五；在歸檔和備份分別排名第五和第六。

如果沒有實(shí)際落地，再好的分布式存儲(chǔ)也只能停留在理論上，在實(shí)際應(yīng)用當(dāng)中，浪潮分布式存儲(chǔ)有多個(gè)行業(yè)有多個(gè)案例。

在北京、廣西、內(nèi)蒙、湖南等等的政務(wù)云當(dāng)中都有浪潮AS13000相關(guān)的規(guī)劃和建設(shè)；在衛(wèi)星數(shù)據(jù)的存儲(chǔ)中浪潮AS13000提供了70PB的存儲(chǔ)空間，帶寬和延遲方面都表現(xiàn)出了優(yōu)勢(shì)；在智慧交通的案例中，大量監(jiān)控?cái)z像頭匯集的數(shù)據(jù)對(duì)存儲(chǔ)提出了很高要求，AS13000的性能表現(xiàn)也可圈可點(diǎn)。

清華大學(xué)對(duì)小白鼠大腦的研究對(duì)后端存儲(chǔ)有很大需求，實(shí)驗(yàn)中用了28臺(tái)相機(jī)，每秒拍30張高清圖片，每張圖片1200萬象素，每張圖片大小24MB，經(jīng)過簡單計(jì)算后看到后端存儲(chǔ)是20GB每秒，浪潮的分布式存儲(chǔ)方案很好地承接了這個(gè)項(xiàng)目。

在廣電領(lǐng)域，浪潮分布式存儲(chǔ)承接了40多個(gè)縣的融媒體業(yè)務(wù)，縣級(jí)的融媒體業(yè)務(wù)對(duì)于后端存儲(chǔ)集群的要求也很高，比如在延遲方面的要求就很高，浪潮的分布式存儲(chǔ)很好地承接了縣級(jí)融媒體的建設(shè)。

國家電網(wǎng)的案例中，浪潮AS13000的分布式存儲(chǔ)平臺(tái)承接幾乎所有業(yè)務(wù)系統(tǒng)，搭建了141臺(tái)分布式存儲(chǔ)節(jié)點(diǎn)，有3000臺(tái)虛擬機(jī)部署在其中，而且基于AS13000打造了兩地三中心，這是AS13000存儲(chǔ)落地實(shí)踐中的經(jīng)典案例。

結(jié)語

落地的案例是產(chǎn)品走向成熟的標(biāo)志，也是一個(gè)成熟的存儲(chǔ)系統(tǒng)進(jìn)一步發(fā)展和演進(jìn)的必由之路，在不斷發(fā)展演進(jìn)的路上，浪潮的市場開拓能力與自身研發(fā)能力就顯得尤為重要了。從集中存儲(chǔ)到分布式存儲(chǔ)，這是企業(yè)存儲(chǔ)領(lǐng)域幾十年來的大事件，對(duì)原有存儲(chǔ)既是補(bǔ)充又是挑戰(zhàn)，而這個(gè)過程中勢(shì)必產(chǎn)生出一批新的存儲(chǔ)力量，浪潮在分布式存儲(chǔ)領(lǐng)域產(chǎn)品和市場表現(xiàn)值得期待。

zhupb