如何應對數(shù)據(jù)中心的數(shù)據(jù)存儲挑戰(zhàn)

在傳統(tǒng)應用傳統(tǒng)存儲架構(gòu)穩(wěn)態(tài)能力的基礎(chǔ)上，數(shù)字化轉(zhuǎn)型在如火如荼的進行當中，過程當中會涌現(xiàn)出越來越多新的智能應用，那么，不同種類的應用帶來了哪些數(shù)據(jù)挑戰(zhàn)呢？為此，趙帥總結(jié)了四個方面：

第一個挑戰(zhàn)是精細化，未來會有越來越多的應用追求精細化，比如對照片的像素要求越來越高，數(shù)據(jù)量，數(shù)據(jù)類型會越來越多。

第二個挑戰(zhàn)是即時性，一些關(guān)鍵應用，比如一些實時在線交易系統(tǒng)，對即時性有很高要求。

第三個挑戰(zhàn)是整合化，如今的業(yè)務(wù)系統(tǒng)和應用越來越多，應用對應的數(shù)據(jù)之間能否打造一個數(shù)據(jù)集，完成應用與應用，業(yè)務(wù)與業(yè)務(wù)的對接整合尤為重要。

第四個挑戰(zhàn)是不確定性，人的行為難以預測，一個突發(fā)新聞比如明星爆炸性緋聞事件可能會給某網(wǎng)站帶來大批量的訪問，網(wǎng)站能否承載還是個問題，這種不確定性帶來的壓力要如何應對？如何避免系統(tǒng)宕機，如何面對這些不確定性呢？

四個挑戰(zhàn)凸顯了業(yè)務(wù)變革下涌現(xiàn)的新興應用對于數(shù)據(jù)存儲的新需求，我們正在步入一個新的數(shù)據(jù)時代，存儲要怎么變？浪潮存儲總結(jié)了過去，著眼未來，于是提出要重新定義存儲，其思路就是化繁為簡，讓分布式存儲走向融合。

從介紹中了解到，浪潮打造了超大規(guī)模數(shù)據(jù)中心級分布式存儲平臺，希望以一個存儲平臺承接數(shù)據(jù)中心幾乎所有應用，從邊緣計算、邊緣應用，到核心智能應用和傳統(tǒng)應用，再到多云環(huán)境的存儲都能承接，這個存儲平臺可以覆蓋到用戶大數(shù)據(jù)離線分析業(yè)務(wù)，或者實時在線分析業(yè)務(wù)、人工智能、HPC、機器學習、備份歸檔等等業(yè)務(wù)場景。

趙帥認為，這個存儲要有非常好的彈性擴展能力，用單一設(shè)備就能構(gòu)建最小化的分布式存儲集群，起始容量在30幾個TB，隨后可擴展到多個節(jié)點，達到8到10PB甚至更高，擴展到1個數(shù)據(jù)中心幾百臺機柜，提供EB級的訪問空間，更重要的是，隨著它的彈性容量的擴展，它的性能也會線性提升。

這一要求對于技術(shù)本身提出了很高要求。今年3月，浪潮發(fā)布了兩款面向數(shù)據(jù)中心打造的新產(chǎn)品，一款是面向核心業(yè)務(wù)的高端存儲平臺，適用于數(shù)據(jù)庫之類關(guān)鍵應用。另外一個就是超大規(guī)模數(shù)據(jù)中心級分布式存儲平臺AS13000，它是在分布式存儲AS13000的基礎(chǔ)上進行升級的，浪潮是希望用一個平臺或者一個架構(gòu)承載用戶的所有的應用。

AS13000亮點

作為一款新的分布式存儲產(chǎn)品，在設(shè)計上有哪些特別呢？

趙帥總結(jié)說，該分布式存儲平臺的設(shè)計要點可總結(jié)為兩個“5+X”。

首先是硬件層面的5+X，5指的是5種硬件形態(tài)，包括機架式服務(wù)器、機柜式服務(wù)器、多節(jié)點服務(wù)器、高密度服務(wù)器以及邊緣服務(wù)器，X指的是根據(jù)用戶不同的需求，包括容量需求、性能需求、智慧計算的需求，對應提供不同的CPU、顯卡、SSD、HDD等等不同硬件配比。

軟件層面5+X，5指的是5種數(shù)據(jù)服務(wù)或者5種訪問協(xié)議，常見的分布式存儲支持4種訪問協(xié)議，而浪潮的這次額外增加了數(shù)據(jù)庫協(xié)議，值得一提的是，它能將億級文件查詢時間從原來的小時級縮短到秒級。X指的是與X種應用融合，浪潮分布式存儲與一些原生的云端分布式應用進行融合，在這方面，浪潮與許多ISV合作伙伴合作，進行深度集成。

細細看來，AS13000G5在很多層面上做了優(yōu)化和改進。

比如在小文件讀寫性能方面。小文件讀寫是整個分布式存儲業(yè)界都比較頭疼的問題，AS13000G5通過小文件聚合和對象聚合兩種技術(shù)，把最小的訪問單元從KB級提高到MB級，以此提升小文件隨機讀寫以及小文件刪除的性能。

在空間利用率方面。分布式存儲的空間利用率除了必要的消耗外，使用率有一個安全水位（存儲空間使用率），負責人的廠商會告知用戶這個安全水位，超過水位會嚴重影響性能，不負責的廠商的做法可能會造成系統(tǒng)意外宕機了。浪潮通過多機一致計算技術(shù)將安全水位提高了6%，空間利用率達到了90%，也就相應提升了資源利用率。

在支持的文件數(shù)方面。常見的分布式存儲系統(tǒng)都能支持存儲百億級別的小圖片，但是如何實現(xiàn)千億級別的存儲呢？浪潮AS13000G5在新技術(shù)的支持下，管理文件數(shù)提升了10倍，這一特性在未來的衛(wèi)星行業(yè)、交管的系統(tǒng)當中，會起到非常至關(guān)重要的作用。

浪潮既有存儲又有服務(wù)器業(yè)務(wù)，在這次更新中，浪潮的存儲產(chǎn)品線結(jié)合了服務(wù)器產(chǎn)品線的優(yōu)點，硬件設(shè)計上可以兼容市面上99%的機柜，原來的存儲機型在4U高度空間下提供36盤倉，現(xiàn)在4U可提供72個盤倉，單一設(shè)備可提供1PB存儲容量。多節(jié)點服務(wù)器設(shè)計中提供的物理隔離和邏輯隔離能力可以讓浪潮實現(xiàn)單一設(shè)備部署最小的分布式系統(tǒng)集群。

集中式存儲有統(tǒng)一存儲的概念，一套存儲上有多種存儲服務(wù)，實現(xiàn)方式多種多樣，分布式存儲的統(tǒng)一存儲要怎么做呢？趙帥介紹說，分布式的跨協(xié)議通?？繑?shù)據(jù)副本來做，復制數(shù)據(jù)后兩份數(shù)據(jù)經(jīng)由不同的協(xié)議對外提供訪問，浪潮存儲靠的是資源池，不同的數(shù)據(jù)服務(wù)采用轉(zhuǎn)換協(xié)議，相對于前者，優(yōu)勢在于沒有數(shù)據(jù)復制造成的中間開銷，效率大為提升。

人工智能最理想的場景之一就是在運維方面，AS13000G5在智能預測方面也有突破，在這里，智能預測可分為故障預測和性能預測。浪潮發(fā)現(xiàn)分布式存儲上硬盤故障是可以預測的，14天范圍內(nèi)的硬盤故障預測準確率高達85%，留給用戶充足的時間提前準備和更換。性能預測方面，可以預測未來九十天的硬盤性能波動情況，硬盤級的性能預測給AS13000G5整體的預測提供了非常好的數(shù)據(jù)支撐。

浪潮AS13000G5的創(chuàng)新非常細致且全面，體現(xiàn)了浪潮從硬件設(shè)計到軟件堆棧優(yōu)化的方方面面的創(chuàng)新實踐能力。在2019年的軟件定義存儲峰會上，有嘉賓表示，軟件定義存儲其實離不開硬件，純軟件的軟件定義存儲只是一種商業(yè)模式，在實際應用中還是軟硬一體優(yōu)化為主，因為涉及到方方面面的優(yōu)化，這其實是用戶所需要的。這一觀點得到了許多專業(yè)人士的認可，也就決定了，像浪潮這樣有軟硬件綜合能力的創(chuàng)新企業(yè)才能更好地開發(fā)軟件定義存儲市場。

應用場景與應用案例

浪潮分布式存儲總結(jié)出了七大應用場景，分別是視頻監(jiān)控、廣電媒資、人工智能、云計算、大數(shù)據(jù)、HPC和傳統(tǒng)應用，Gartner評估了存儲廠商在五大場景下的八項關(guān)鍵能力，并給出最終排名，在浪潮在五大場景下的表現(xiàn)都進入到了TOP7當中，在HPC方面，浪潮排名第三。大數(shù)據(jù)分析領(lǐng)域，浪潮排名第四；在云計算方面，浪潮排名第五；在歸檔和備份分別排名第五和第六。

如果沒有實際落地，再好的分布式存儲也只能停留在理論上，在實際應用當中，浪潮分布式存儲有多個行業(yè)有多個案例。

在北京、廣西、內(nèi)蒙、湖南等等的政務(wù)云當中都有浪潮AS13000相關(guān)的規(guī)劃和建設(shè)；在衛(wèi)星數(shù)據(jù)的存儲中浪潮AS13000提供了70PB的存儲空間，帶寬和延遲方面都表現(xiàn)出了優(yōu)勢；在智慧交通的案例中，大量監(jiān)控攝像頭匯集的數(shù)據(jù)對存儲提出了很高要求，AS13000的性能表現(xiàn)也可圈可點。

清華大學對小白鼠大腦的研究對后端存儲有很大需求，實驗中用了28臺相機，每秒拍30張高清圖片，每張圖片1200萬象素，每張圖片大小24MB，經(jīng)過簡單計算后看到后端存儲是20GB每秒，浪潮的分布式存儲方案很好地承接了這個項目。

在廣電領(lǐng)域，浪潮分布式存儲承接了40多個縣的融媒體業(yè)務(wù)，縣級的融媒體業(yè)務(wù)對于后端存儲集群的要求也很高，比如在延遲方面的要求就很高，浪潮的分布式存儲很好地承接了縣級融媒體的建設(shè)。

國家電網(wǎng)的案例中，浪潮AS13000的分布式存儲平臺承接幾乎所有業(yè)務(wù)系統(tǒng)，搭建了141臺分布式存儲節(jié)點，有3000臺虛擬機部署在其中，而且基于AS13000打造了兩地三中心，這是AS13000存儲落地實踐中的經(jīng)典案例。

結(jié)語

落地的案例是產(chǎn)品走向成熟的標志，也是一個成熟的存儲系統(tǒng)進一步發(fā)展和演進的必由之路，在不斷發(fā)展演進的路上，浪潮的市場開拓能力與自身研發(fā)能力就顯得尤為重要了。從集中存儲到分布式存儲，這是企業(yè)存儲領(lǐng)域幾十年來的大事件，對原有存儲既是補充又是挑戰(zhàn)，而這個過程中勢必產(chǎn)生出一批新的存儲力量，浪潮在分布式存儲領(lǐng)域產(chǎn)品和市場表現(xiàn)值得期待。

zhupb