圖:浪潮分布式存儲(chǔ)產(chǎn)品總監(jiān)趙帥

趙帥:各位好,尊敬的各位來賓大家下午好!很高興有這樣一個(gè)機(jī)會(huì)和大家聚在一起探討分布式存儲(chǔ)的話題。開場之前我走了一下其他的分論壇,發(fā)現(xiàn)我們這個(gè)論壇的人群是最多的,后邊還加了很多座位,我個(gè)人認(rèn)為這是一個(gè)好現(xiàn)象,平時(shí)客戶和廠商,雖然會(huì)討論很多熱門話題與概念,相對來說我們更關(guān)心的是一些底層的基礎(chǔ)設(shè)施的產(chǎn)品和方案。

新數(shù)據(jù)時(shí)代,新挑戰(zhàn)

在整個(gè)大的社會(huì)環(huán)境下,當(dāng)前各行各業(yè)都在推進(jìn)著數(shù)字化轉(zhuǎn)型,在數(shù)字化轉(zhuǎn)型的過程當(dāng)中,無論是客戶也好還是廠商,會(huì)遇到一系列的問題,比如精細(xì)化的問題,我們在追求數(shù)據(jù)的時(shí)候,越來越多的去追求數(shù)據(jù)的在空間和時(shí)間上的精細(xì)化,這對于業(yè)務(wù)訪問層面,對后端存儲(chǔ)層面都提出來不小的壓力;再有即時(shí)性問題,一些實(shí)時(shí)交易需要很低的延遲;有整合化問題,我相信在座各位客戶的機(jī)房當(dāng)中一定有各種各樣的業(yè)務(wù),有不同廠商的設(shè)備,之間如何統(tǒng)一管理,業(yè)務(wù)和業(yè)務(wù)之間能不能打通,數(shù)據(jù)能否自由流動(dòng)?這是整合化帶來的問題;再有就是不確定性,有一些熱點(diǎn)話題,一旦觸發(fā)對最終用戶來說產(chǎn)生一個(gè)無法預(yù)測式的訪問, IT系統(tǒng)能不能承接突發(fā)大流量訪問,這是不確定性帶來的挑戰(zhàn)。

新數(shù)據(jù)時(shí)代下,挑戰(zhàn)和機(jī)會(huì)是并存的,IDC最新預(yù)測2025中國會(huì)成為全球最大的數(shù)據(jù)圈,未來我們還是要更多關(guān)心數(shù)據(jù)的存儲(chǔ)與管理相關(guān)的話題。

一起看一下浪潮分布式存儲(chǔ)。

超大規(guī)模數(shù)據(jù)中心級(jí)分布式存儲(chǔ)平臺(tái)AS13000G5

在分布式存儲(chǔ)領(lǐng)域,浪潮提出了“分布式存儲(chǔ)平臺(tái)”概念,為什么叫平臺(tái),是說我們希望通過平臺(tái)來解決用戶的很多的問題,甚至說未來我們目標(biāo)是為了解決整個(gè)數(shù)據(jù)中心的問題。

我們分布式存儲(chǔ)平臺(tái)是在今年三月份發(fā)布的,有一個(gè)概念5+X,分為兩個(gè)層面,一個(gè)硬件5+X,一個(gè)軟件的5+X。硬件的5+X,基于浪潮強(qiáng)大的服務(wù)器產(chǎn)品線,支持五種不同類型的硬件服務(wù)器,包括機(jī)架式、機(jī)柜式、多節(jié)點(diǎn)異構(gòu)式種種類型服務(wù)器和分布式存儲(chǔ)軟件進(jìn)行適配,每種服務(wù)器配置非常靈活,根據(jù)業(yè)務(wù)需求業(yè)務(wù)特點(diǎn)配置不同的CPU,IO卡以及GPU卡,這是硬件層面的5+X。

為什么這么注重硬件?我們相信,做一款產(chǎn)品的時(shí)候,無論任何領(lǐng)域的產(chǎn)品都有一句話,硬件是基礎(chǔ)、軟件是靈魂。在業(yè)內(nèi)我們和其他公司有硬件級(jí)的合作,大家也都聽說過。

浪潮分布式存儲(chǔ)軟件,在AS13000G5前身2013年上市的時(shí)候,提出了多合一的概念,在一套存儲(chǔ)系統(tǒng)中可以同時(shí)對外提供三種不同的服務(wù),后來從三合一轉(zhuǎn)化為了四合一,有了大數(shù)據(jù)的對接,可以更好的替代HDFS。AS13000G5發(fā)布的時(shí)候追加了數(shù)據(jù)庫訪問協(xié)議,做了一個(gè)領(lǐng)先的預(yù)測,認(rèn)為很多超大規(guī)模的數(shù)據(jù)庫,因?yàn)閿?shù)據(jù)量特別大,對于系統(tǒng)的訪問延遲要求并不是很高,這些數(shù)據(jù)庫可以很好落到分布式存儲(chǔ)上。

我們軟件層面有五種業(yè)務(wù),在業(yè)界與第三方公司,如做文件云做加密的,做流直存的等做了深度集成,在AS13000容器和虛擬化技術(shù)分離出來一部分資源,把第三方軟件打包在AS13000統(tǒng)一給用戶,除了采購AS13000不用采購其他設(shè)備,大大減少用戶整個(gè)TCO,為用戶節(jié)省了成本。

經(jīng)過多年的發(fā)展,我們對該產(chǎn)品在分布式存儲(chǔ)所應(yīng)對的場景中進(jìn)行了分類,八大場景,包括平安城市、高性能計(jì)算、云、大數(shù)據(jù)、AI、廣電媒資、電子影像和傳統(tǒng)應(yīng)用。平安城市交通卡口的圖片這種業(yè)務(wù)下我們會(huì)給最終用戶提供一個(gè)存儲(chǔ)平臺(tái)。在廣電媒資領(lǐng)域,我們和廣電有深厚的合作。在電子影像這一塊有幾個(gè)小的分支,如大家平時(shí)接觸金融雙錄系統(tǒng),錄音錄像最終落到分布式存儲(chǔ)里面,因?yàn)閿?shù)據(jù)文件的數(shù)量非常大,再有醫(yī)院的判別系統(tǒng)。其他的像云計(jì)算大數(shù)據(jù)和人工智能,炒的比較熱,而且分布式存儲(chǔ)一直以來有一個(gè)概念為云而生的存儲(chǔ),可以很好的對接云下邊的各種協(xié)議的接口。

數(shù)據(jù)中心級(jí)分布式存儲(chǔ)平臺(tái)AS13000G5

這個(gè)是我們現(xiàn)在AS13000G5最新版本的情況。

展開說一下浪潮硬件產(chǎn)品目前的一些特點(diǎn)。昨天我們也借著本次峰會(huì)發(fā)布了幾個(gè)型號(hào)的硬件,這里給大家分享一些干貨。

1)靈活多樣的硬件節(jié)點(diǎn)

第一個(gè)型號(hào)是4U60高密度H系列,特點(diǎn)之一是空間相對來說比較短,可以放在一米深的機(jī)柜里,適配現(xiàn)在市面上99%的機(jī)柜,可以裝到任何數(shù)據(jù)中心里。之所以打造這個(gè)型號(hào),是互聯(lián)網(wǎng)廠商提出的硬件需求,因?yàn)槔顺币恢币詠懋a(chǎn)品是以用戶的業(yè)務(wù)為導(dǎo)向進(jìn)行研發(fā)設(shè)計(jì)。

第二個(gè)系列是高彈性X系列,可以做到4U72盤位,這樣的密度下配合14TB大容量硬盤,可以做到一個(gè)節(jié)點(diǎn)可以達(dá)到一個(gè)PB的空間。這個(gè)是一個(gè)高密的機(jī)型,還支持非常靈活的配置,可以把一個(gè)4U的節(jié)點(diǎn)內(nèi)部變成兩個(gè)小的36的節(jié)點(diǎn),也可以變成四個(gè)小的節(jié)點(diǎn)和八個(gè)小的節(jié)點(diǎn)。當(dāng)我們把這個(gè)設(shè)備交付給客戶的時(shí)候,一個(gè)節(jié)點(diǎn)就是一套分布式存儲(chǔ),這個(gè)是我們一體機(jī)相關(guān)的解決方案。

第三,高性能P系列。大家可能聽過浪潮集團(tuán)旗下浪潮商用公司,里面有在具體一點(diǎn)是POWER架構(gòu)的服務(wù)器。我們也可以把分布式存儲(chǔ)軟件和POWER結(jié)合到一起,高主頻高線速,單節(jié)點(diǎn)IOPS性能加強(qiáng)。這是經(jīng)過客戶的對比節(jié)點(diǎn)的情況。

2)分布式存儲(chǔ),極致容量與性能

接下來說一說分布式存儲(chǔ)的特點(diǎn)。

大家都知道分布式存儲(chǔ)用戶在采購的時(shí)候,提到一個(gè)空間利用率的問題,有一個(gè)安全水位的概念,安全水位不是我們提1024的轉(zhuǎn)換,也不是說糾刪碼和副本開銷之后剩余多少,所有軟硬件之后,系統(tǒng)格式化映射目錄的時(shí)候,到底能不能把目錄存滿,所有的廠商都沒有辦法把目錄存滿,這里面涉及到分布式存儲(chǔ)底層架構(gòu)的問題,要做節(jié)點(diǎn)和節(jié)點(diǎn)之間數(shù)據(jù)流動(dòng)和IO的均衡,所以說各個(gè)廠商推薦的安全水位都不太一樣。

AS13000G5把之前90%的安全水位通過多機(jī)制和哈希計(jì)算系數(shù)提高到95%空間利用率,增長5%的點(diǎn)給用戶帶來的效益,用戶一次系統(tǒng)采購當(dāng)中可以少買幾個(gè)節(jié)點(diǎn),少買幾十塊硬盤,是一個(gè)比較有經(jīng)濟(jì)效的優(yōu)點(diǎn),除此之外我們還有千億級(jí)文件的支持,很多客戶項(xiàng)目當(dāng)中,很多時(shí)候客戶一天落到系統(tǒng)中需要落一億個(gè)文件,文件保存周期雖然不長,但是進(jìn)行了半個(gè)月或者是說一個(gè)月保存中需要分布式存儲(chǔ)支持千億級(jí)文件。浪潮經(jīng)過了國家級(jí)第三方測試機(jī)構(gòu)的驗(yàn)證,支持千億級(jí)的文件。

分布式存儲(chǔ)更多的是去對接前端的云和前端的虛擬化,最近一兩年做了一件事和云進(jìn)行了全面的對接,取得了Openstack和VMmare的支持,不需要擔(dān)心系統(tǒng)的兼容性的問題。還有一點(diǎn)特別靈活,AS13000G5支持第二次開發(fā),浪潮存儲(chǔ)給用戶開放一些源代碼,和用戶一起適配調(diào)試優(yōu)化,在很多高性能場景當(dāng)中取得了非常好的效果,在不經(jīng)過優(yōu)化的情況下,一個(gè)存儲(chǔ)的節(jié)點(diǎn)可以跑出1.5到1.8的性能,優(yōu)化之后單節(jié)點(diǎn)可以跑出2.5 G的性能。除此之外,上一代的AS13000產(chǎn)品,分布式存儲(chǔ)的規(guī)模一個(gè)集群就是5120個(gè)節(jié)點(diǎn),這一代也沒有變;變化的是說每個(gè)節(jié)點(diǎn)最大容量變了,現(xiàn)在支持EB級(jí)的容量。

我們發(fā)現(xiàn),有很多客戶初始化配置的時(shí)候都是五個(gè)PB或者十個(gè)PB數(shù)據(jù)量起,確實(shí)是說我們遇到了數(shù)據(jù)爆炸式增長的問題,相信未來我們會(huì)越來越多用分布式存儲(chǔ)整合數(shù)據(jù)中心當(dāng)中各種各樣不同的數(shù)據(jù),整合我們數(shù)據(jù)中心當(dāng)中各種各樣的傳統(tǒng)應(yīng)用以及智能應(yīng)用。

3)協(xié)議自由轉(zhuǎn)換,輕松上云

接下來我們重點(diǎn)看一些有特色的亮點(diǎn)。前面提到了我們有一個(gè)概念叫多合一還有5+X,現(xiàn)在友商也都在做。就是說,無論大家去做多個(gè)系統(tǒng)的統(tǒng)一管理還是說做一個(gè)單一系統(tǒng)的多種服務(wù),這里邊會(huì)有一個(gè)繞不開的話題,就是協(xié)議的自由轉(zhuǎn)化,我現(xiàn)在接觸到了前端有一些客戶,他反饋的一個(gè)要求就是在本次采購,這一次IT系統(tǒng)建設(shè)的時(shí)候,不知道應(yīng)該采購什么樣的分布式存儲(chǔ),不知道買分布式文件還是買分布式對象,未來有可能上云,上云可能會(huì)對接S3,現(xiàn)在有可能業(yè)務(wù)偏向于文件。因?yàn)槲覀冎С钟幸环N技術(shù)叫多元零拷貝的技術(shù),這種技術(shù)直白翻譯過來相當(dāng)于支持協(xié)議的自由轉(zhuǎn)換。怎么說呢?就是說用戶在最開始部署的時(shí)候可以部署分布式文件,可以存了很多數(shù)個(gè)TB的文件級(jí)的數(shù)據(jù)落到存儲(chǔ)上,后來有一天不想遷移修改,想把數(shù)據(jù)轉(zhuǎn)變成對象的數(shù)據(jù),對外提供對象的服務(wù),我們可以不需要經(jīng)過任何的其他的產(chǎn)品的幫助,不需要經(jīng)過底層的數(shù)據(jù)遷移拷貝鏡像,把這個(gè)數(shù)據(jù)從文件數(shù)據(jù)轉(zhuǎn)化為對象數(shù)據(jù)。

為什么支持這樣做,我們多合一最開始設(shè)計(jì)的時(shí)候,就是協(xié)議的自由轉(zhuǎn)換來支持的多合一。這個(gè)設(shè)計(jì)的思路從2013年發(fā)布AS13000就沒有變過,六年的時(shí)間我們軟件棧在原有設(shè)計(jì)思路上沒有轉(zhuǎn)換,沒有切換過軟件棧。

4)滿足不同業(yè)務(wù)需求的多中心容災(zāi)

很多用戶完成了一個(gè)數(shù)據(jù)中心的生命周期管理的時(shí)候,往往考慮下一步在異地建第二個(gè)數(shù)據(jù)中心,可能會(huì)有一個(gè)三到五年的規(guī)劃,涉及到了雙活數(shù)據(jù)中心以及兩地三中心,在很多金融行業(yè)都有實(shí)際落地。大家平時(shí)關(guān)注IDC分析報(bào)告,分布式存儲(chǔ)圈子里面,文件、塊和對象三種數(shù)據(jù)服務(wù)發(fā)展最快是對象,未來增長率最高是對象。浪潮存儲(chǔ)支持了對象的多數(shù)據(jù)中心的容災(zāi),多數(shù)據(jù)中心容災(zāi)體驗(yàn)就和傳統(tǒng)的集中式的存儲(chǔ)是一樣的,比如說基于存儲(chǔ)做雙活,基于存儲(chǔ)做兩地三中心,采用的技術(shù)架構(gòu)也差不多,這里邊有一點(diǎn)就是第三條,支持智能WAN加速。

智能WAN加速是什么樣技術(shù)?在多數(shù)據(jù)中心之間采用異步數(shù)據(jù)復(fù)制,可以降低30%到50%鏈路帶寬。在容災(zāi)解決方案的建設(shè)過程當(dāng)中,有一半左右的預(yù)算被鏈路開銷掉了,對用戶來說也是非常大的一筆節(jié)省,是智能WAN加速帶來的體驗(yàn)。分布式存儲(chǔ)在未來可以幫助越來越多的客戶去構(gòu)建容災(zāi)的系統(tǒng)。

從2019年上半年到現(xiàn)在下半年這么一年時(shí)間,在互聯(lián)網(wǎng)以及金融領(lǐng)域,越來越多的客戶在考慮用對象存儲(chǔ)去做雙活去做兩地三中心。

5)智能運(yùn)維AIOps

分布式存儲(chǔ)有一個(gè)概念是要存取海量數(shù)據(jù),所以要求分布式存儲(chǔ)要能夠不斷的去擴(kuò)展自己的規(guī)模。隨著時(shí)間的推移,我們會(huì)發(fā)現(xiàn)分布式存儲(chǔ)可能節(jié)點(diǎn)數(shù)量會(huì)達(dá)到一百多個(gè)節(jié)點(diǎn),會(huì)有好幾千塊硬盤需要用戶不停的去管理去更換去運(yùn)維。有沒有一個(gè)非常智能的一套軟件能夠幫助用戶的運(yùn)維人員減輕管理和運(yùn)維的壓力?是有的。浪潮有一款叫InView智能管理軟件可以管理浪潮全系列的存儲(chǔ),包括集中式的混閃全閃以及分布式存儲(chǔ),這款軟件部署之后,對環(huán)境內(nèi)部所有的分布式存儲(chǔ)節(jié)點(diǎn)進(jìn)行智能化存儲(chǔ),用戶調(diào)節(jié)所有節(jié)點(diǎn)配置的時(shí)候,只需要在同一管理界面進(jìn)行簡單兩到三步操作就可以批量化配置。像故障監(jiān)控包括性能預(yù)測,各個(gè)廠商也都提到了。

這里邊說一個(gè)重點(diǎn)是深度優(yōu)化的功能,硬盤的故障預(yù)測,我們過去三年里面從廠商收集了五十萬塊硬盤的日志,拿回到數(shù)據(jù)中心實(shí)驗(yàn)的環(huán)境下通過機(jī)器學(xué)習(xí)和AI分析之后,發(fā)現(xiàn)市場上常見的硬盤故障可以被預(yù)測的,比如說希捷,英特爾的,故障預(yù)測準(zhǔn)確率達(dá)到了兩周時(shí)間周期內(nèi)85%的精度。也就是說在統(tǒng)一管理軟件界面下,可以給用戶提供硬盤故障率智能感知,分布式存儲(chǔ)上面三千塊硬盤,未來兩周之內(nèi)會(huì)壞的是幾塊硬盤。目前這套智能管理系統(tǒng),包括我們的硬盤故障預(yù)測這個(gè)功能是促銷的,在2019年以及2020年上半年都不會(huì)收費(fèi),跟隨著AS13000G5一起銷售。

浪潮分布式存儲(chǔ),國內(nèi)領(lǐng)先

大家都知道,分布式存儲(chǔ)用戶一旦采購了之后,就是在原有的分布式存儲(chǔ)上進(jìn)行不斷的擴(kuò)容。因?yàn)榉植际酱鎯?chǔ)這個(gè)容量增速比集中式存儲(chǔ)大的,里邊存的大多數(shù)存的非結(jié)構(gòu)化數(shù)據(jù),經(jīng)過后臺(tái)數(shù)據(jù)分析發(fā)現(xiàn),確實(shí)有比較不錯(cuò)的成績。重復(fù)購買率比較高,41%,也就是說每賣出去一百套,最終會(huì)有41個(gè)客戶會(huì)進(jìn)行重復(fù)的采購和擴(kuò)容。這個(gè)是我們現(xiàn)在取得的一個(gè)比較好的成績,前面提到了分布式存儲(chǔ)和云對接,大家都知道云無論是像公有云還是私有云這樣的分類,還是說你去按照政務(wù)云、企業(yè)云、通信云等等這樣分類,都可以用分布式存儲(chǔ)承載用戶前端各種應(yīng)用。

經(jīng)過多年的努力,浪潮的分布式存儲(chǔ)全國范圍內(nèi)實(shí)際云相關(guān)的項(xiàng)目落地也有很多,包括北京城市副中心,濟(jì)南市的政務(wù)云、山東省的政務(wù)云,廣西的政務(wù)云,內(nèi)蒙的政務(wù)云相關(guān)的規(guī)劃以及項(xiàng)目的最終落地,都和我們分布式存儲(chǔ)有很大的關(guān)系。

昨天論壇中我們也提到了,國內(nèi)的某個(gè)率先進(jìn)行了IT架構(gòu)轉(zhuǎn)型的大規(guī)模運(yùn)營商,他認(rèn)為業(yè)務(wù)和數(shù)據(jù)是應(yīng)該部署在分布式存儲(chǔ)上的,所以在2017年開始,一直到現(xiàn)在2019年,三年左右的時(shí)間總共發(fā)布了三次集采的招標(biāo)的入圍這種活動(dòng)。經(jīng)過了幾十項(xiàng)深度的測試,浪潮和友商一起參加三次的集采,浪潮三次全部入圍,從側(cè)面也證明了我們產(chǎn)品性能以及穩(wěn)定性可以達(dá)到用戶比較高的一個(gè)要求。

后面再介紹幾個(gè)典型的案例。

個(gè)案:助力智慧交通、廣電媒資、科學(xué)研究等行業(yè)數(shù)字化建設(shè)

在智能交通領(lǐng)域內(nèi),某個(gè)城市有一個(gè)三環(huán)路,有五六千個(gè)攝像頭,五六千個(gè)攝像頭對道路的狀況進(jìn)行管理包括主路和輔路,管理路上的車輛行人,以及相關(guān)的違章種種相關(guān)的事故,每一天五六千攝像頭產(chǎn)生一億文件,90TB視頻,一億文件會(huì)帶來四億次文件的檢索,都是對后端檢索提出的性能。多輪測試當(dāng)中,浪潮分布式存儲(chǔ)最終給用戶提供108個(gè)節(jié)點(diǎn),很好承載了用戶的需求;系統(tǒng)上線之后,人工的行為糾察提高了80%,包括一些關(guān)鍵的交通運(yùn)管系統(tǒng),都得到了很大的提升。

在今年,浪潮和清華大學(xué)配合做腦科學(xué)研究的案例,清華大學(xué)為了研究小白鼠大腦,搭建了28臺(tái)高速相機(jī),每秒鐘拍攝三十張高清圖片,每張圖片是1200萬象素24MB,要求20GB恒定帶寬,每次作業(yè)需要24小時(shí)不間斷出圖,對系統(tǒng)的性能以及穩(wěn)定性都有很大的挑戰(zhàn)。我們最終給清華大學(xué)第一階段做了50個(gè)節(jié)點(diǎn),整個(gè)分布式存儲(chǔ)給上層提供了45GB的帶寬,很好完成了高性能的項(xiàng)目。

分享在廣電媒資領(lǐng)域,浪潮存儲(chǔ)和廣電國網(wǎng)合作的案例??蛻舫薆OSS系統(tǒng)以外,其他所有的應(yīng)用都部署到了AS13000上,包括非編類業(yè)務(wù),我們創(chuàng)造了三種不同容量層,有大容量硬盤層以及SSD硬盤層,承接不同的應(yīng)用,而且這個(gè)用戶有三個(gè)數(shù)據(jù)中心,需要配合遠(yuǎn)程數(shù)據(jù)復(fù)制的功能搭建兩地三中心,這樣的情況下浪潮給客戶提供140多個(gè)節(jié)點(diǎn)分布式存儲(chǔ)集群,完成了項(xiàng)目部署。用戶業(yè)務(wù)上線之后最終反饋的結(jié)果,IT的這種架構(gòu)轉(zhuǎn)化比較成功的,完成了一次架構(gòu)的轉(zhuǎn)換。

以上的這些就是我想給大家分享的內(nèi)容。

希望大家能夠過多關(guān)注一下浪潮分布式存儲(chǔ),因?yàn)槊恳荒晡覀兊能浖陀布加蟹浅4蟮淖兓?,也希望我們的變化能夠給在座的各位帶來數(shù)據(jù)中心的建設(shè)的一個(gè)幫助。希望能夠幫助大家去很好的完成未來的一個(gè)IT的數(shù)字化轉(zhuǎn)型。

謝謝大家!

編后:本次2019中國數(shù)據(jù)與存儲(chǔ)峰會(huì)(DATA & STORAGE SUMMIT)為期兩天,包含主論壇、CIO高峰對話,以及大數(shù)據(jù)、閃存系統(tǒng)、分布式存儲(chǔ)、第二存儲(chǔ)與容災(zāi)備份、超融合與云存儲(chǔ)、人工智能、數(shù)據(jù)創(chuàng)新與安全可控、容器創(chuàng)新與應(yīng)用、SCM第五代存儲(chǔ)與閃存控制器等十大主題論壇,超過100場的專業(yè)知識(shí)分享。初步統(tǒng)計(jì),本屆峰會(huì)吸引了來自政、企、產(chǎn)、學(xué)、研、媒體等各方參會(huì)者約2000人,在線直播觀看觀眾再創(chuàng)新高,超過10萬余人次。 

分享到

xiesc

相關(guān)推薦