隨著數(shù)據(jù)發(fā)展,數(shù)據(jù)基礎(chǔ)設(shè)施的發(fā)展矛盾日益凸顯。首先,實(shí)時(shí)計(jì)算。我們看未來有10μs級(jí)的要求,不只是經(jīng)常說的毫秒級(jí),而且微秒級(jí)不僅在傳統(tǒng)存儲(chǔ)里面,應(yīng)該是放在數(shù)據(jù)中心角度來看存儲(chǔ)。
第二是數(shù)據(jù)膨脹,隨著數(shù)據(jù)遷移次數(shù)增加,加上多副本安全考量,數(shù)據(jù)膨脹將成為5G使用的瓶頸。
第三是面向云化的建設(shè),如何實(shí)現(xiàn)數(shù)據(jù)中心云化,如何融合外部云和本地IT設(shè)施?
第四則是企業(yè)數(shù)據(jù)中心需要平滑的自我演進(jìn)方式,以避免短時(shí)間內(nèi)的不斷迭代。
重定義內(nèi)存和存儲(chǔ)邊界助力實(shí)時(shí)計(jì)算
實(shí)時(shí)計(jì)算。未來有很多實(shí)時(shí)計(jì)算,更高性能的要求,不僅是內(nèi)存發(fā)展可能跟不上,后端還需要大量的技術(shù)。其中IO瓶頸(實(shí)現(xiàn)高性能)是其中一個(gè),原來HPC可能就是計(jì)算問題,但現(xiàn)在發(fā)現(xiàn)很多業(yè)務(wù)的生產(chǎn),必須是計(jì)算密度加上存儲(chǔ)厚度,很多企業(yè)也表示如果數(shù)據(jù)存儲(chǔ)IO不夠,算力建多少都沒有用。并且需要高速的實(shí)時(shí)的數(shù)據(jù),必須提供內(nèi)存級(jí)的能力。
另外在生產(chǎn)交易的環(huán)節(jié),我們現(xiàn)在做智能風(fēng)控,是要把海量傳統(tǒng)交易事務(wù)加在一起,碰撞才能進(jìn)行使用,所有這些內(nèi)容都需要重新定義內(nèi)存和存儲(chǔ)的邊界,未來存儲(chǔ)必須是一個(gè)數(shù)據(jù)中心,一個(gè)企業(yè)全部數(shù)據(jù)統(tǒng)一的認(rèn)證,實(shí)現(xiàn)大規(guī)模、高性能、高可靠和易用,這是變化挑戰(zhàn)的一個(gè)方向。
在這一方向上,需要我們在軟硬件上面同時(shí)優(yōu)化和調(diào)整,從上層的軟件到底層的硬件都能感知數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行優(yōu)化。因此無論是盤還是控制器,華為都設(shè)置了端到端的硬件和軟件進(jìn)行實(shí)時(shí)優(yōu)化,保證不僅能夠提供高性能,而且不管任何一種數(shù)據(jù)模型的情況下,都可以提供穩(wěn)定的帶寬,這是我們認(rèn)為未來在高性能領(lǐng)域,必須從底層到高層,硬件到軟件,從介質(zhì)到架構(gòu)統(tǒng)一的創(chuàng)新方向。
當(dāng)數(shù)據(jù)成為企業(yè)未來關(guān)鍵生產(chǎn)要素時(shí),業(yè)務(wù)可靠性至關(guān)重要,存儲(chǔ)技術(shù)作為一個(gè)傳統(tǒng)的高可靠要求的產(chǎn)品,必須能夠提供穩(wěn)定的作用。首先,盤不能掉,其次,到設(shè)備級(jí)。所有的盤是做冗余,內(nèi)部做統(tǒng)一控制,讓任何一個(gè)盤失效都不會(huì)影響生產(chǎn)業(yè)務(wù),不僅做了盤,還做了框,哪怕有一個(gè)框里面所有的盤失效了,還是可以保證運(yùn)營,然后就是全互聯(lián)架構(gòu),華為做了很多網(wǎng)絡(luò)級(jí)互聯(lián)互通,使得我們盤框八個(gè)控制器七個(gè)壞掉都可以運(yùn)轉(zhuǎn),而且免網(wǎng)關(guān)雙活。
打破存儲(chǔ)孤島構(gòu)建統(tǒng)一的數(shù)據(jù)存儲(chǔ)底座
我們必須把企業(yè)所有的數(shù)據(jù)——各種各樣的實(shí)時(shí)數(shù)據(jù),熱數(shù)據(jù)和大數(shù)據(jù)等進(jìn)行統(tǒng)一管理,但這些數(shù)據(jù)需要不同的介質(zhì)盤來搞定,難道我們要做不同的產(chǎn)品嗎?不應(yīng)該這樣,我們在企業(yè)的數(shù)據(jù)中心,甚至在跨界多云應(yīng)該構(gòu)建一個(gè)統(tǒng)一的存儲(chǔ)資源池,可以用軟件架構(gòu)和統(tǒng)一架構(gòu)的方式屏蔽任何的介質(zhì)差異不同,使得它不管是面向隨機(jī)的閃存還是面向硬盤,都能提供最合適的業(yè)務(wù),我們就需要把所有的存儲(chǔ)變成原子級(jí)的能力,能夠給客戶一個(gè)統(tǒng)一的數(shù)據(jù)的,可以把底層所有的硬件用一套OS架構(gòu)進(jìn)行封裝。
當(dāng)我們組建了統(tǒng)一的資源池以后,屏蔽差異化的介質(zhì),資源化管理,使得所有存儲(chǔ)能力放在同一個(gè)池子里分配,按照原來的方式,只能是提供40%的資源利用率,未來這樣的方式能夠讓你用70%的方式,還是能夠給你提供一個(gè)很好的存儲(chǔ),還能避免副本膨脹。
比如目前我們在自動(dòng)駕駛的開發(fā)過程,需要車輛行駛數(shù)據(jù),再拷貝到高性能計(jì)算里來開發(fā),未來我們用這一套數(shù)據(jù),實(shí)際存儲(chǔ)時(shí)可以及時(shí)對(duì)接到高性能計(jì)算的計(jì)算資源。不需要數(shù)據(jù)再在企業(yè)數(shù)據(jù)中心內(nèi)反復(fù)全量拷貝,而是通過一套存儲(chǔ)管理引擎DME進(jìn)行統(tǒng)一管理,避免統(tǒng)一數(shù)據(jù)副本流動(dòng),使得熱冷溫?cái)?shù)據(jù)按需調(diào)配。
統(tǒng)一數(shù)據(jù)管理要做到Storage for AI,我們更需要做到AI for storage,這是我們在云端的訓(xùn)練,使得企業(yè)未來使用AI的方式做好精準(zhǔn)的規(guī)劃,全局業(yè)務(wù)發(fā)放,智能運(yùn)維和敏捷業(yè)務(wù)配置。目前,我們已經(jīng)能夠做到規(guī)劃用一周的時(shí)間調(diào)研,大約五分鐘做好全局資源發(fā)放,對(duì)比人山會(huì)海三小時(shí)的優(yōu)化,五分鐘就可以實(shí)現(xiàn)智能調(diào)優(yōu),包括未來故障預(yù)測可能提前幾個(gè)月,資源預(yù)發(fā)放擴(kuò)容提前一年就可以,這是AI for storage,是設(shè)備到數(shù)據(jù)中心的變化,數(shù)據(jù)中心未來還有一個(gè)趨勢,需要更加走向云化,讓企業(yè)更好的走向云的時(shí)代,敏捷的業(yè)務(wù)開發(fā)。
ALL IP 推進(jìn)數(shù)據(jù)中心網(wǎng)絡(luò)云化變革
我們認(rèn)為數(shù)據(jù)中心目前還有一件事沒有做好,就是存儲(chǔ)的IP化,目前華為的存儲(chǔ),不管是高可靠的存儲(chǔ),還是海量的存儲(chǔ),都已經(jīng)在我們自己的NVMe-oF基礎(chǔ)上得到數(shù)據(jù)的驗(yàn)證,它的性能也更好,而且這樣的網(wǎng)絡(luò)能夠大大的使得存儲(chǔ)走向成熟,這樣的網(wǎng)絡(luò)瓶頸能從毫秒級(jí)走向微秒級(jí)的能力,這是我們希望未來幾年走向全I(xiàn)P。
數(shù)據(jù)管理還需要適配容器。不僅如此,未來企業(yè)由于數(shù)據(jù)資產(chǎn)、安全等問題,不可避免很多業(yè)務(wù)會(huì)分割存儲(chǔ),造成云時(shí)代的新silos(豎井),必須把數(shù)據(jù)變成云能夠識(shí)別的原子級(jí)能力結(jié)合到里面去,未來存儲(chǔ)應(yīng)該是一套的,但要連接到多云,打破新的silo形態(tài)。
構(gòu)建平滑演進(jìn)能力,打造有生命力的存儲(chǔ)底座,徹底解決搬遷難題
所謂的新時(shí)代打造新數(shù)據(jù)中心,以閃存為主力核心的方式打造未來存儲(chǔ),但是未來的存儲(chǔ)可能不再是以介質(zhì)來定義,更多的可能需要靠網(wǎng)絡(luò)和架構(gòu),尤其是架構(gòu)這一生態(tài)定義,因?yàn)榇鎯?chǔ)不再是以前單獨(dú)的封閉系統(tǒng),必須考慮到面向云業(yè)務(wù)和上層業(yè)務(wù)的變化,以此來適應(yīng)新數(shù)據(jù)中心的變化,那數(shù)據(jù)變化,必須有一套架構(gòu)同時(shí)滿足高性能、高可靠,統(tǒng)一高效的存儲(chǔ)管理,面向多云的服務(wù)化連接和介入,具有平滑演進(jìn)的能力。華為也會(huì)持續(xù)向著這些方面研究,與合作伙伴攜手為更多企業(yè)的數(shù)字化轉(zhuǎn)型提供更好的前進(jìn)方向。
2020中國數(shù)據(jù)與存儲(chǔ)峰會(huì)
2020年11月18日,在北京召開的”2020中國數(shù)據(jù)與存儲(chǔ)峰會(huì)”在北京舉行,吸引了線上線下數(shù)千名行業(yè)內(nèi)人士的共同關(guān)注。
本次峰會(huì)為期兩天,由百易傳媒(DOIT)主辦,以”新數(shù)智·新未來”為主題,特邀中國工程院鄭緯民院士以及中國電子學(xué)會(huì)、中國計(jì)算機(jī)學(xué)會(huì)存儲(chǔ)專委會(huì)、SNIA等單位的嘉賓,與西部數(shù)據(jù)、英特爾、浪潮、IBM、華為、戴爾科技集團(tuán)、新華三、深信服、紫晶存儲(chǔ)、青云QingStor、威固、Memblaze等領(lǐng)先供應(yīng)商以及北京建工、平安科技、紅星酒業(yè)等典型企業(yè)用戶代表,探討新數(shù)據(jù)時(shí)代存儲(chǔ)技術(shù)發(fā)展趨勢,分享數(shù)字化轉(zhuǎn)型成果,共話智慧存儲(chǔ)未來。