英特爾中國區(qū)非易失性存儲事業(yè)部總經(jīng)理劉鋼應(yīng)邀出席首日主論壇,并發(fā)表《異構(gòu)存儲,完美互補(bǔ)》的主題演講。
以下內(nèi)容根據(jù)現(xiàn)場速記整理(未經(jīng)演講人確認(rèn))。
大家上午好!非常榮幸有機(jī)會能夠跟大家介紹英特爾在存儲領(lǐng)域的項目。在全閃領(lǐng)域我們發(fā)現(xiàn)有新的應(yīng)用、新的業(yè)務(wù),可以看到凡是新的應(yīng)用對存儲的要求不僅僅是量,還有性能。最近比較熱門的詞是5G和AI,也為計算和存儲帶來了更多的挑戰(zhàn)。
為了滿足這些新業(yè)務(wù)對存儲提出的挑戰(zhàn),什么樣的存儲能更好的滿足這個需求呢?其實答案不是某一種存儲介質(zhì),而是針對不同應(yīng)用場景要優(yōu)化異構(gòu)存儲的架構(gòu)。大家可以看到傳統(tǒng)存儲架構(gòu)最上面是DRAM,最下面是HDD。經(jīng)過演變在DRAM和硬盤之間又增加了一層SSD,這個時候當(dāng)大量的存儲進(jìn)入到SSD之后,在SSD和DRAM之間還有非常大的差距。
這個差距一方面是容量,還有一個是時延,這方面的差距不是說百分之多少或者幾倍,是幾個數(shù)量級的差距。所以說在SSD和DRAM之間還需要存儲架構(gòu),這個在前面演講當(dāng)中或者在最新存儲文章當(dāng)中也聽到了SCM(存儲級內(nèi)存),大家最常聽到的是英特爾傲騰(Persistent Memory),最近大家可能也聽到更多廠商發(fā)布新的材料或者新產(chǎn)品來瞄準(zhǔn)SCM這一塊。
英特爾傲騰在用到SSD和內(nèi)存這兩個之間的時候,我們幫助用戶解決哪些問題呢?大家可以看到用戶面對很多難題,隨著多樣化應(yīng)用對內(nèi)存的需求越來越多,可能內(nèi)存太貴,不僅是貴,而且容量不夠,可能一兩個T滿足不了要求,要十幾個T才行。
另外,還有IO吞吐量瓶頸等等方面很多問題,而通過多種存儲介質(zhì)的異構(gòu)來做到優(yōu)勢互補(bǔ),既能夠節(jié)省成本,也能打破IO的瓶頸,還能夠做縱向容量擴(kuò)展。我們來看一下為什么傲騰這種新型存儲介質(zhì)和存儲設(shè)備能夠帶來這些改變?
現(xiàn)在非常多的應(yīng)用的最大挑戰(zhàn)是時延,5G解決了網(wǎng)絡(luò)時延,但對用戶來說整個體驗當(dāng)中只是減少了網(wǎng)絡(luò)時延,而不是減少存儲時延,整個用戶體驗沒有得到最終的改善。
存儲時延可以看出來,剛開始如果是機(jī)械時代最大的時延來自于介質(zhì),后來時延來自于控制器,當(dāng)你用SAS和SATA傳統(tǒng)控制器的時候,你發(fā)現(xiàn)時延在控制器上面,尤其是當(dāng)你采用傲騰這樣的介質(zhì)的時候,你會發(fā)現(xiàn)控制器就是最大時延的貢獻(xiàn)者,所以必須換新的控制器。
在采用傲騰的時候,分為兩種產(chǎn)品,一種是傲騰固態(tài)盤,采用PCIe的接口,還有一種傲騰,因為傲騰的材料都非???,以至于你必須用到更新的接口,所以還有一種傲騰是傲騰內(nèi)存,叫傲騰持久內(nèi)存,用的是DDR4的接口。如此可以看到接口的時延會進(jìn)一步降低,以及主要的存儲介質(zhì)在時延上的對比。
傲騰之所以能夠有如此的低時延,高效率有兩個原因,一個是材料本身就很快,還有傲騰是按字節(jié)尋址的,無論在做快速緩存的時候,還是做內(nèi)存擴(kuò)展的時候都能夠很好的發(fā)揮效力。
我提到傲騰有兩個系列產(chǎn)品,當(dāng)傲騰作為固態(tài)盤來應(yīng)用的時候,兩個非常重要的特點,第一個,傲騰在大量寫入工作負(fù)載時,它的讀取時延幾乎是不變的,傲騰的數(shù)據(jù)是幾乎不變的。另外,傲騰優(yōu)勢還有它的耐用性,至少提高20倍,這是我們承諾的,其實材料的耐用性遠(yuǎn)不止這樣,至少比我們講的非常好固態(tài)盤高出20倍。
這兩大特性讓傲騰在存儲緩存層或者快速存儲這塊有非常適合的應(yīng)用,待會兒會講到一些大的成功案例都是發(fā)揮了傲騰這兩大特點。而且當(dāng)傲騰用做快速緩存的時候不必是一對一的代替?zhèn)鹘y(tǒng)固態(tài)盤。原本用2T固態(tài)盤做緩存的,用傲騰只需用400、500G或者300多G,傲騰可以達(dá)到同樣的效果,反而降低了總成本。
除了傲騰固態(tài)盤以外,各位可能也聽說過我之前沒有特別講到的傲騰內(nèi)存,當(dāng)時成功案例還沒那么多,我們講一個新技術(shù)不僅講技術(shù),講產(chǎn)品的特點,同時還要看到有沒有成功的應(yīng)用。
今年上半年以來,我們看到傲騰在內(nèi)存領(lǐng)域有非常多的應(yīng)用,傲騰內(nèi)存是DDR4的接口,有兩種工作模式,一種軟件不用做任何改動,直接當(dāng)內(nèi)存使用,叫做內(nèi)存模式。還有一種是在應(yīng)用軟件上進(jìn)行優(yōu)化調(diào)優(yōu),以便發(fā)揮更好的性能,這個叫應(yīng)用直接訪問模式。而且因為傲騰也是非易失性介質(zhì),所以它的數(shù)據(jù)不是馬上消失的。當(dāng)你把它當(dāng)內(nèi)存使用的時候,內(nèi)存是一樣的。
如果我們把這三種結(jié)合起來,傲騰內(nèi)存兩種工作模式加上傲騰固態(tài)盤,將其應(yīng)用到不同的場景。剛才我們講到新興應(yīng)用導(dǎo)致其需要新型的存儲材料,把它放到這里可以看到在存儲中高亮綠色的部分是非常適合用傲騰固態(tài)盤,橘色部分就適用于傲騰內(nèi)存的內(nèi)存模式,黃色部分比較適用于傲騰內(nèi)存的應(yīng)用直接訪問模式,這個部分可以看到大致的對應(yīng)。
接下來在生態(tài)系統(tǒng)里,這不是英特爾獨立完成的,我們有非常多的生態(tài)合作伙伴,包括很多的軟件公司和互聯(lián)網(wǎng)公司,做軟件和系統(tǒng)的優(yōu)化。
下面再給各位分享一些具體應(yīng)用。其中一個應(yīng)用,剛才講到傲騰固態(tài)盤有好的耐用性,還有非常好的時延,將它用于分布式存儲里做緩存,你會發(fā)現(xiàn)性能有極大的提升,再往下在OST數(shù)據(jù)部分配以QLC的固態(tài)盤,這樣結(jié)合QLC固態(tài)盤容量和低成本加上傲騰的高性能、低時延是非常完美的互補(bǔ)組合,所以異構(gòu)存儲,完美互補(bǔ),既有了傲騰的高性能、低延遲,又有了QLC部分的低成本、大容量。
一個案例就是浪潮存儲產(chǎn)品線副總經(jīng)理孫斌,孫總有介紹,英特爾跟浪潮有合作。上次我們在軟件定義存儲峰會(深圳)演講的時候,這一頁是浪潮的總經(jīng)理在介紹的。這次我把這一頁找出來,可以看到在同等TCO情況下,當(dāng)你采用左邊傳統(tǒng)的全閃存固態(tài)盤的方法,右邊當(dāng)你采用傲騰+QLC這兩種方案的對比,可以看出來在同等價格型號下面采用傲騰+QLC的方案,容量更大,性能更好,而成本是一樣的。
另一個比較是當(dāng)你達(dá)到同樣的IOPS,在性能一樣情況下,異構(gòu)存儲還更便宜。當(dāng)你采用異構(gòu)存儲的時候其實是優(yōu)勢互補(bǔ),成本反而降低了,不要只看其中傲騰的價格。
其實阿里也是這方面的先行者,在分布式存儲方面,阿里在2017年就已經(jīng)發(fā)布了PolarDB也是軟件定義的分布式存儲,它用傲騰放到系統(tǒng)里來進(jìn)行優(yōu)化,整個系統(tǒng)性能提高了六倍。
除了阿里以外,百度云在它的ABC Storage云存儲部分,也是用到了傲騰+QLC固態(tài)盤,在存儲和性能上實現(xiàn)了突破。其實BAT都用了傲騰,現(xiàn)在來不急把它們用的案例講出來,我就講幾個比較有代表性的。
除了BAT以外,除了互聯(lián)網(wǎng)服務(wù)商以外,另外還有很多的互聯(lián)網(wǎng)服務(wù)商也在把傲騰用在它們的系統(tǒng)里面,做快速存儲或者是內(nèi)存擴(kuò)展。這個部分已經(jīng)進(jìn)入到了行業(yè),我們看到金融電信行業(yè)也在開始采用傲騰來實現(xiàn)異構(gòu)存儲,來提高系統(tǒng)性能和降低成本。
這是中國電信四川的ABM系統(tǒng),是一個連接事務(wù)處理,大家可以看到傲騰在里面的貢獻(xiàn)。
前面幾個案例講的是傲騰固態(tài)盤,傲騰作為DDR4接口的傲騰內(nèi)存也有很多的應(yīng)用,百度的Feed流服務(wù),根據(jù)用戶畫像進(jìn)行個性化服務(wù)推送。這個部分需要極強(qiáng)的在線數(shù)據(jù)庫實時處理功能,百度建立了一個完全基于內(nèi)存的在線數(shù)據(jù)庫原先叫Feed-Q。百度面對的是億級的用戶,當(dāng)你面對這么大客戶群的時候,你要建立個性化用戶畫像,用Feed流提供個性化服務(wù),對內(nèi)存的消耗是非常大的。而為了性能去擴(kuò)大內(nèi)存還是有新的方法,所以百度剛開始第一步采用內(nèi)部加上傲騰內(nèi)存來做優(yōu)化,后來是非常大一部分運行在傲騰內(nèi)存上面,可以看到性能提高非???,而且沒有引起成本增加,反而有了大概30%左右的成本降低。
還有人工智能的應(yīng)用,其中的一個是在人體生物特征的識別方面,包括語音。海鑫科金在指紋識別上面也是百萬級、千萬級的實時生物特征對比,這個時候它也是一個計算密集和內(nèi)存密集的應(yīng)用,這個時候也可以采用內(nèi)存和擴(kuò)大內(nèi)存,但成本會飆升,而采用傲騰的內(nèi)存去替換部分,這樣使得總體成本降低了29%。這還是沒有做軟件優(yōu)化,直接采用的傲騰內(nèi)存的內(nèi)存模式。
除了剛才我們講的這幾個例子以外,其實還有很多的應(yīng)用例子,包括現(xiàn)今短視頻發(fā)展迅猛,已經(jīng)超過了直播視頻的量級,且對后臺存儲數(shù)據(jù)挑戰(zhàn)非常大。例如快手需要一些新的應(yīng)用,去優(yōu)化對客戶的服務(wù),這對它的存儲挑戰(zhàn)也是非常大的,當(dāng)快手用了傲騰的內(nèi)存,做了一些應(yīng)用上的優(yōu)化,性能上得到很好的提升。
還有更多的成功案例包括第四范式,京東云,科大訊飛,青云,金山云等。我們希望看到更多這樣的例子,也希望跟各位一起合作能夠開發(fā)更多這方面異構(gòu)存儲應(yīng)用。
最后,新業(yè)務(wù)和新應(yīng)用帶來了數(shù)據(jù)分層的需求,數(shù)據(jù)分層需要異構(gòu)化存儲,沒有單一的存儲介質(zhì)能夠滿足所有數(shù)據(jù)分層的需要,因此數(shù)據(jù)分層需要異構(gòu)存儲。異構(gòu)存儲當(dāng)我們將傲騰介質(zhì)放到異構(gòu)存儲架構(gòu)里,在DRAM和SSD增加這么一層后會發(fā)現(xiàn),它很好的做到優(yōu)勢互補(bǔ),謝謝各位。