英特爾中國區(qū)非易失性存儲解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開發(fā)總監(jiān)倪錦峰

而在NAND存儲中,英特爾此前宣布的144層QLC NAND規(guī)劃也在緊鑼密鼓地進行中。作為目前市場上最高層的NAND技術(shù),144層QLC NAND的發(fā)布勢必將掀起閃存普及的又一波浪潮。所以NAND存儲對于英特爾NSG業(yè)務(wù)部門的重要程度也不言而喻。

從倪錦峰的介紹中了解到,2020年第一季度,突如其來的疫情面前,英特爾數(shù)據(jù)中心業(yè)務(wù)需求迎來暴增的趨勢,互聯(lián)網(wǎng)、云計算廠商對擴容都有較大需求,用戶對于TLC/QLC NAND以及傲騰+QLC的組合方案的需求明顯增多,倪錦峰認為,以創(chuàng)新閃存能力補充服務(wù)能力的做法比單純添加服務(wù)器的做法要更具優(yōu)勢。

當然,閃存的快只是一方面,另一方面,閃存的容量也越來越大,這種在性能和容量上不斷優(yōu)化的層級就是英特爾常說的“存儲金字塔”,這一貫穿整個IT架構(gòu)的體系已逐步成為解決多樣化存儲需求不變的參照系。

在2020年4月15日舉行的軟件定義存儲線上峰會上,倪錦峰詳細介紹了AI對數(shù)據(jù)基礎(chǔ)設(shè)施的挑戰(zhàn),也介紹了英特爾如何基于“存儲金字塔”解決AI存儲的問題。

AI帶來的數(shù)據(jù)存儲新挑戰(zhàn)!

事實上,AI作為一種新的數(shù)據(jù)處理技術(shù),它的數(shù)據(jù)管道(Data Pipeline)涵蓋采集、準備、訓練和推理四個階段,每個階段對于數(shù)據(jù)存儲的要求都不盡相同。

數(shù)據(jù)采集階段:數(shù)據(jù)從不同來源聚攏并存儲起來,數(shù)據(jù)的大小和格式存在各種差異,數(shù)據(jù)類型往往是文件或者對象形式的非結(jié)構(gòu)化數(shù)據(jù)。

采集過程的特點是首先要進行百分之百的順序?qū)懭?,從多個數(shù)據(jù)源進行數(shù)據(jù)的批處理或者流傳輸,如果存儲性能跟不上,數(shù)據(jù)就會被丟棄,所以,數(shù)據(jù)采集階段對存儲性能的要求非常高。采集完后,還要將收集來的數(shù)據(jù)重新放入更大的存儲池內(nèi),對讀性能也提出很高要求。

數(shù)據(jù)準備階段:由于數(shù)據(jù)大小和格式不一樣,為了便于訓練,必須改為統(tǒng)一格式,以便后續(xù)訓練階段使用。這一過程要對不同格式和尺寸的數(shù)據(jù)進行規(guī)范化處理,其快慢就取決于計算節(jié)點的內(nèi)存以及存儲的性能。在數(shù)據(jù)轉(zhuǎn)化過程中,其工作負載跟采集過程也很不一樣,包括順序讀寫、隨機讀寫,在最極端的情形下,甚至可能是50%:50%的讀寫混合。

訓練階段:AI訓練過程的工作負載非常密集,往往需要高性能的GPU或者加速器等來執(zhí)行一系列的數(shù)學函數(shù),對資源要求非常高,在做特定訓練時,AI訓練所需的時間更加取決于所部署的高性能內(nèi)存與高性能存儲的數(shù)量。

推理階段:推理過程是檢驗人工智能的重要階段,可以真正認識到人工智能的強大之處。推理基礎(chǔ)設(shè)施根據(jù)不同場景,所需配置的處理器、內(nèi)存、存儲都不盡相同。

從以上可以看出,AI對于存儲的需求是復雜多變的,英特爾的思路是希望更多數(shù)據(jù)能夠更加靠近處理器,建立以數(shù)據(jù)為中心的高效存儲架構(gòu),也就是我們說的“存儲金字塔”。

以數(shù)據(jù)為中心的高效架構(gòu)解決AI存儲難題

英特爾以數(shù)據(jù)為中心的存儲架構(gòu)中,最上層是DRAM,最下層是磁盤和磁帶。其中,DRAM和英特爾傲騰持久內(nèi)存提供超高性能和超低延遲,英特爾傲騰固態(tài)盤以及英特爾TLC、QLC大容量、高性能固態(tài)盤相配合則作為更好的溫熱數(shù)據(jù)存儲層。

因為每一層級間的容量和時延特性有一個數(shù)量級的差距,所以系統(tǒng)可根據(jù)不同數(shù)據(jù)的工作負載進行冷熱分層,然后根據(jù)需求和成本預算來不斷優(yōu)化性能,解決各種存儲難題。

作為一種革命性的技術(shù),英特爾傲騰是過去20多年以來,在內(nèi)存和存儲方面的革命性進步,它的出現(xiàn)讓“存儲金字塔”真正完整起來,成為解決各種存儲難題的殺手锏。

相比傳統(tǒng)的NAND、HDD技術(shù),革命性的傲騰技術(shù)具有以下重要特性:

第一,支持就地寫入(Write in Place),不需要像NAND一樣先擦除再寫入,引起對IO工作負載不利的問題,例如垃圾回收(Garbage Collection)等。

第二,支持字節(jié)尋址(Bit addressable),最大程度的獲得超低的延遲。

上圖展示的是硬盤在70%/30%的隨機讀寫工作負載下,所展現(xiàn)的IOPS/TB擴展能力。

隨著容量提升,機械硬盤的IOPS并沒有什么提升,SATA NAND固態(tài)盤受接口限制,容量和性能提升也有限,PCIe固態(tài)盤受限于NAND介質(zhì)的特性,擴展能力有限。而英特爾傲騰則從介質(zhì)層突破種種限制,展現(xiàn)出良好的性能可擴展性,成為低性能存儲的有益的補充。

同時,英特爾傲騰P4800X固態(tài)盤的延遲極低,一致性及壽命表現(xiàn)非常強。

據(jù)上圖最左顯示,在不同的隨機寫入負載下的平均讀取延遲,隨著寫入壓力的不斷增加,NAND固態(tài)盤的讀延遲也在不斷增加。相比之下,英特爾傲騰固態(tài)盤的超低延遲始終沒有變化(橫軸藍色線),在圖例中的極端情況下,傲騰固態(tài)盤比NAND固態(tài)盤的讀取延遲能降低63倍左右,差異非常顯著。

此外,英特爾傲騰P4800X固態(tài)盤有超高的壽命,通常我們用DWPD來表示寫入壽命,英特爾傲騰固態(tài)盤的DWPD便多達60 DWPD,相對英特爾的NAND SSD比如P4600、P4610只能支持3DWPD,傲騰固態(tài)盤在壽命上的進步是非常可觀的。

低延遲、高壽命的傲騰也帶來極高的系統(tǒng)效率,比如,可以用更低的緩存比例,來實現(xiàn)更好的性能,同時又承受巨大的寫入壓力。

在人工智能場景中,四個階段通常用一個存儲數(shù)據(jù)管道來支撐,需要的是持續(xù)的、一致的吞吐量,以及超低的延遲,英特爾傲騰加上英特爾QLC 3D NAND的組合方案可以幫助改善客戶的超融合或者相應(yīng)的軟件定義存儲的解決方案,為即將到來的人工智能的爆發(fā),做好相應(yīng)的準備。

在落地應(yīng)用方面,百度已率先于2018年發(fā)布了基于英特爾傲騰固態(tài)盤加英特爾QLC 3D NAND固態(tài)盤技術(shù)的存儲解決方案,這一解決方案極大提升了AI、Big Data、Cloud的存儲性能。比如說在AI的訓練場景中,相比原來的磁盤方案可以得到21倍的性能提升, 96%的延遲下降,同時TCO也下降了60%左右。此外,這一解決方案很好地解決了性能以及容量的可擴展性,百度對于該方案非常滿意。

以數(shù)據(jù)為中心的高效架構(gòu)面向廣泛應(yīng)用場景

除了解決AI存儲難題,以數(shù)據(jù)為中心的高效架構(gòu)在許多其他場景中都展現(xiàn)出了巨大價值。

例如在VMWare vSAN方案中,將高性能緩存從NAND PCIe固態(tài)盤換成英特爾傲騰固態(tài)盤以后,虛擬機密度提升了60%,同時系統(tǒng)整合率能夠提升30%,也就是說,可以節(jié)省更多的服務(wù)器,更多的空間,減少更多的功耗等。

在Hadoop方案中,將英特爾傲騰固態(tài)盤作為Hadoop的臨時數(shù)據(jù)緩存,吞吐量或者性能可提升40%左右。

在開源分布式存儲Ceph方案中,英特爾傲騰固態(tài)盤替換NAND固態(tài)盤存放Journal,作為元數(shù)據(jù)(metadata)緩存,能夠使得99%延遲降低73%,同時IOPS性能提升了大概40%左右。

微軟Azure Stack HCI使用英特爾傲騰固態(tài)盤作為緩存盤,每個系統(tǒng)、每個節(jié)點所能夠支持的虛擬機數(shù)量提升達60%左右,同時虛擬機的跑分也提升了80分。

此外還有很多國內(nèi)企業(yè)也在積極利用英特爾傲騰技術(shù)進行創(chuàng)新,在本屆軟件定義存儲峰會上可以看到的浪潮、VMWare、XSKY、QingCloud青云等都有相應(yīng)的方案展示。

結(jié)語

在如今應(yīng)用類型越來越復雜多樣,數(shù)據(jù)類型和數(shù)據(jù)存儲需求也多種多樣的發(fā)展趨勢下,我們也許無法預測未來的存儲技術(shù)是什么,但可以肯定的是未來存儲將由工作負載來驅(qū)動。

英特爾不斷推動存儲技術(shù)演進,滿足不斷變化的需求,通過傲騰持久內(nèi)存以及傲騰固態(tài)盤使得數(shù)據(jù)更加靠近CPU,通過QLC 3D NAND固態(tài)盤為海量數(shù)據(jù)存儲提供一個最佳選擇,英特爾所打造的“存儲金字塔”已在當下這個工作負載多樣化且密集的時代成為解決不同存儲需求的一大利器,而在各層級產(chǎn)品不斷演進的過程中,我們也有理由相信這一“金字塔”架構(gòu)將在數(shù)據(jù)負載的指導下發(fā)揮出更大的價值。

分享到

zhupb

相關(guān)推薦