浪潮信息清楚地判斷到了這一點(diǎn)。

可組合分布式融合存儲應(yīng)運(yùn)而生

針對智算中心對存儲的需求,浪潮信息存儲將其總結(jié)為“六位一體”畫像,即需要具備數(shù)據(jù)流動(富元數(shù)據(jù)管理)、處理(數(shù)控分離、智能緩存優(yōu)化和多核并行優(yōu)化)、共享(非結(jié)構(gòu)化融合互通)、容納(4U60、5U105高密設(shè)計(jì)、QLC)、安全(故障恢復(fù),系統(tǒng)故障預(yù)測)、管理(全局文件系統(tǒng))六種能力。所有針對AI存儲的設(shè)計(jì),離不開這6個(gè)能力。

針對數(shù)據(jù)存力中心,或稱可信數(shù)據(jù)空間,它對存儲的需求可以概括為數(shù)據(jù)匯集、數(shù)據(jù)使用,以及及面向行業(yè)的數(shù)據(jù)服務(wù),其中將涉及數(shù)據(jù)跨域管理、高效流通共享、數(shù)據(jù)安全存放和調(diào)用、采用節(jié)能技術(shù)來降低PUE等技術(shù)上的挑戰(zhàn)。

現(xiàn)有的存儲產(chǎn)品,無論是集中式存儲、分布式存儲,還是對象存儲都沒有辦法同時(shí)滿足智算中心和數(shù)據(jù)存力中心的需要,這就是為什么浪潮信息發(fā)布“可組合分布式融合存儲(CDFS)架構(gòu)”的重要原因。按照部署形態(tài)和場景劃分,“可組合分布式融合存儲(CDFS)架構(gòu)”可以分為部署形態(tài)分 BoR(單機(jī)板或機(jī)柜側(cè))、BoD(數(shù)據(jù)中心底部存儲底座)。

簡單說就是能夠同時(shí)滿足智算中心和數(shù)據(jù)空間的需求。

這就是浪潮信息存儲的結(jié)論,并據(jù)此制定了企業(yè)未來技術(shù)產(chǎn)品和市場推廣策略。

AS13000最為接近未來存儲

 “可組合分布式融合存儲(CDFS)”是未來存儲的架構(gòu),浪潮信息存儲認(rèn)為最為接近這個(gè)架構(gòu)的應(yīng)該是AS13000分布式存儲產(chǎn)品。

2023年5月,浪潮信息發(fā)布為大模型專門優(yōu)化的分布式全閃存儲AS13000G7-N系列。該系列依托自研分布式文件系統(tǒng),搭載新一代數(shù)據(jù)加速引擎DataTurbo,通過盤控協(xié)同、GPU直訪存儲、全局一致性緩存等技術(shù),為智算中心AI大模型訓(xùn)練的不同階段,如數(shù)據(jù)歸集、訓(xùn)練、數(shù)據(jù)歸檔與管理等提供支撐。今年6月,又推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案,通過加持EPAI/AIStation的資源調(diào)度能力,從容應(yīng)對大模型應(yīng)用對存儲性能、容量以及數(shù)據(jù)管理等的苛刻要求。

浪潮信息嘗試性提出了GPU計(jì)算集群算力與存儲集群聚合帶寬的推薦配比,實(shí)現(xiàn)了檢測點(diǎn)數(shù)據(jù)(CheckPoint)60秒內(nèi)寫入和讀取恢復(fù),提高大模型訓(xùn)練效率。

AS13000是否能夠很好滿足存力中心(數(shù)據(jù)空間)的需求呢?

浪潮信息存儲首席架構(gòu)師孫斌在接受采訪時(shí)表示,核心將體現(xiàn)在可組合、融合能力的表現(xiàn)上。在存力中心最突出的問題體現(xiàn)在數(shù)據(jù)拷貝上,也就是數(shù)據(jù)移動。當(dāng)數(shù)據(jù)量加大之后,數(shù)據(jù)移動更是一件費(fèi)時(shí)費(fèi)力的事情。

“最好的辦法,就是一份數(shù)據(jù)能夠滿足不同應(yīng)用的需求。一套存儲的架構(gòu),支持混合負(fù)載的需求,這里的混合負(fù)載可以HPC、AI,也可以各種數(shù)據(jù)處理、分析和應(yīng)用?!?孫斌說。

未來的數(shù)據(jù)型中心需要一套心邊一體、存算分離、服務(wù)融合的新型存儲架構(gòu),通過機(jī)柜級、中心級兩種類型的存儲底座,實(shí)現(xiàn)機(jī)柜內(nèi)、數(shù)據(jù)中心級的存算分離,提升存算協(xié)同效率。具備多協(xié)議、多應(yīng)用的服務(wù)融合能力,提升應(yīng)用間的數(shù)據(jù)共享、流轉(zhuǎn)效率,能夠加速數(shù)據(jù)流轉(zhuǎn)效率。目前,AS13000具備了協(xié)議融合、算力融合、介質(zhì)融合的能力,通過融合實(shí)現(xiàn)了存儲資源的協(xié)同處理,按需分配。未來在這個(gè)基礎(chǔ)之上,需要通過增加設(shè)備全生命周期管理、元數(shù)據(jù)統(tǒng)一視圖以及數(shù)據(jù)統(tǒng)一編排等的能力,從而簡化數(shù)據(jù)管理的復(fù)雜度,更好為數(shù)據(jù)空間提供支撐。

孫斌指出,秉持通專結(jié)合的思路,需要可組合分布式融合存儲(CDFS)具備硬件、軟件組合、多層面融合能力,其中,小規(guī)模部署追求極致性能,而大規(guī)模部署追求極致空間與帶寬,這將涉及硬件模塊、軟件棧,人工智能加持等一系列技術(shù)進(jìn)步,需要引入融入多級 KV Cache 異步加速等技術(shù)突破。

分享到

songjy

相關(guān)推薦