中國(guó)天眼(FAST)

2018年,清華大學(xué)研制出新型超寬視場(chǎng)高分辨率實(shí)時(shí)顯微成像儀器(RUSH)實(shí)現(xiàn)了重大突破,將活體動(dòng)物腦神經(jīng)觀測(cè)數(shù)據(jù)通量由1000萬(wàn)像素/秒提升至50億像素/秒,數(shù)據(jù)通量是全球第二大高通量顯微儀器2p-RAM的500多倍,對(duì)提升人類(lèi)認(rèn)知水平、腦疾病診治和人工智能技術(shù)發(fā)展具有重大戰(zhàn)略意義。

清華大學(xué)新型超寬視場(chǎng)高分辨率實(shí)時(shí)顯微成像儀拍攝的大腦照片

FAST和RUSH面臨一個(gè)共同的問(wèn)題:海量數(shù)據(jù)的爆炸式增長(zhǎng)。以中國(guó)天眼為例,每秒采集的數(shù)據(jù)量高達(dá)38GB,每年新增數(shù)據(jù)量達(dá)到數(shù)十PB。

所幸,他們都遇到了浪潮存儲(chǔ)、化解了PB級(jí)存儲(chǔ)困擾——繼2019年采用了浪潮存儲(chǔ)的高性能和高密度兩種分布式存儲(chǔ)節(jié)點(diǎn)之后,2021年中國(guó)天眼再次采用浪潮存儲(chǔ)分布式存儲(chǔ)高密度節(jié)點(diǎn),采用業(yè)界首個(gè)“多合一”極簡(jiǎn)架構(gòu),在4U空間內(nèi)承載最高1PB數(shù)據(jù),可靈活、在線擴(kuò)展容量和性能,最高可擴(kuò)展至5120節(jié)點(diǎn),滿足中國(guó)天眼未來(lái)幾年乃至十幾年的天文大數(shù)據(jù)存儲(chǔ)和處理需求;而中標(biāo)清華大學(xué)高分辨率計(jì)算攝像儀器高通量在線采集存儲(chǔ)系統(tǒng)采購(gòu)項(xiàng)目后,浪潮存儲(chǔ)也為這一最新研制成功的光學(xué)顯微儀器提供40個(gè)節(jié)點(diǎn)的存儲(chǔ)服務(wù),應(yīng)用于控制28臺(tái)高靈敏度相機(jī)進(jìn)行高通量數(shù)據(jù)的并發(fā)采集和存儲(chǔ),滿足了用戶每臺(tái)相機(jī)每秒30張,每張1200萬(wàn)像素,最長(zhǎng)拍攝72小時(shí)的連續(xù)拍攝需求。

這背后,浪潮的分布式存儲(chǔ)平臺(tái)AS13000發(fā)揮了極大的作用。

為什么不約而同選擇了浪潮存儲(chǔ)AS13000?

AS13000是浪潮存儲(chǔ)推出的一款面向超大數(shù)據(jù)中心級(jí)打造的分布式存儲(chǔ)平臺(tái),擁有低中高端多種機(jī)型,所有機(jī)型均適配英特爾最新的Purley平臺(tái),兼容Cascade Lake新一代CPU,可滿足人工智能與超算融合的新應(yīng)用在不同場(chǎng)景的數(shù)據(jù)需求。目前AS13000已經(jīng)發(fā)展到了第五代產(chǎn)品AS13000 G5。

在硬件層面,AS13000以一個(gè)架構(gòu)支持 5 種不同形態(tài)(機(jī)架、高密、多節(jié)點(diǎn)、異構(gòu)、機(jī)柜)和多種硬件配置(即以“5+X”架構(gòu)),適配客戶多種數(shù)據(jù)存儲(chǔ)需求,從材料到整機(jī)全棧硬件能力,讓存儲(chǔ)更加穩(wěn)定、安全、可靠。

在軟件層面,AS13000一套架構(gòu)支持文件、塊、對(duì)象、大數(shù)據(jù)、數(shù)據(jù)庫(kù)5 種協(xié)議,同時(shí)聯(lián)合合作伙伴打造多種融合解決方案,提供契合客戶業(yè)務(wù)需求的存儲(chǔ)服務(wù)。AS13000G5對(duì)性能指標(biāo)進(jìn)行了全面優(yōu)化,實(shí)現(xiàn)了小文件性能、空間利用率、單設(shè)備帶寬、智能運(yùn)維等指標(biāo)的翻倍升級(jí),最大化挖掘、共享和管理數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的全生命化管理和價(jià)值最大化。

可以說(shuō),AS13000是軟件結(jié)合、軟件定義存儲(chǔ)的佼佼者,也是浪潮存儲(chǔ)極致特征的代表作。

上述說(shuō)法都是來(lái)自浪潮存儲(chǔ)官方。這些優(yōu)勢(shì)如何驗(yàn)證?如何讓市場(chǎng)和用戶信服?

以下這組數(shù)據(jù)具備足夠的說(shuō)服力:

美國(guó)時(shí)間6月25日,存儲(chǔ)性能委員會(huì)(Storage Performance Council,簡(jiǎn)稱SPC)公布了最新的SPC-1基準(zhǔn)評(píng)測(cè)報(bào)告,浪潮分布式存儲(chǔ)AS13000G5獲得6,300,529 IOPS(每秒讀寫(xiě)操作次數(shù))、0.781ms時(shí)延的評(píng)測(cè)值,刷新了分布式存儲(chǔ)性能全球最高成績(jī)。至此,浪潮存儲(chǔ)五年五次霸榜,成為全球唯一在分布式存儲(chǔ)和集中式全閃兩大賽道領(lǐng)跑的存儲(chǔ)廠商。

為什么一致青睞SPC的SPC-1?

SPC是1999年成立的存儲(chǔ)專業(yè)評(píng)測(cè)機(jī)構(gòu),是業(yè)界最活躍、最有影響力的國(guó)際存儲(chǔ)性能評(píng)測(cè),堪稱存儲(chǔ)性能界的“奧林匹克”。

20多年來(lái),SPC定期發(fā)布性能基準(zhǔn)測(cè)試與廠商報(bào)告,吸引Dell EMC、Fujitsu、HPE、浪潮、HDS、IBM、NetApp等全球主流存儲(chǔ)廠商積極參與。同時(shí)SPC定期更新存儲(chǔ)規(guī)范和測(cè)試工具,分區(qū)并發(fā)IO流全程數(shù)據(jù)一致性,5階段數(shù)據(jù)處理全場(chǎng)景模擬。SPC還建立了嚴(yán)格的審核機(jī)制,不僅會(huì)進(jìn)行多輪測(cè)試,而且測(cè)試過(guò)程全球公開(kāi),讓存儲(chǔ)界的技術(shù)開(kāi)發(fā)者、用戶監(jiān)督,并運(yùn)用先進(jìn)技術(shù)對(duì)現(xiàn)場(chǎng)實(shí)勘結(jié)果與測(cè)試日志進(jìn)行自動(dòng)分析,是公認(rèn)的權(quán)威、專業(yè)的測(cè)試組織。

SPC-1從2001年初發(fā)布了第一版負(fù)載的模擬測(cè)試工具等,到2014年緩慢升級(jí)到3.0版本。之后增加了一致性校驗(yàn)、單點(diǎn)故障、驗(yàn)證流程等可靠性測(cè)試,2018年刷新到3.6版本,最新的是2020年11月份出版的3.1版,豐富了數(shù)據(jù)服務(wù)測(cè)試指標(biāo),包括重刪、壓縮、快照、節(jié)能等。

SPC-1基準(zhǔn)評(píng)測(cè)涵蓋矩陣(metrics)、重復(fù)性(repeat)、耐久性(persistence)三大標(biāo)準(zhǔn)評(píng)測(cè)流程,能夠?qū)Υ鎯?chǔ)系統(tǒng)處理復(fù)雜請(qǐng)求和大規(guī)模數(shù)據(jù)的能力進(jìn)行精準(zhǔn)評(píng)估,部分I/O規(guī)格指標(biāo)包括IOPS、滿負(fù)載響應(yīng)時(shí)間、多負(fù)載均方差響應(yīng)時(shí)間、每GB美元、每KIOPS美元、價(jià)格以及不同負(fù)載下小于5%的IOPS浮動(dòng)范圍、5%的響應(yīng)時(shí)間、兩個(gè)9到五個(gè)9的尾延遲等等。

相對(duì)而言,金融、通信、AI領(lǐng)域?qū)T基礎(chǔ)設(shè)施的需求規(guī)模和應(yīng)用較大較嚴(yán)格,浪潮存儲(chǔ)對(duì)比發(fā)現(xiàn),無(wú)論是基準(zhǔn)模型、彈性能力還是數(shù)據(jù)服務(wù)疊加方面,SPEC-1所提供的指標(biāo)都滿足對(duì)這些行業(yè)頂級(jí)客戶的標(biāo)準(zhǔn),尤其是基準(zhǔn)模型方面的表現(xiàn)更加系統(tǒng)、完整,因此,滿足SPEC-1技術(shù)和測(cè)試規(guī)范的產(chǎn)品更受青睞。

為了做好第五次測(cè)試,浪潮存儲(chǔ)做了充分的準(zhǔn)備,前后花費(fèi)了兩年半的時(shí)間,提供了30個(gè)設(shè)備節(jié)點(diǎn)再加一臺(tái)機(jī)柜。浪潮存儲(chǔ)首席架構(gòu)師孫斌在梳理SPC-1測(cè)試20多年的演進(jìn)歷程和回顧五次參與測(cè)試過(guò)程時(shí)說(shuō)。

“打榜只是為了給市場(chǎng)和用戶提供一個(gè)量化的指標(biāo)?!贬槍?duì)全球收入排名前列的存儲(chǔ)廠商的產(chǎn)品性能都在不斷提升、但不是所有廠商都選擇在SPC-1上進(jìn)行測(cè)試這一現(xiàn)象,孫斌回應(yīng)說(shuō),只要公司常設(shè)架構(gòu)師團(tuán)隊(duì),持續(xù)不斷加強(qiáng)研發(fā),提供滿足客戶不斷攀升的應(yīng)用需求,就足夠了。不過(guò),如果浪潮存儲(chǔ)持續(xù)第六次打榜成功,想必不是一件令人意外的事情。

浪潮存儲(chǔ)產(chǎn)品家族

什么技術(shù)能讓浪潮存儲(chǔ)一次接一次打榜?

此次打榜SPC-1,AS13000不同于全閃盤(pán)陣的三項(xiàng)技術(shù)創(chuàng)新脫穎而出:

一是在二次寫(xiě)數(shù)據(jù)和寫(xiě)產(chǎn)生原數(shù)據(jù)兩個(gè)維度實(shí)現(xiàn)了本地化,極大地降低了網(wǎng)絡(luò)以及節(jié)點(diǎn)計(jì)算方面的資源占用;

二是面向多個(gè)CPU核以及NVMeSSD這兩個(gè)特征增強(qiáng)并發(fā),對(duì)讀寫(xiě)放大進(jìn)行了優(yōu)化控制,并針對(duì)集群中的節(jié)點(diǎn)及SSD之間做到低損、采用metric這樣自研的多流技術(shù)從全局進(jìn)行數(shù)據(jù)分流,讓SSD效能具備更好的表現(xiàn);

三是與傳統(tǒng)掛榜友商采用光纖通道的方式不同,AS13000采用的突破了網(wǎng)口跟不同CPU Core的綁定、從中斷到允許,對(duì)IP包拆解、識(shí)別和組包等軟硬件協(xié)同技術(shù)后的百G以太網(wǎng),構(gòu)筑起一個(gè)高性能表現(xiàn)環(huán)境。

實(shí)際上,登頂SPC-1,與浪潮存儲(chǔ)的智能加速引擎iTurbo技術(shù)也密不可分。iTurbo是浪潮存儲(chǔ)2019年面向新一代G5存儲(chǔ)平臺(tái)研發(fā)的一項(xiàng)硬核技術(shù),是I/O軟件棧的一套完整的智能加速算法,目前已經(jīng)升級(jí)到了2.0版。

iTurbo智能引擎為浪潮存儲(chǔ)系統(tǒng)提供前端應(yīng)用自適應(yīng)和調(diào)配不同數(shù)據(jù)處理策略,實(shí)現(xiàn)了智能的IO感知、路徑選擇、數(shù)據(jù)組織和資源調(diào)度,為浪潮存儲(chǔ)在性能上贏得業(yè)界的認(rèn)可帶來(lái)創(chuàng)新的存儲(chǔ)加速方案,在同等控制器配置、同等IT建設(shè)成本下支撐更多的數(shù)據(jù)并發(fā)訪問(wèn)。

以智能IO感知技術(shù)為例,iTurbo通過(guò)自適應(yīng)緩存預(yù)讀算法對(duì)歷史數(shù)據(jù)I/O模式進(jìn)行分析、判斷識(shí)別,對(duì)其提前讀取到緩存,從而達(dá)到緩存最高命中率:當(dāng)緩存寫(xiě)滿時(shí),通過(guò)獨(dú)特的替換算法淘汰使用率最低的數(shù)據(jù),使緩存發(fā)揮出最大的價(jià)值,與此同時(shí),通過(guò)特征數(shù)據(jù)識(shí)別和逐字節(jié)的比較,在確保數(shù)據(jù)安全的前提下減少數(shù)據(jù)落盤(pán),提高存儲(chǔ)性能及空間使用率。

浪潮存儲(chǔ)產(chǎn)品線總經(jīng)理李輝道出了關(guān)鍵:浪潮存儲(chǔ)的技術(shù)優(yōu)勢(shì),在于長(zhǎng)期的投入。據(jù)悉,從2015年到現(xiàn)在,累計(jì)研發(fā)投入接近30億元,研發(fā)人數(shù)的規(guī)模也在逐年增長(zhǎng)。

登榜之后,浪潮存儲(chǔ)還要面對(duì)哪些挑戰(zhàn)?

AS13000的性能已經(jīng)雄踞市場(chǎng)之首,但是,作為分布式存儲(chǔ)解決方案的代表作,浪潮還在不斷努力,以應(yīng)對(duì)市場(chǎng)和客戶的需求。

一方面,SPC-1指標(biāo)還在不斷完善和升級(jí),如最新的測(cè)試版本增加了能耗方面的測(cè)評(píng)指標(biāo)。

對(duì)此,浪潮存儲(chǔ)除了在產(chǎn)品研發(fā)層面積極應(yīng)對(duì),還致力于參加相關(guān)政府和機(jī)構(gòu)組織的“綠色存儲(chǔ)企業(yè)領(lǐng)跑者標(biāo)準(zhǔn)”的制訂工作,通過(guò)量化的指標(biāo)規(guī)范存儲(chǔ)產(chǎn)品的能耗確保產(chǎn)品永遠(yuǎn)立于領(lǐng)導(dǎo)者地位。

在今年9月將要頒布、由國(guó)內(nèi)主流廠商參與的一項(xiàng)領(lǐng)跑者標(biāo)準(zhǔn)的驗(yàn)測(cè)標(biāo)準(zhǔn)中,浪潮存儲(chǔ)是重要的貢獻(xiàn)者之一。

另一方面,技術(shù)在不斷升級(jí),雖然浪潮存儲(chǔ)在產(chǎn)品和技術(shù)層面持續(xù)發(fā)力,包括近期將加強(qiáng)對(duì)極致安全方面以及在平臺(tái)化和極致云化方面展開(kāi)更多工作,但要在基礎(chǔ)研究層面繼續(xù)做到七大極致,浪潮存儲(chǔ)也在密切關(guān)注中。李輝告訴記者,存儲(chǔ)技術(shù)的突破性領(lǐng)域集中在介質(zhì)、期間和協(xié)議層面。雖然當(dāng)前技術(shù)研究不一定會(huì)取得重大的突破、也未必對(duì)未來(lái)兩三年帶來(lái)重大的影響,但確實(shí)到了考慮問(wèn)題的時(shí)候。例如,雖然硅介質(zhì)在存儲(chǔ)領(lǐng)域還將繼續(xù)主導(dǎo)市場(chǎng)很長(zhǎng)一段時(shí)間,社會(huì)各界已經(jīng)開(kāi)始關(guān)注光全息化學(xué)材料和激光結(jié)合、乃至在玻璃上存儲(chǔ)展開(kāi)深入探索,浪潮存儲(chǔ)也拉開(kāi)了與清華大學(xué)在光介質(zhì)層面技術(shù)交流的步伐。

那么,如何有效拓展市場(chǎng)?在企業(yè)級(jí)存儲(chǔ)打拼了20年的孫斌表示,浪潮存儲(chǔ)將從3個(gè)維度發(fā)力:一是讓更多的企業(yè)客戶加強(qiáng)基于公有云的應(yīng)用,二是提升存儲(chǔ)解決方案的智能化能力,讓客戶實(shí)時(shí)掌握系統(tǒng)運(yùn)行的狀態(tài),并將潛在的事故隱患提前消滅在萌芽狀態(tài),三是防止單點(diǎn)失敗,確保核心業(yè)務(wù)健康運(yùn)行。

分享到

xiesc

相關(guān)推薦