數(shù)據(jù)安好，便是科研的春天

如今，我國在科學(xué)領(lǐng)域上的一次次令人欣喜的創(chuàng)新，其背后都會(huì)受到來一次次數(shù)據(jù)負(fù)累。例如，我國的暗物質(zhì)衛(wèi)星“悟空”、射電望遠(yuǎn)鏡“FAST”、量子衛(wèi)星“墨子號(hào)”等大科學(xué)裝置先后投入使用，每日就可產(chǎn)生PB級(jí)科學(xué)數(shù)據(jù)。僅就數(shù)據(jù)存儲(chǔ)的規(guī)模而言，這已對(duì)傳統(tǒng)存儲(chǔ)架構(gòu)形成嚴(yán)重挑戰(zhàn)，勢必推動(dòng)超融合架構(gòu)、分布式存儲(chǔ)架構(gòu)等存儲(chǔ)新架構(gòu)在科研領(lǐng)域的快速落地。

其實(shí)，曙光基于近20年高性能領(lǐng)域服務(wù)的長久經(jīng)驗(yàn)，已經(jīng)多次解決的了科研領(lǐng)域很多因數(shù)據(jù)頭疼的問題。例如，前文中提到的射電望遠(yuǎn)鏡“FAST”，部署在貴州黔東南地區(qū)，為世界最大口徑單體射電望遠(yuǎn)鏡，每天要產(chǎn)生5TB左右的數(shù)據(jù)，數(shù)據(jù)需要保留10年以上。為此，“FAST”項(xiàng)目采用了曙光的超算系統(tǒng)，將承擔(dān)起海量天文數(shù)據(jù)整合分析、天體分析和挖掘、天文大數(shù)據(jù)的可視化等工作，推動(dòng)天文科學(xué)研究和探索由假設(shè)驅(qū)動(dòng)向數(shù)據(jù)驅(qū)動(dòng)轉(zhuǎn)變。

此外，曙光于去年與中科院大氣物理所聯(lián)合部署的“地球數(shù)值模擬裝置”原型系統(tǒng)，將為地球科學(xué)大數(shù)據(jù)充當(dāng)“計(jì)算處理引擎”；今年還攜手中科星圖、中科三清等分別發(fā)展空天大數(shù)據(jù)應(yīng)用和生態(tài)環(huán)境大數(shù)據(jù)應(yīng)用。

科學(xué)大數(shù)據(jù)引擎出現(xiàn)，誰會(huì)從此路過

不僅是傳統(tǒng)問題的解決，科學(xué)研究向大數(shù)據(jù)技術(shù)的依賴已經(jīng)變得更為現(xiàn)實(shí)。正如曙光公司高性能產(chǎn)品事業(yè)部總工程師戴榮在會(huì)上所講：“數(shù)字化的影響從互聯(lián)網(wǎng)開始影響的更多的傳統(tǒng)行業(yè) ，如服務(wù)業(yè)、工農(nóng)業(yè)以及科學(xué)研究。受多種因素影響，科學(xué)研究已開始大數(shù)據(jù)轉(zhuǎn)型。一方面，受數(shù)據(jù)大爆炸的影響，例如原有仿真手段生成的大量數(shù)據(jù)，一方面，國家啟動(dòng)了更多的科研大型裝置和設(shè)備，例如FAST。為此，科學(xué)大數(shù)據(jù)戰(zhàn)略已經(jīng)勢在必行?！?/p>

據(jù)戴榮介紹，在科學(xué)大數(shù)據(jù)引擎的“黑匣子”里，部署著曙光全系列數(shù)據(jù)計(jì)算技術(shù)及服務(wù)產(chǎn)品，主要由5個(gè)引擎組件構(gòu)成，分別是：針對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的曙光ParaStor并行存儲(chǔ)系統(tǒng)、類型豐富的曙光高性能計(jì)算平臺(tái)、最大化提升系統(tǒng)整體效能的曙光深度學(xué)習(xí)計(jì)算平臺(tái)、高效敏捷的曙光XData大數(shù)據(jù)處理平臺(tái)以及能覆蓋科學(xué)大數(shù)據(jù)中心全生命周期的曙光 EasyOP運(yùn)維管理平臺(tái)。

曙光的科學(xué)大數(shù)據(jù)引擎擁有以下六個(gè)亮點(diǎn)特征：

1)專為科學(xué)數(shù)據(jù)處理流程進(jìn)行優(yōu)化，提供“計(jì)算、存儲(chǔ)、分析、運(yùn)維”一體化強(qiáng)勁性能;

2)基于曙光獨(dú)特的超融合架構(gòu)，靈活支持高性能計(jì)算、大數(shù)據(jù)計(jì)算、深度學(xué)習(xí)計(jì)算等多種計(jì)算模式;

3)超強(qiáng)彈性設(shè)計(jì)，最高支持E級(jí)超算系統(tǒng)立體擴(kuò)展;

4)針對(duì)海量數(shù)據(jù)的存儲(chǔ)，可構(gòu)建EB級(jí)單一存儲(chǔ)空間，是經(jīng)過驗(yàn)證的國內(nèi)最大存儲(chǔ)系統(tǒng);

5)在數(shù)據(jù)分析方面，支持PB級(jí)數(shù)據(jù)處理能力，可實(shí)現(xiàn)億級(jí)數(shù)據(jù)庫毫秒級(jí)極速查詢分析;

6)可為上萬節(jié)點(diǎn)提供7*24小時(shí)在線、移動(dòng)、實(shí)時(shí)自動(dòng)監(jiān)控服務(wù)。

戴榮介紹，曙光科學(xué)大數(shù)據(jù)引擎繼用了原有技術(shù)積累，也從既有技術(shù)發(fā)展出機(jī)器學(xué)習(xí)、深度挖掘很多新興技術(shù)，應(yīng)用生態(tài)的搭建更多會(huì)依賴合作伙伴的支持。曙光科學(xué)大數(shù)據(jù)引擎，旨在幫助政府部門、科研院所、教育機(jī)構(gòu)、行業(yè)技術(shù)創(chuàng)新中心、大型企業(yè)研發(fā)部門等用戶向大數(shù)據(jù)研究方面轉(zhuǎn)型，促進(jìn)數(shù)據(jù)密集型計(jì)算架構(gòu)在各行業(yè)領(lǐng)域的創(chuàng)新發(fā)展和深入應(yīng)用。

從事于遙感數(shù)據(jù)研究的唐德可在會(huì)議現(xiàn)場從遙感影像解析的技術(shù)角度進(jìn)一步闡明了這種需求?！按饲叭?jí)存儲(chǔ)架構(gòu)下有的傳統(tǒng)存儲(chǔ)介質(zhì)已經(jīng)到了退出歷史的階段，例如磁帶。基于曙光的科學(xué)大數(shù)據(jù)引擎很好地利用大數(shù)據(jù)技術(shù)跳出了傳統(tǒng)數(shù)據(jù)架構(gòu)的樊籠，通過搭建軟硬一體的存儲(chǔ)計(jì)算資源池，構(gòu)建起了更為先進(jìn)的空天大數(shù)據(jù)處理框架，從而可以進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)挖掘，以及數(shù)據(jù)可視化的智能階段?！碧频驴杀硎尽?/p>

不讓數(shù)據(jù)成為科學(xué)研究負(fù)累，任重道遠(yuǎn)

可以相信，中科曙光發(fā)布的科學(xué)大數(shù)據(jù)引擎是中國科學(xué)研究領(lǐng)域的一劑強(qiáng)有力的催化劑，以及曙光近20年服務(wù)高性能領(lǐng)域的長久經(jīng)驗(yàn)也是很好的信心保障。但對(duì)于將大數(shù)據(jù)技術(shù)在科學(xué)領(lǐng)域的真正實(shí)踐，其實(shí)我們還有很長的路要走，而這也是科學(xué)大數(shù)據(jù)引擎能否真正得到認(rèn)可的關(guān)鍵。

若是以今日曙光的科學(xué)大數(shù)據(jù)引擎問世為界限，我們發(fā)現(xiàn)，此前我們?cè)诳蒲蓄I(lǐng)域的大數(shù)據(jù)應(yīng)用，專注方向更多是傾向于用大數(shù)據(jù)技術(shù)來化解科研常規(guī)中遇到的數(shù)據(jù)存儲(chǔ)、處理等問題。而如今，除了存儲(chǔ)規(guī)模的爆發(fā)，科學(xué)研究在向數(shù)字化、網(wǎng)絡(luò)化方向上的邁進(jìn)，更需要高性能計(jì)算技術(shù)向云計(jì)算、認(rèn)知計(jì)算、大數(shù)據(jù)分析計(jì)算等多種模式方向發(fā)展。

這些新的高性能計(jì)算技術(shù)發(fā)展方向，關(guān)系著科研大數(shù)據(jù)的實(shí)踐能否找到更加適合的數(shù)據(jù)應(yīng)用，以及基于數(shù)據(jù)支持又會(huì)有怎樣的科研發(fā)現(xiàn)，甚至加速科學(xué)大數(shù)據(jù)發(fā)現(xiàn)到產(chǎn)生商業(yè)價(jià)值的過程。這方面，國外已經(jīng)有了前沿案例，如某氣候公司基于氣象、天氣、降雨、地質(zhì)土壤調(diào)查等海量科學(xué)數(shù)據(jù)，為保險(xiǎn)企業(yè)和農(nóng)民提供信息。

不過，戴榮也表示：“目前來看，科學(xué)大數(shù)據(jù)在中國的應(yīng)用發(fā)展還處于起步階段，在推動(dòng)大科學(xué)研究、促進(jìn)各行業(yè)領(lǐng)域科學(xué)發(fā)現(xiàn)和技術(shù)創(chuàng)新方面有著非常大的潛力，但同時(shí)也面臨諸多挑戰(zhàn)需要應(yīng)對(duì)。比如我國的科學(xué)數(shù)據(jù)資源還相對(duì)分散，還沒有形成一批在國際上有強(qiáng)大影響力的科學(xué)數(shù)據(jù)中心，針對(duì)科學(xué)數(shù)據(jù)資源管理和開放共享的法律法規(guī)及相關(guān)技術(shù)標(biāo)準(zhǔn)還不夠完善，高水平的復(fù)合型數(shù)據(jù)科學(xué)家人才隊(duì)伍還存在缺失?！?/p>

所以說，科學(xué)大數(shù)據(jù)引擎的推出已經(jīng)不是曙光面對(duì)與科研領(lǐng)域提供的一攬子技術(shù)解決方案，其成功與否關(guān)系到之后與此聯(lián)系的整個(gè)生態(tài)的建設(shè)。為此，我們也看到，發(fā)布會(huì)上曙光呼吁更多的機(jī)構(gòu)和廠商加盟進(jìn)來，共同發(fā)展適合中國的科學(xué)大數(shù)據(jù)開放社區(qū)，幫助中國的科研機(jī)構(gòu)借助各領(lǐng)域大數(shù)據(jù)發(fā)展機(jī)遇實(shí)現(xiàn)轉(zhuǎn)型與變革，共建創(chuàng)新型國家。

可見，曙光的科學(xué)大數(shù)據(jù)引擎，高性能服務(wù)老司機(jī)有志讓全世界從此路過！

王珂玥

存儲(chǔ)在線（DOSTOR）主編