11月27日,浪潮公司在北京發(fā)布了基于全新技術(shù)架構(gòu)的大數(shù)據(jù)處理平臺(tái)——云海大數(shù)據(jù)一體機(jī)。該產(chǎn)品是面向大數(shù)據(jù)存儲(chǔ)、處理、展現(xiàn)全環(huán)節(jié)、軟硬一體化的方案型產(chǎn)品。浪潮集團(tuán)高級(jí)副總裁王恩東表示,當(dāng)前數(shù)據(jù)處理領(lǐng)域正處于平臺(tái)架構(gòu)的更替期,云海大數(shù)據(jù)一體機(jī)的面市,解決了原有架構(gòu)的擴(kuò)展瓶頸和新技術(shù)條件下的客戶應(yīng)用門檻,進(jìn)一步推進(jìn)了大數(shù)據(jù)技術(shù)在我國各行業(yè)的應(yīng)用。
浪潮云海大數(shù)據(jù)一體機(jī)的推出,亦引起了發(fā)改委、工業(yè)和信息化部、科技部等國家部委的關(guān)注。相關(guān)官員表示,大數(shù)據(jù)是一個(gè)事關(guān)我國經(jīng)濟(jì)社會(huì)發(fā)展全局的戰(zhàn)略性產(chǎn)業(yè),大數(shù)據(jù)技術(shù)為社會(huì)經(jīng)濟(jì)活動(dòng)提供決策依據(jù),提高各個(gè)領(lǐng)域的運(yùn)行效率,提升整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度,對(duì)于我國經(jīng)濟(jì)發(fā)展轉(zhuǎn)型具有重要的推動(dòng)作用,浪潮大數(shù)據(jù)一體機(jī)的發(fā)布對(duì)中國發(fā)展大數(shù)據(jù)產(chǎn)業(yè)奠定了技術(shù)基礎(chǔ)。
浪潮助用戶跨過大數(shù)據(jù)應(yīng)用門檻
我國行業(yè)信息化經(jīng)歷了二十多年建設(shè)后,各個(gè)行業(yè)已經(jīng)具備了一些大數(shù)據(jù)基礎(chǔ),金融、電信、工商、交通衛(wèi)生等行業(yè)已經(jīng)積累下大量的數(shù)據(jù)資產(chǎn)。這些數(shù)據(jù)價(jià)值密度高,經(jīng)過淺度處理便可產(chǎn)生巨大的價(jià)值。與此同時(shí),在政府服務(wù)轉(zhuǎn)型、轉(zhuǎn)變發(fā)展方式的大背景下,各個(gè)行業(yè)、機(jī)構(gòu)迫切需要將數(shù)據(jù)轉(zhuǎn)化為對(duì)外的數(shù)據(jù),轉(zhuǎn)化為業(yè)務(wù)的競爭力,因此大數(shù)據(jù)具有廣泛的應(yīng)用前景,推動(dòng)大數(shù)據(jù)在行業(yè)中的應(yīng)用是中國產(chǎn)業(yè)發(fā)展的關(guān)鍵。
目前,以百度、淘寶等為代表的互聯(lián)網(wǎng)企業(yè)已經(jīng)開始了對(duì)大數(shù)據(jù)的挖掘和應(yīng)用。浪潮集團(tuán)高級(jí)副總裁王恩東表示,大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展不僅只是關(guān)注互聯(lián)網(wǎng)領(lǐng)域,而且更應(yīng)該關(guān)注行業(yè)領(lǐng)域。“行業(yè)用戶的數(shù)據(jù)質(zhì)量高、規(guī)模大,挖掘價(jià)值遠(yuǎn)高于互聯(lián)網(wǎng),行業(yè)才是中國大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用和發(fā)展的主體。”王恩東表示:“行業(yè)大數(shù)據(jù)的應(yīng)用不同于互聯(lián)網(wǎng),大數(shù)據(jù)應(yīng)用復(fù)雜,跨度更大,跨部門,甚至跨行業(yè)需求更多,并且行業(yè)用戶追求處理的準(zhǔn)確性,及時(shí)性也遠(yuǎn)高于互聯(lián)網(wǎng)技術(shù),當(dāng)前互聯(lián)網(wǎng)的模糊數(shù)據(jù)應(yīng)用模式難以滿足行業(yè)精確數(shù)據(jù)的要求。”
談到大數(shù)據(jù)應(yīng)用的門檻,王恩東表示,當(dāng)前處于新老架構(gòu)更替期,大數(shù)據(jù)面臨技術(shù)流派眾多、缺乏協(xié)調(diào)的局面,硬件、軟件、整合性產(chǎn)品和方案較少,導(dǎo)致客戶在大數(shù)據(jù)應(yīng)用方面存在諸多困難。而行業(yè)客戶由于自身專業(yè)人才和技術(shù)的匱乏,缺乏大數(shù)據(jù)的應(yīng)用經(jīng)驗(yàn),進(jìn)一步限制了大數(shù)據(jù)的應(yīng)用進(jìn)程,用戶迫切需要企業(yè)能夠提供適應(yīng)行業(yè)大數(shù)據(jù)應(yīng)用特點(diǎn)的全新的處理技術(shù),提供軟硬件一體化整合性服務(wù)和產(chǎn)品。
王恩東強(qiáng)調(diào),浪潮集團(tuán)全新發(fā)布的云海大數(shù)據(jù)一體機(jī),正是順應(yīng)時(shí)代要求推出的。它通過浪潮集團(tuán)一體化的產(chǎn)品、服務(wù),幫助用戶快速實(shí)現(xiàn)對(duì)大數(shù)據(jù)的應(yīng)用與開發(fā)。同時(shí)浪潮也希望以此為起點(diǎn),增強(qiáng)產(chǎn)業(yè)鏈的應(yīng)用,共同挖掘并充分釋放中國大數(shù)據(jù)的潛能,將中國的大數(shù)據(jù)產(chǎn)業(yè)做大做強(qiáng)。
四款型號(hào)滿足不同需求
浪潮云海大數(shù)據(jù)一體機(jī)采用新型技術(shù)體系架構(gòu),是涵蓋數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)展現(xiàn)等全環(huán)節(jié)的一體化數(shù)據(jù)平臺(tái)產(chǎn)品,具有可按需擴(kuò)展、統(tǒng)一交付、集中管理等特點(diǎn),用戶可以根據(jù)各自應(yīng)用特點(diǎn)選擇不同系列的產(chǎn)品,同時(shí)浪潮提供全程技術(shù)服務(wù)與保障,為用戶解決部署、業(yè)務(wù)移植開發(fā)等技術(shù)難題,幫助用戶跨過應(yīng)用門檻。
目前,浪潮云海大數(shù)據(jù)一體機(jī)面向視頻等重載應(yīng)用、商業(yè)智能分析應(yīng)用、海量并發(fā)的輕量級(jí)線程類應(yīng)用,可提供三個(gè)系列的個(gè)性化產(chǎn)品,同時(shí)為客戶提供基于飛騰處理器、浪潮K-UNIX系統(tǒng)等國產(chǎn)技術(shù)的全國產(chǎn)方案。
談到一體機(jī)研發(fā)過程中的挑戰(zhàn),浪潮集團(tuán)系統(tǒng)軟件總監(jiān)、云計(jì)算產(chǎn)品部總經(jīng)理張東表示,盡管浪潮多年來在服務(wù)器、存儲(chǔ)和軟件等領(lǐng)域積累了豐富的經(jīng)驗(yàn),但真正要整合到一起,如何發(fā)揮最大的效用,需要浪潮的技術(shù)研發(fā)人員不斷試驗(yàn)和優(yōu)化,并最終定型。
浪潮云海大數(shù)據(jù)一體機(jī)采用全分布式大數(shù)據(jù)處理架構(gòu),平臺(tái)能夠隨著用戶數(shù)據(jù)的增長和業(yè)務(wù)的擴(kuò)張而不斷增長,并且能夠保持極高的線性度,解決了傳統(tǒng)架構(gòu)的擴(kuò)展瓶頸,系統(tǒng)在擴(kuò)展至120000核心時(shí)依舊保持0.8左右的擴(kuò)展效率。由于系統(tǒng)集成了計(jì)算單元、存儲(chǔ)單元、通訊單元、管理單元等核心模塊,因而是對(duì)數(shù)據(jù)存儲(chǔ)、處理、展現(xiàn)的全環(huán)節(jié)的解決方案,并且系統(tǒng)由浪潮統(tǒng)一開發(fā),能夠統(tǒng)一交付,集中管理,用戶可以用浪潮一體機(jī)輕松搭建適合自身需求的大數(shù)據(jù)存儲(chǔ)和處理平臺(tái)。
張東介紹,浪潮在云海大數(shù)據(jù)一體機(jī)研制過程中進(jìn)行全局優(yōu)化,使得系統(tǒng)在性能、可用性方面有了重大提升。例如,通過優(yōu)化系統(tǒng)任務(wù)調(diào)度策略,動(dòng)態(tài)調(diào)整任務(wù)執(zhí)行資源,減少慢任務(wù)數(shù)量,任務(wù)執(zhí)行時(shí)間平均縮短16%以上;引入Reed-Solomon算法,優(yōu)化分布式散列數(shù)據(jù)布局,滿足文件高并發(fā)和高帶寬雙重需求同時(shí)平衡數(shù)據(jù)冗余度,浪潮采用兩副本加編碼的方式相對(duì)三副本最大可實(shí)現(xiàn)30%空間節(jié)??;采用多級(jí)高速緩存,固化特定算法到FPGA,實(shí)現(xiàn)硬件加速。經(jīng)測試,1TB數(shù)據(jù)排序測試整體訪問性能提高50%。
“除了性能和可用性等提升外,浪潮還提供從業(yè)務(wù)分析、應(yīng)用移植、應(yīng)用開發(fā)到運(yùn)維服務(wù)的全環(huán)節(jié)服務(wù)保障。解決用戶在實(shí)施分布式數(shù)據(jù)理架構(gòu)面臨的軟硬件部署、二次開發(fā)等實(shí)際問題,幫助客戶實(shí)現(xiàn)由傳統(tǒng)數(shù)據(jù)倉庫向新型大數(shù)據(jù)平臺(tái)的平滑遷移。”張東表示。
作為大數(shù)據(jù)應(yīng)用的典型代表,濟(jì)南市公安局信通處處長張強(qiáng)在云海一體機(jī)的發(fā)布會(huì)上介紹了大數(shù)據(jù)技術(shù)的應(yīng)用情況。此前,濟(jì)南市公安局與浪潮集團(tuán)建成了全國第一個(gè)投入使用的“警務(wù)云計(jì)算中心”,良好的成效得到了公安部、山東省兩級(jí)領(lǐng)導(dǎo)的充分肯定。目前,濟(jì)南市公安局正在利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)人像模型、指紋、十字路口的行車圖片、監(jiān)控視頻等數(shù)據(jù)的融合處理和比對(duì),從而為整個(gè)公安系統(tǒng)提供決策支持,一些試點(diǎn)系統(tǒng)已經(jīng)開始實(shí)際應(yīng)用,下一步雙方將共同構(gòu)建基于全新架構(gòu)的大數(shù)據(jù)平臺(tái),為各個(gè)部門提供全面的數(shù)據(jù)分析和挖掘服務(wù)。
“浪潮云海大數(shù)據(jù)一體機(jī)是應(yīng)對(duì)信息社會(huì)大數(shù)據(jù)時(shí)代核心的技術(shù)裝備,它標(biāo)志著國產(chǎn)自由品牌在大數(shù)據(jù)處理方面已經(jīng)達(dá)到了國際領(lǐng)先水平,可以想像隨著平安城市建設(shè)不斷深入推進(jìn),大數(shù)據(jù)一體機(jī)這樣的數(shù)據(jù)處理平臺(tái)也將起到關(guān)鍵的作用。”張強(qiáng)強(qiáng)調(diào)。