同樣的需求廣泛存在于智能制造、醫(yī)療、體育運(yùn)動(dòng)、健康等行業(yè),需要對(duì)數(shù)據(jù)進(jìn)行全生命周期的管理,夏思宇補(bǔ)充到。

浪潮K1 Power以三高一強(qiáng)特性打造高性能大數(shù)據(jù)平臺(tái)

簡(jiǎn)而言之,東南大學(xué)科研高性能大數(shù)據(jù)平臺(tái)首先要具備強(qiáng)大的計(jì)算能力和大內(nèi)存容量,以實(shí)現(xiàn)毫秒級(jí)的快速響應(yīng),高主頻、多線程的處理器有利于縮短計(jì)算時(shí)間,提升并發(fā)處理能力;此外,還須具備TB級(jí)或者PB級(jí)的海量存儲(chǔ)能力,且須保證較大的IO帶寬;最重要的,該大數(shù)據(jù)平臺(tái)還須滿足長(zhǎng)時(shí)間7*24不間斷穩(wěn)定運(yùn)行,特別是核心計(jì)算設(shè)備,需要保證單機(jī)的可靠性達(dá)到5個(gè)9,每年計(jì)劃外宕機(jī)不超過(guò)5分鐘。

通過(guò)綜合選型,東南大學(xué)最終確定了以浪潮K1 Power服務(wù)器打造科研高性能大數(shù)據(jù)平臺(tái)。

在該科研高性能大數(shù)據(jù)平臺(tái)解決方案中,配置了1臺(tái)浪潮K1 Power FP5280G2做為整個(gè)集群管理節(jié)點(diǎn),同時(shí)部署國(guó)產(chǎn)浪潮InsightHD大數(shù)據(jù)管理平臺(tái);配置了2臺(tái)浪潮K1 Power FP5280G2做為業(yè)務(wù)管理節(jié)點(diǎn),并采用Master/Slave主備模式部署Namenode(HDFS元數(shù)據(jù))、HBase Master/Standby、ResourceManager(YARN資源管理)等業(yè)務(wù)管理組件。

值得一提的是,該大數(shù)據(jù)平臺(tái)解決方案對(duì)計(jì)算及存儲(chǔ)資源采用了分層、分區(qū)設(shè)計(jì),針對(duì)在線數(shù)據(jù)分析計(jì)算過(guò)程對(duì)內(nèi)存容量、存儲(chǔ)IO帶寬有較高要求,采用計(jì)算存儲(chǔ)融合模式,配置12臺(tái)浪潮IPS FP5280G2節(jié)點(diǎn),既作為計(jì)算分析節(jié)點(diǎn),同時(shí)也作為高速HDFS(SSD)存儲(chǔ)節(jié)點(diǎn),提供23TB可用存儲(chǔ)空間,可對(duì)15個(gè)左右的鐵塔1天的視頻數(shù)據(jù)進(jìn)行在線分析。針對(duì)大容量數(shù)據(jù)的存儲(chǔ)需求,配置3臺(tái)浪潮IPS FP5466G2分布式存儲(chǔ)節(jié)點(diǎn),構(gòu)建海量存儲(chǔ)空間,為SPARK、MR、HBASE提供不低于192TB存儲(chǔ)空間,可以與在線數(shù)據(jù)間實(shí)現(xiàn)分級(jí)存儲(chǔ),同時(shí)采用雙口100G網(wǎng)絡(luò),為數(shù)據(jù)訪問(wèn)提供20GB/s的前端接口,防止數(shù)據(jù)瓶頸。利用HDFS分層策略,保證數(shù)據(jù)主副本在計(jì)算存儲(chǔ)融合節(jié)點(diǎn)SSD高速存儲(chǔ)HDFS空間,其他副本在存儲(chǔ)節(jié)點(diǎn)提供大容量HDFS空間,并根據(jù)SSD使用率自動(dòng)完成數(shù)據(jù)向后端遷移。

在平臺(tái)軟件層面則采用浪潮IsightHD大數(shù)據(jù)平臺(tái)軟件,包含Hadoop生態(tài)、Spark生態(tài)、全文檢索生態(tài)等主要組件,提供海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、分析挖掘、數(shù)據(jù)操作、管理監(jiān)控、和數(shù)據(jù)安全等能力,以滿足用戶高性能大數(shù)據(jù)運(yùn)算平臺(tái)的需求。

經(jīng)投產(chǎn)實(shí)踐檢驗(yàn),采用浪潮K1 Power架構(gòu)的高性能大數(shù)據(jù)平臺(tái)憑借其高性能、高IO帶寬及每核的多線程等優(yōu)勢(shì),保證了海量視頻數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與分析,高可靠、高安全特性亦滿足了業(yè)務(wù)7*24的不間斷運(yùn)行;無(wú)限拓展的容量滿足了海量視頻庫(kù)的PB級(jí)存儲(chǔ)需要,并實(shí)現(xiàn)了在線數(shù)據(jù)間的存儲(chǔ)分級(jí)。此外,還兼容了平臺(tái)既有的Linux操作系統(tǒng)、C/C++開(kāi)發(fā)語(yǔ)言及編譯環(huán)境、不限于HDFS、YARN、SPARK、MR、HBASE等大數(shù)據(jù)生態(tài)組件和基礎(chǔ)環(huán)境,滿足科研需求的同時(shí),培養(yǎng)了大量科研人才,并建立起完整的科研隊(duì)伍,促進(jìn)了學(xué)科和產(chǎn)業(yè)界的良性發(fā)展。

xiesc