同樣的需求廣泛存在于智能制造、醫(yī)療、體育運動、健康等行業(yè),需要對數(shù)據(jù)進行全生命周期的管理,夏思宇補充到。
浪潮K1 Power以三高一強特性打造高性能大數(shù)據(jù)平臺
簡而言之,東南大學科研高性能大數(shù)據(jù)平臺首先要具備強大的計算能力和大內存容量,以實現(xiàn)毫秒級的快速響應,高主頻、多線程的處理器有利于縮短計算時間,提升并發(fā)處理能力;此外,還須具備TB級或者PB級的海量存儲能力,且須保證較大的IO帶寬;最重要的,該大數(shù)據(jù)平臺還須滿足長時間7*24不間斷穩(wěn)定運行,特別是核心計算設備,需要保證單機的可靠性達到5個9,每年計劃外宕機不超過5分鐘。
通過綜合選型,東南大學最終確定了以浪潮K1 Power服務器打造科研高性能大數(shù)據(jù)平臺。
在該科研高性能大數(shù)據(jù)平臺解決方案中,配置了1臺浪潮K1 Power FP5280G2做為整個集群管理節(jié)點,同時部署國產浪潮InsightHD大數(shù)據(jù)管理平臺;配置了2臺浪潮K1 Power FP5280G2做為業(yè)務管理節(jié)點,并采用Master/Slave主備模式部署Namenode(HDFS元數(shù)據(jù))、HBase Master/Standby、ResourceManager(YARN資源管理)等業(yè)務管理組件。
值得一提的是,該大數(shù)據(jù)平臺解決方案對計算及存儲資源采用了分層、分區(qū)設計,針對在線數(shù)據(jù)分析計算過程對內存容量、存儲IO帶寬有較高要求,采用計算存儲融合模式,配置12臺浪潮IPS FP5280G2節(jié)點,既作為計算分析節(jié)點,同時也作為高速HDFS(SSD)存儲節(jié)點,提供23TB可用存儲空間,可對15個左右的鐵塔1天的視頻數(shù)據(jù)進行在線分析。針對大容量數(shù)據(jù)的存儲需求,配置3臺浪潮IPS FP5466G2分布式存儲節(jié)點,構建海量存儲空間,為SPARK、MR、HBASE提供不低于192TB存儲空間,可以與在線數(shù)據(jù)間實現(xiàn)分級存儲,同時采用雙口100G網(wǎng)絡,為數(shù)據(jù)訪問提供20GB/s的前端接口,防止數(shù)據(jù)瓶頸。利用HDFS分層策略,保證數(shù)據(jù)主副本在計算存儲融合節(jié)點SSD高速存儲HDFS空間,其他副本在存儲節(jié)點提供大容量HDFS空間,并根據(jù)SSD使用率自動完成數(shù)據(jù)向后端遷移。
在平臺軟件層面則采用浪潮IsightHD大數(shù)據(jù)平臺軟件,包含Hadoop生態(tài)、Spark生態(tài)、全文檢索生態(tài)等主要組件,提供海量數(shù)據(jù)的采集、存儲、計算、分析挖掘、數(shù)據(jù)操作、管理監(jiān)控、和數(shù)據(jù)安全等能力,以滿足用戶高性能大數(shù)據(jù)運算平臺的需求。
經投產實踐檢驗,采用浪潮K1 Power架構的高性能大數(shù)據(jù)平臺憑借其高性能、高IO帶寬及每核的多線程等優(yōu)勢,保證了海量視頻數(shù)據(jù)的實時存儲與分析,高可靠、高安全特性亦滿足了業(yè)務7*24的不間斷運行;無限拓展的容量滿足了海量視頻庫的PB級存儲需要,并實現(xiàn)了在線數(shù)據(jù)間的存儲分級。此外,還兼容了平臺既有的Linux操作系統(tǒng)、C/C++開發(fā)語言及編譯環(huán)境、不限于HDFS、YARN、SPARK、MR、HBASE等大數(shù)據(jù)生態(tài)組件和基礎環(huán)境,滿足科研需求的同時,培養(yǎng)了大量科研人才,并建立起完整的科研隊伍,促進了學科和產業(yè)界的良性發(fā)展。
