曙光大數(shù)據(jù)處理系統(tǒng) XData大數(shù)據(jù)一體機
任新勃 發(fā)表于:13年05月27日 11:30 [來稿] DOIT.com.cn
信息技術的不斷發(fā)展,數(shù)據(jù)的產(chǎn)生和獲取手段變得越來越先進,對數(shù)據(jù)的處理要求也越來越高,大規(guī)模數(shù)據(jù)密集型應用系統(tǒng)數(shù)據(jù)量呈現(xiàn)指數(shù)級上升的趨勢,迎來了數(shù)據(jù)爆炸式的增長,業(yè)界稱之為“大數(shù)據(jù)時代”的到來。大數(shù)據(jù)時代,信息越來越成為國家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn),大數(shù)據(jù)分析和挖掘也為長遠發(fā)展提供了決策支持的基礎。
XData大數(shù)據(jù)處理機是曙光公司立足于當前大數(shù)據(jù)處理的時代背景下,自主研發(fā)的通用海量數(shù)據(jù)處理平臺,可廣泛的應用在通信數(shù)據(jù)統(tǒng)計,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領域。
產(chǎn)品概述
XData大數(shù)據(jù)處理機將數(shù)據(jù)存儲單元和處理單元分離,通過構架高效的服務中間件,將底層采用無共享(shared-nothing)結構的數(shù)據(jù)存儲節(jié)點,聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像,達到較高的數(shù)據(jù)讀寫并發(fā)度,計算并發(fā)度,以及良好的系統(tǒng)擴展性,可靠性和可維護性。 XData可廣泛的應用在通信數(shù)據(jù)統(tǒng)計,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領域。
XData向用戶提供統(tǒng)一的類JDBC的客戶端編程接口,向下管理分布在不同存儲模塊上的不同類型的數(shù)據(jù),并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術包括自動的服務注冊和負載均衡,可擴展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結構化和非結構化數(shù)據(jù)的統(tǒng)一訪問接口,不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復處理等多項技術。
產(chǎn)品特性
分級存儲
XData支持分級存儲,以降低系統(tǒng)的總體持有成本。即按照數(shù)據(jù)量和數(shù)據(jù)的訪問頻率,分為在線,離線和備份三個存儲級別,并支持數(shù)據(jù)在各級之間根據(jù)策略進行遷移。
并行處理架構
XData采用無共享的結構,提供高速的數(shù)據(jù)寫入能力。寫入過程中,采用并行寫入的方式,按照一定數(shù)據(jù)劃分策略,將數(shù)據(jù)寫入到后端數(shù)據(jù)節(jié)點。
XData將查詢語句分解成為在多個數(shù)據(jù)模塊并行執(zhí)行的查詢任務流,所有的查詢處理都在數(shù)據(jù)節(jié)點上并行的執(zhí)行,充分利用無共享結構的計算并行度。
XData提供任務斷點執(zhí)行功能,發(fā)生意外情況時,系統(tǒng)啟動后繼續(xù)執(zhí)行未完成的任務。
一體化執(zhí)行框架
XData提供類JDBC訪問接口:XJDBC,有JDBC 使用經(jīng)驗的用戶無需額外學習即可很方便的使用XJBDC訪問接口;XData提供XJDBC/MapReduce混合執(zhí)行框架,提供跨平臺的兼容性。
XData還提供較XJDBC訪問接口更高的性能的專用編程接口。
復雜數(shù)據(jù)類型關聯(lián)分析
XData支持大表關聯(lián)和大表嵌套類等復雜的查詢語句的處理。XData系統(tǒng)通過將復雜查詢解析成在多個數(shù)據(jù)節(jié)點上的并行任務流,提高復雜查詢的處理性能。
XData支持用戶自定義的并行查詢任務流,可以支持任意復雜的結構化/非結構化數(shù)據(jù)處理語義,滿足更廣泛的應用需求。
高可擴展性
XData對數(shù)據(jù)進行細粒度劃分,無需進行復雜規(guī)劃,任意規(guī)模的擴展都能夠達到數(shù)據(jù)分布均衡。
XData提供細粒度數(shù)據(jù)鎖,提高數(shù)據(jù)訪問并發(fā)度,減小單個查詢操作的無效IO,提高整體處理效率。
圖形化監(jiān)控管理
XData提供基于Web的圖形化的管理工具,簡化了系統(tǒng)管理員對于大數(shù)據(jù)系統(tǒng)的管理和維護工作,使得管理一套含有幾百個節(jié)點的XData和管理一套10個節(jié)點的XData的工作量接近。
XData大數(shù)據(jù)一體機包含兩類組件:計算模塊、數(shù)據(jù)模塊和客戶端。
計算模塊:用于數(shù)據(jù)的并行加載和查詢處理,對客戶端提供統(tǒng)一的數(shù)據(jù)處理接口。
數(shù)據(jù)模塊:用于提供結構化/非結構化數(shù)據(jù)一體化存儲空間,內嵌高性能數(shù)據(jù)存取引擎,并行處理所有計算模塊的數(shù)據(jù)訪問
請求。
客戶端:用于和用戶應用對接,提供XJDBC/MapReduce統(tǒng)一訪問接口和各服務專用訪問接口。
規(guī)格列表
型號 | XData 大數(shù)據(jù)一體機 | |
系統(tǒng)規(guī)格 | 系統(tǒng)容量 | 16PB |
計算模塊 | 1024 | |
數(shù)據(jù)模塊 | 1024 | |
客戶端OS | CentOS5 X86/X86_64 CentOS6 X86/X86_64 RedHat5 X86/X86_64 RedHat6 X86/X86_64 SLES11 SP1 X86/X86_64 SLES11 SP2 X86/X86_64 | |
系統(tǒng)功能 | 系統(tǒng)架構 | 非對稱雙集群架構,系統(tǒng)由計算集群和數(shù)據(jù)集群組成 |
訪問接口 | 支持類JDBC統(tǒng)一編程接口和各服務專用編程接口,兼容MapReduce執(zhí)行框架 | |
負載均衡 | 支持基于連接數(shù)、容量和性能的負載均衡 | |
數(shù)據(jù)遷移 | 支持數(shù)據(jù)控制器之間的數(shù)據(jù)遷移 | |
分級存儲 | 支持同一系統(tǒng)內的數(shù)據(jù)分級 | |
可擴展性 | 加載模塊 | 支持計算模塊在線動態(tài)添加和安全移除,擴展后系統(tǒng)數(shù)據(jù)加載能力呈線性增長 |
數(shù)據(jù)模塊 | 支持數(shù)據(jù)模塊在線動態(tài)添加,擴展后系統(tǒng)數(shù)據(jù)查詢處理能力呈線性增長 | |
硬盤 | Raid0/1/5/6 | |
可靠性 | 計算模塊 | 多個計算模塊以負載均衡方式運行,單個或多個計算模塊故障不影響系統(tǒng)整體的數(shù)據(jù)加載和查詢處理,客戶端會自動重連切換到可用的計算模塊 |
數(shù)據(jù)模塊 | 數(shù)據(jù)模塊以集群方式運行,支持數(shù)據(jù)的雙副本和分級存儲策略對數(shù)據(jù)可靠性進行保護 | |
管理 | 部署 | 支持集中式部署和配置 |
升級 | 支持在用戶業(yè)務不停止的情況下在線升級,升級過程對原有數(shù)據(jù)和配置無影響 | |
狀態(tài)監(jiān)控 | 支持對系統(tǒng)總體狀態(tài)進行監(jiān)控,支持對各節(jié)點和服務狀態(tài)進行監(jiān)控 | |
性能監(jiān)控 | 支持對系統(tǒng)總體性能、資源進行監(jiān)控,以及各節(jié)點的性能、資源進行監(jiān)控 | |
告警 | 支持對系統(tǒng)軟硬件故障和系統(tǒng)狀體閥值信息進行告警,告警方式支持以界面告警、郵件告警和短信告警等方式 |