噜噜噜综合,又色又爽又高潮免费观看,综合无码一区二区三区四区五区,中文字幕无码人妻aaa片,四虎成人精品永久网站

曙光大數(shù)據(jù)處理系統(tǒng) XData大數(shù)據(jù)一體機

任新勃 發(fā)表于:13年05月27日 11:30 [來稿] DOIT.com.cn

  • 分享:
[導讀]信息技術的不斷發(fā)展,數(shù)據(jù)的產(chǎn)生和獲取手段變得越來越先進,對數(shù)據(jù)的處理要求也越來越高,大規(guī)模數(shù)據(jù)密集型應用系統(tǒng)數(shù)據(jù)量呈現(xiàn)指數(shù)級上升的趨勢,迎來了數(shù)據(jù)爆炸式的增長,業(yè)界稱之為“大數(shù)據(jù)時代”的到來。大數(shù)據(jù)時代,信息越來越成為國家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn),大數(shù)據(jù)分析和挖掘也為長遠發(fā)展提供了決策支持的基礎。

信息技術的不斷發(fā)展,數(shù)據(jù)的產(chǎn)生和獲取手段變得越來越先進,對數(shù)據(jù)的處理要求也越來越高,大規(guī)模數(shù)據(jù)密集型應用系統(tǒng)數(shù)據(jù)量呈現(xiàn)指數(shù)級上升的趨勢,迎來了數(shù)據(jù)爆炸式的增長,業(yè)界稱之為“大數(shù)據(jù)時代”的到來。大數(shù)據(jù)時代,信息越來越成為國家和企業(yè)發(fā)展的戰(zhàn)略資產(chǎn),大數(shù)據(jù)分析和挖掘也為長遠發(fā)展提供了決策支持的基礎。

XData大數(shù)據(jù)處理機是曙光公司立足于當前大數(shù)據(jù)處理的時代背景下,自主研發(fā)的通用海量數(shù)據(jù)處理平臺,可廣泛的應用在通信數(shù)據(jù)統(tǒng)計,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領域。

產(chǎn)品概述

XData大數(shù)據(jù)處理機將數(shù)據(jù)存儲單元和處理單元分離,通過構架高效的服務中間件,將底層采用無共享(shared-nothing)結構的數(shù)據(jù)存儲節(jié)點,聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像,達到較高的數(shù)據(jù)讀寫并發(fā)度,計算并發(fā)度,以及良好的系統(tǒng)擴展性,可靠性和可維護性。 XData可廣泛的應用在通信數(shù)據(jù)統(tǒng)計,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領域。

XData向用戶提供統(tǒng)一的類JDBC的客戶端編程接口,向下管理分布在不同存儲模塊上的不同類型的數(shù)據(jù),并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術包括自動的服務注冊和負載均衡,可擴展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結構化和非結構化數(shù)據(jù)的統(tǒng)一訪問接口,不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復處理等多項技術。

產(chǎn)品特性

分級存儲

XData支持分級存儲,以降低系統(tǒng)的總體持有成本。即按照數(shù)據(jù)量和數(shù)據(jù)的訪問頻率,分為在線,離線和備份三個存儲級別,并支持數(shù)據(jù)在各級之間根據(jù)策略進行遷移。

并行處理架構

XData采用無共享的結構,提供高速的數(shù)據(jù)寫入能力。寫入過程中,采用并行寫入的方式,按照一定數(shù)據(jù)劃分策略,將數(shù)據(jù)寫入到后端數(shù)據(jù)節(jié)點。

XData將查詢語句分解成為在多個數(shù)據(jù)模塊并行執(zhí)行的查詢任務流,所有的查詢處理都在數(shù)據(jù)節(jié)點上并行的執(zhí)行,充分利用無共享結構的計算并行度。

XData提供任務斷點執(zhí)行功能,發(fā)生意外情況時,系統(tǒng)啟動后繼續(xù)執(zhí)行未完成的任務。

一體化執(zhí)行框架

XData提供類JDBC訪問接口:XJDBC,有JDBC 使用經(jīng)驗的用戶無需額外學習即可很方便的使用XJBDC訪問接口;XData提供XJDBC/MapReduce混合執(zhí)行框架,提供跨平臺的兼容性。

XData還提供較XJDBC訪問接口更高的性能的專用編程接口。

復雜數(shù)據(jù)類型關聯(lián)分析

XData支持大表關聯(lián)和大表嵌套類等復雜的查詢語句的處理。XData系統(tǒng)通過將復雜查詢解析成在多個數(shù)據(jù)節(jié)點上的并行任務流,提高復雜查詢的處理性能。

XData支持用戶自定義的并行查詢任務流,可以支持任意復雜的結構化/非結構化數(shù)據(jù)處理語義,滿足更廣泛的應用需求。

高可擴展性

XData對數(shù)據(jù)進行細粒度劃分,無需進行復雜規(guī)劃,任意規(guī)模的擴展都能夠達到數(shù)據(jù)分布均衡。

XData提供細粒度數(shù)據(jù)鎖,提高數(shù)據(jù)訪問并發(fā)度,減小單個查詢操作的無效IO,提高整體處理效率。

圖形化監(jiān)控管理

XData提供基于Web的圖形化的管理工具,簡化了系統(tǒng)管理員對于大數(shù)據(jù)系統(tǒng)的管理和維護工作,使得管理一套含有幾百個節(jié)點的XData和管理一套10個節(jié)點的XData的工作量接近。

XData大數(shù)據(jù)一體機包含兩類組件:計算模塊、數(shù)據(jù)模塊和客戶端。

計算模塊:用于數(shù)據(jù)的并行加載和查詢處理,對客戶端提供統(tǒng)一的數(shù)據(jù)處理接口。

數(shù)據(jù)模塊:用于提供結構化/非結構化數(shù)據(jù)一體化存儲空間,內嵌高性能數(shù)據(jù)存取引擎,并行處理所有計算模塊的數(shù)據(jù)訪問

請求。

客戶端:用于和用戶應用對接,提供XJDBC/MapReduce統(tǒng)一訪問接口和各服務專用訪問接口。

規(guī)格列表

型號

XData 大數(shù)據(jù)一體機
系統(tǒng)規(guī)格
系統(tǒng)容量
16PB
計算模塊
1024
數(shù)據(jù)模塊
1024
客戶端OS
CentOS5 X86/X86_64     CentOS6 X86/X86_64      RedHat5 X86/X86_64
RedHat6 X86/X86_64     SLES11 SP1 X86/X86_64   SLES11 SP2 X86/X86_64
系統(tǒng)功能
系統(tǒng)架構
非對稱雙集群架構,系統(tǒng)由計算集群和數(shù)據(jù)集群組成
訪問接口
支持類JDBC統(tǒng)一編程接口和各服務專用編程接口,兼容MapReduce執(zhí)行框架
負載均衡
支持基于連接數(shù)、容量和性能的負載均衡
數(shù)據(jù)遷移
支持數(shù)據(jù)控制器之間的數(shù)據(jù)遷移
分級存儲
支持同一系統(tǒng)內的數(shù)據(jù)分級
可擴展性
加載模塊
支持計算模塊在線動態(tài)添加和安全移除,擴展后系統(tǒng)數(shù)據(jù)加載能力呈線性增長
數(shù)據(jù)模塊
支持數(shù)據(jù)模塊在線動態(tài)添加,擴展后系統(tǒng)數(shù)據(jù)查詢處理能力呈線性增長
硬盤
Raid0/1/5/6
可靠性
計算模塊
多個計算模塊以負載均衡方式運行,單個或多個計算模塊故障不影響系統(tǒng)整體的數(shù)據(jù)加載和查詢處理,客戶端會自動重連切換到可用的計算模塊
數(shù)據(jù)模塊
數(shù)據(jù)模塊以集群方式運行,支持數(shù)據(jù)的雙副本和分級存儲策略對數(shù)據(jù)可靠性進行保護
管理
部署
支持集中式部署和配置
升級
支持在用戶業(yè)務不停止的情況下在線升級,升級過程對原有數(shù)據(jù)和配置無影響
狀態(tài)監(jiān)控
支持對系統(tǒng)總體狀態(tài)進行監(jiān)控,支持對各節(jié)點和服務狀態(tài)進行監(jiān)控
性能監(jiān)控
支持對系統(tǒng)總體性能、資源進行監(jiān)控,以及各節(jié)點的性能、資源進行監(jiān)控
告警
支持對系統(tǒng)軟硬件故障和系統(tǒng)狀體閥值信息進行告警,告警方式支持以界面告警、郵件告警和短信告警等方式
[責任編輯:任新勃]
任新勃
超簡潔的全新操作系統(tǒng)、用戶界面及硬件平臺,豐富的應用資源與數(shù)據(jù)保護技術,提供了只有昂貴、大規(guī)模存儲提供商才能提供的特性與功能。這些性能就是全球領先的企業(yè)網(wǎng)絡解決方案提供商美國網(wǎng)件(NETGEAR)公司,推出全新ReadyNAS系列存儲產(chǎn)品以及一套運行在其產(chǎn)品中的新開發(fā)的ReadyNAS OS 6 系統(tǒng)。
官方微信
weixin
精彩專題更多
存儲風云榜”是由DOIT傳媒主辦的年度大型活動;仡2014年,存儲作為IT系統(tǒng)架構中最基礎的元素,已經(jīng)成為了推動信息產(chǎn)業(yè)發(fā)展的核心動力,存儲產(chǎn)業(yè)的發(fā)展邁向成熟,數(shù)據(jù)經(jīng)濟的概念順勢而為的提出。
華為OceanStor V3系列存儲系統(tǒng)是面向企業(yè)級應用的新一代統(tǒng)一存儲產(chǎn)品。在功能、性能、效率、可靠性和易用性上都達到業(yè)界領先水平,很好的滿足了大型數(shù)據(jù)庫OLTP/OLAP、文件共享、云計算等各種應用下的數(shù)據(jù)存儲需求。
聯(lián)想攜ThinkServer+System+七大行業(yè)解決方案驚艷第十六屆高交會
 

公司簡介 | 媒體優(yōu)勢 | 廣告服務 | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術有限公司 版權所有.