浪潮云數(shù)融合方案部署架構(gòu)圖
生產(chǎn)環(huán)境注重業(yè)務(wù)連續(xù)、平臺(tái)穩(wěn)定及數(shù)據(jù)安全性,考慮到大數(shù)據(jù)處理效率、HDFS多副本導(dǎo)致的冗余消耗及大數(shù)據(jù)應(yīng)用的快速開發(fā)部署等諸多因素,浪潮采用大數(shù)據(jù)平臺(tái)物理機(jī)部署、大數(shù)據(jù)應(yīng)用云上部署、“云上”應(yīng)用調(diào)用“云下”大數(shù)據(jù)平臺(tái)能力,并通過(guò)統(tǒng)一云管平臺(tái)實(shí)現(xiàn)虛擬集群及大數(shù)據(jù)集群的統(tǒng)一管理(智能監(jiān)控,運(yùn)維自動(dòng)化、計(jì)量計(jì)費(fèi))、用戶統(tǒng)一認(rèn)證并提供統(tǒng)一的對(duì)外服務(wù)目錄,實(shí)現(xiàn)了高效大數(shù)據(jù)處理、合理數(shù)據(jù)冗余、快速的應(yīng)用部署、以及基于RBAC權(quán)限訪問(wèn)和以VDC維度的資源管理,最大限度發(fā)揮云計(jì)算與大數(shù)據(jù)融合的優(yōu)勢(shì)。
在IaaS層,使用浪潮云海平臺(tái)InCloud OpenStack及大數(shù)據(jù)平臺(tái)InCloud Insight實(shí)現(xiàn)物理設(shè)備(服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等)云化,并形成虛擬化資源池、裸金屬資源池及大數(shù)據(jù)資源池,向上層提供計(jì)算虛擬化、存儲(chǔ)虛擬化(塊存儲(chǔ)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、文件存儲(chǔ)服務(wù))、網(wǎng)絡(luò)虛擬化及大數(shù)據(jù)服務(wù)。
在PaaS層,通過(guò)基礎(chǔ)環(huán)境適配器(Cloud Provider Interface),浪潮彈性分布式操作系統(tǒng)(IOP)能夠直接調(diào)用IaaS能力,并向上提供基礎(chǔ)資源服務(wù)、計(jì)算服務(wù)、數(shù)據(jù)/大數(shù)據(jù)服務(wù)、應(yīng)用中間件服務(wù)、開發(fā)支撐服務(wù)及多媒體處理服務(wù)等六大類功能。其中基礎(chǔ)資源服務(wù)包含彈性云主機(jī)服務(wù)、對(duì)象存儲(chǔ)服務(wù)、負(fù)載均衡服務(wù)、網(wǎng)絡(luò)服務(wù)及VDC服務(wù)。計(jì)算服務(wù)則利用大數(shù)據(jù)能力提供離線計(jì)算服務(wù)(用于批量計(jì)算、指標(biāo)匯總計(jì)算、數(shù)據(jù)挖掘等場(chǎng)景)、實(shí)時(shí)計(jì)算服務(wù)(用于TB級(jí)以上數(shù)據(jù)實(shí)時(shí)讀寫和數(shù)據(jù)實(shí)時(shí)分析等場(chǎng)景)、流式計(jì)算服務(wù)(用于實(shí)時(shí)布控、實(shí)時(shí)監(jiān)控預(yù)警、實(shí)時(shí)統(tǒng)計(jì)等實(shí)時(shí)性要求非常高的場(chǎng)景)、內(nèi)存計(jì)算服務(wù)(用于批處理,SQL查詢,流式處理以及機(jī)器學(xué)習(xí)等),全方位支撐上層的數(shù)據(jù)治理和應(yīng)用。
浪潮云數(shù)融合方案IaaS&PaaS架構(gòu)圖
在DaaS層,由數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)組成,覆蓋數(shù)據(jù)從產(chǎn)生、傳輸、存儲(chǔ)、初加工、細(xì)加工到應(yīng)用及銷毀的全生命周期。以數(shù)據(jù)資源為核心的理念,充分利用云平臺(tái)基礎(chǔ)設(shè)施與云平臺(tái)提供的各類計(jì)算服務(wù),對(duì)業(yè)務(wù)各種來(lái)源的各種類別數(shù)據(jù)進(jìn)行整合匯集、存儲(chǔ)組織、分析處理以及標(biāo)準(zhǔn)化管理,并以服務(wù)、接口等形式提供給上層各類應(yīng)用。在數(shù)據(jù)集成階段,能夠接受不同數(shù)據(jù)源(如內(nèi)網(wǎng)數(shù)據(jù)庫(kù)、行業(yè)文件庫(kù)、應(yīng)用系統(tǒng)日志等)和不同數(shù)據(jù)類型(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等),并提供集成工具及數(shù)據(jù)格式轉(zhuǎn)換工具實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化,上層應(yīng)用可無(wú)差別地調(diào)用各類數(shù)據(jù)。數(shù)據(jù)集成之后會(huì)進(jìn)入數(shù)據(jù)治理環(huán)節(jié),實(shí)現(xiàn)數(shù)據(jù)類別規(guī)劃(定義不同安全要求等級(jí)數(shù)據(jù)不同的訪問(wèn)權(quán)限及方式)、數(shù)據(jù)質(zhì)量管理(劃分?jǐn)?shù)據(jù)質(zhì)量等級(jí)及存儲(chǔ)方式)、數(shù)據(jù)倉(cāng)庫(kù)(可根據(jù)業(yè)務(wù)維度劃分)及數(shù)據(jù)服務(wù)總線(提供數(shù)據(jù)訪問(wèn)控制)。而數(shù)據(jù)處理層則負(fù)責(zé)提供面向業(yè)務(wù)的各類功能引擎(檔案引擎、索引引擎、對(duì)比引擎、分析引擎及計(jì)算引擎等)及相應(yīng)的調(diào)度服務(wù),上層應(yīng)用可通過(guò)提交任務(wù)形式調(diào)用以上引擎服務(wù),輕松實(shí)現(xiàn)數(shù)據(jù)的并發(fā)異步調(diào)用。數(shù)據(jù)是企業(yè)的重要資產(chǎn),為最大化提高數(shù)據(jù)的價(jià)值,平臺(tái)對(duì)外提供數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)中心,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)超市、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享交換機(jī)數(shù)據(jù)價(jià)值評(píng)估。上述所有數(shù)據(jù)加工環(huán)節(jié),均以RPC或API接口方式對(duì)應(yīng)用開放服務(wù),以專業(yè)的數(shù)據(jù)服務(wù)使得應(yīng)用層能更加聚焦業(yè)務(wù)的孵化和加速。
浪潮云數(shù)融合方案DaaS架構(gòu)圖
在SaaS層,分為兩方面應(yīng)用:基礎(chǔ)應(yīng)用(郵件、辦公應(yīng)用、日志系統(tǒng)等)和業(yè)務(wù)自定義應(yīng)用。通過(guò)調(diào)用IaaS、PaaS、DaaS層服務(wù)接口,應(yīng)用開發(fā)商可快速完成高可用、高并發(fā)的業(yè)務(wù)應(yīng)用的開發(fā)和部署。
通過(guò)這四層,浪潮云數(shù)融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS云化能力,亦提供了計(jì)算能力強(qiáng)大,覆蓋離線計(jì)算、在線計(jì)算、內(nèi)存計(jì)算、流計(jì)算等典型大數(shù)據(jù)應(yīng)用場(chǎng)景的大數(shù)據(jù)平臺(tái),同時(shí)特有的云數(shù)融合方案,實(shí)現(xiàn)數(shù)據(jù)不同層、不同應(yīng)用、不同租戶從數(shù)據(jù)采集-數(shù)據(jù)集成-數(shù)據(jù)治理-數(shù)據(jù)處理全數(shù)據(jù)生命周期的管理,讓客戶在云數(shù)時(shí)代乘風(fēng)破浪,永立潮頭。