通過上圖可以看到Hadoop應(yīng)用通過S3A客戶端上傳數(shù)據(jù)時，需要調(diào)用S3 SDK把請求封裝成HTTP然后發(fā)送給XEOS的S3網(wǎng)關(guān)，通過S3網(wǎng)關(guān)將數(shù)據(jù)寫入存儲集群，從而達(dá)到數(shù)據(jù)上傳的目的。下載文件也是一樣的道理。

S3A雖然可以實(shí)現(xiàn)基本的計算和存儲分離，但基本架構(gòu)和協(xié)議兼容性上還是存在一些問題：

由于基于標(biāo)準(zhǔn)的S3 SDK實(shí)現(xiàn)，無法利用各個存儲系統(tǒng)之間的特性差異進(jìn)行針對性優(yōu)化

S3A因?yàn)橥ㄟ^S3 SDK來實(shí)現(xiàn)，所以并不支持標(biāo)準(zhǔn)Hadoop文件系統(tǒng)的append、flush等操作

S3A將文件接收到本機(jī)硬盤后，再并發(fā)的分片上傳到對象存儲，對于本地磁盤IO有較大開銷，同時如果出現(xiàn)斷電、壞盤等異常，會造成已寫入到本地未回傳的數(shù)據(jù)無法訪問

元數(shù)據(jù)加速方案

由于對象存儲元key-value元數(shù)據(jù)機(jī)制的限制，在hadoop場景中當(dāng)有大量元數(shù)據(jù)相關(guān)訪問或者操作時，元數(shù)據(jù)服務(wù)可能成為hadoop應(yīng)用性能的瓶頸，因此業(yè)界出現(xiàn)了在對象存儲系統(tǒng)外部維護(hù)專用的元數(shù)據(jù)服務(wù)的方案，如Alluxio等方案，他們通過獨(dú)立的元數(shù)據(jù)服務(wù)來向hadoop提供高性能的元數(shù)據(jù)訪問，同時通過內(nèi)部機(jī)制與對象存儲實(shí)現(xiàn)元數(shù)據(jù)的最終一致性。

該類型方案能為元數(shù)據(jù)性能帶來較大的提升，但同時需要引入獨(dú)立的元數(shù)據(jù)服務(wù)，同時存在著以下幾類挑戰(zhàn)：

獨(dú)立元數(shù)據(jù)與對象存儲實(shí)際數(shù)據(jù)的一致性管理

獨(dú)立元數(shù)據(jù)引入的資源開銷，如CPU、SSD等

獨(dú)立元數(shù)據(jù)后與對象存儲數(shù)據(jù)的互通方案

XSKY 星辰天合基于對象存儲的大數(shù)據(jù)方案——XHFS

方案介紹

XHFS借鑒了S3A的實(shí)現(xiàn)方案，在計算端集成了XHFS模塊，XHFS實(shí)現(xiàn)了Hadoop FileSystem的list、delete、rename、mkdir等接口，以及InputStream和OutputStream的XEOS對象讀寫功能。

·強(qiáng)一致模型

不同于部分對象存儲產(chǎn)品無法提供數(shù)據(jù)的強(qiáng)一致語義，如并發(fā)寫入時無法保證一定能讀到最新的數(shù)據(jù)，所以需要應(yīng)用層利用外部機(jī)制進(jìn)行強(qiáng)一致保障，如引入S3Guard等方案增加復(fù)雜度和成本，而XEOS原生提供強(qiáng)一致語義，無需引入復(fù)雜的業(yè)務(wù)邏輯進(jìn)行強(qiáng)一致保障。

·高效重命名

重命名通常對于對象存儲是開銷較大的動作，但大數(shù)據(jù)場景利用目錄重命名來進(jìn)行CAS(Compare And Swap，即比較并交換)的操作比較常見，CAS操作即將計算過程數(shù)據(jù)寫入臨時目錄，在任務(wù)結(jié)束時進(jìn)行目錄的總體重命名，這就對使用對象存儲作為大數(shù)據(jù)底座的方式帶來了比較大的挑戰(zhàn)。

XEOS通過存儲后端優(yōu)化，可以實(shí)現(xiàn)快速的對象重命名和目錄重命名，XHFS利用XEOS內(nèi)部接口能夠向應(yīng)用提供高效的文件重命名和目錄重命名功能。

·高性能寫入

XHFS將OutputStream改造為對象追加寫的方式，能夠提供更高性能的數(shù)據(jù)寫入方式，同時能大幅降低寫入過程中斷電等異常造成的數(shù)據(jù)寫入失敗的數(shù)據(jù)量。

·hflush、hsync支持

基于XEOS的特性，XHFS可以兼容hflush、hsync等對寫入一致性要求嚴(yán)格的語義。

方案優(yōu)勢

·海量存儲，數(shù)據(jù)入湖

全局視角的多存儲平臺管理，單桶千億對象規(guī)格，分布式存儲架構(gòu)無限橫向擴(kuò)展，無需數(shù)據(jù)重平衡的整存儲池擴(kuò)容、整存儲平臺擴(kuò)容、整站點(diǎn)擴(kuò)容，大規(guī)格EC策略以及數(shù)據(jù)分層保證數(shù)據(jù)長期、低成本的存放。

XEOS可以提供S3、NFS、HDFS的數(shù)據(jù)訪問互通，可直接將XEOS直接作為數(shù)據(jù)源進(jìn)行大數(shù)據(jù)分析，無需將數(shù)據(jù)加載到HDFS后進(jìn)行分析，從而可以降低成本，提高生產(chǎn)效率。

·數(shù)據(jù)流動，無縫互通

通過XHFS可將XEOS作為數(shù)據(jù)存儲與流轉(zhuǎn)中心，根據(jù)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)通過生命周期管理、數(shù)據(jù)復(fù)制讓數(shù)據(jù)按需流動，滿足不同組件的性能和成本要求。結(jié)合XHFS與HDFS協(xié)議互通的特性，打破應(yīng)用間數(shù)據(jù)壁壘，助力數(shù)據(jù)價值挖掘。

·擁抱混合云架構(gòu)

無縫對接公有云，通過生命周期的流動、鏡像、歸檔，輕松上云；通過回源的重定向、代理、鏡像、CDN、重建，輕松下云。多種模式按需使用，發(fā)揮公有云的成本優(yōu)勢，進(jìn)一步降低TCO。

摘要：基于數(shù)據(jù)湖存儲的對象大數(shù)據(jù)XHFS方案，靈活適配S3A大數(shù)據(jù)生態(tài)，全生命周期管理，無縫上下云。

適用場景

·HDFS與XHFS共存模式

根據(jù)數(shù)據(jù)熱度的差異選擇不同的存儲方案，將溫?zé)釘?shù)據(jù)放置在HDFS上滿足高性能要求，較冷的數(shù)據(jù)通過XHFS存放到XEOS滿足低成本的長期保存，通過ViewFS提供統(tǒng)一的訪問入口，對應(yīng)用屏蔽存儲形態(tài)差異。從而實(shí)現(xiàn)計算資源的緊密整合，獲得高性能、低成本的大數(shù)據(jù)服務(wù)，提升企業(yè)數(shù)據(jù)價值。

·海量冷數(shù)據(jù)存儲和分析

對象存儲天然具有高可擴(kuò)展性和低成本的優(yōu)勢，是作為數(shù)據(jù)湖存儲的不二選擇。通過XHFS將海量的HDFS數(shù)據(jù)存入對象存儲，不但能獲得更低的存儲成本，同時可以實(shí)現(xiàn)冷數(shù)據(jù)的就地分析和管理，大幅降低企業(yè)的數(shù)據(jù)管理復(fù)雜度。

成功案例

上海金山區(qū)政府政務(wù)大數(shù)據(jù)應(yīng)用平臺

該項目主要包含數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)平臺和大數(shù)據(jù)可視化展示三個部分，通過平臺建設(shè)有效利用政務(wù)信息數(shù)據(jù)資源，提升服務(wù)質(zhì)量、降低服務(wù)成本、增強(qiáng)決策科學(xué)性，為簡化審批流程、提高審批和服務(wù)效能創(chuàng)造良好基礎(chǔ)。實(shí)現(xiàn)了業(yè)務(wù)類型數(shù)據(jù)資源的采集、稽查及處理，通過數(shù)據(jù)質(zhì)量報告對業(yè)務(wù)和技術(shù)規(guī)范性做檢驗(yàn)指導(dǎo)；實(shí)現(xiàn)政務(wù)服務(wù)基本情況和靚點(diǎn)工作的成果應(yīng)用展現(xiàn)；完成了政務(wù)服務(wù)、放管服改革成效與雙創(chuàng)環(huán)境建設(shè)等方面的指標(biāo)設(shè)計，展現(xiàn)政務(wù)服務(wù)過程的整體圖景。

同城雙活部署架構(gòu)

本項目利用XEDP同時交付塊存儲和對象存儲（即XEOS)，一個機(jī)房一套存儲，同時采用同城雙活的災(zāi)備部署架構(gòu)，利用XSKY SDS的延展集群功能，實(shí)現(xiàn)兩個機(jī)房的實(shí)時數(shù)據(jù)同步和災(zāi)備，通過在存儲層實(shí)現(xiàn)數(shù)據(jù)存儲和訪問的雙活，大幅簡化應(yīng)用雙活部署難度，實(shí)現(xiàn)快速的雙活部署

業(yè)務(wù)邏輯架構(gòu)

將XEDP/XEOS作為海量存儲的數(shù)據(jù)湖底座，得益于XHFS的兼容性實(shí)現(xiàn)了大數(shù)據(jù)相關(guān)組件無縫遷移和訪問。方案中XHFS與HDFS共存，將關(guān)系型熱數(shù)據(jù)寫入HBase，保留小規(guī)模HDFS集群以獲取更高的本地性能；而對于海量的非結(jié)構(gòu)化數(shù)據(jù)，通過Sqoop將數(shù)據(jù)源直接導(dǎo)入XHFS，并由XHFS支撐Hive讀寫和分析請求，以獲取長期海量低成本存儲的收益?；赬HFS的數(shù)據(jù)湖，不但能接入大數(shù)據(jù)存儲，同時能很好的作為web應(yīng)用平臺等數(shù)據(jù)的存儲目標(biāo)，實(shí)現(xiàn)多協(xié)議互通訪問，達(dá)到數(shù)據(jù)湖存儲的目的。

方案優(yōu)勢

XEDP同時交付多種存儲方式，一個機(jī)房一套存儲，滿足各類業(yè)務(wù)需求

快速、便捷實(shí)現(xiàn)雙活災(zāi)備機(jī)制

數(shù)據(jù)統(tǒng)一入湖，數(shù)據(jù)互通，各組件數(shù)據(jù)協(xié)同生產(chǎn)消費(fèi)

充分發(fā)揮HDFS和對象各自優(yōu)勢，達(dá)到最佳TCO?。

xiesc