馬飛博士表示，在大數(shù)據(jù)時(shí)代，大型企業(yè)數(shù)據(jù)爆發(fā)式增長。在企業(yè)快速轉(zhuǎn)型過程中，企業(yè)數(shù)據(jù)處理場景日益豐富，數(shù)據(jù)分析要求越來越靈活，從傳統(tǒng)的報(bào)表分析、OLAP、OLTP業(yè)務(wù)，到新興的批處理、實(shí)時(shí)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)，新的數(shù)據(jù)分析模式層出不窮。但是，不同數(shù)據(jù)處理架構(gòu)對(duì)底層數(shù)據(jù)的存儲(chǔ)/組織、檢索（引擎），乃至處理接口都提出不同要求，對(duì)一份數(shù)據(jù)需要配套構(gòu)建多套不同結(jié)構(gòu)的數(shù)據(jù)集，導(dǎo)致數(shù)據(jù)冗余嚴(yán)重，數(shù)據(jù)不能共享。這導(dǎo)致了平臺(tái)維護(hù)成本、數(shù)據(jù)冗余和數(shù)據(jù)轉(zhuǎn)換代價(jià)的與日俱增，嚴(yán)重阻礙了大數(shù)據(jù)分析技術(shù)的應(yīng)用和發(fā)展。而融合數(shù)據(jù)存儲(chǔ)通過一份數(shù)據(jù)存儲(chǔ)，可以實(shí)現(xiàn)海量復(fù)雜數(shù)據(jù)（總量達(dá)到EB級(jí)的，單表數(shù)據(jù)達(dá)百億行級(jí)別以上，單表屬性維度達(dá)百維以上的數(shù)據(jù)）的歸并，并支持多維度任意組合查詢和分析，支持多種快速查詢需求（如過濾查詢、快速掃描、詳單查詢等）的統(tǒng)一響應(yīng)。將有效解決多業(yè)務(wù)場景下多份數(shù)據(jù)存儲(chǔ)的問題。因此，融合數(shù)據(jù)是大數(shù)據(jù)未來的發(fā)展方向。

馬飛博士介紹了不同行業(yè)對(duì)融合數(shù)據(jù)存儲(chǔ)的不同需求，以及目前業(yè)界典型的大數(shù)據(jù)系統(tǒng)存儲(chǔ)方案，在面對(duì)行業(yè)融合數(shù)據(jù)存儲(chǔ)需求時(shí)的局限和不足。并介紹了以Apache社區(qū)的ORC、Parquet和CarbonData等為代表的目前業(yè)界主流的融合存儲(chǔ)技術(shù)，這些主流技術(shù)的技術(shù)對(duì)比，以及在10億數(shù)據(jù)規(guī)模下的過濾查詢場景和聚合計(jì)算場景下的性能對(duì)比。

表1 開源融合數(shù)據(jù)存儲(chǔ)技術(shù)特性對(duì)比

圖6 Parquet和CarbonData在過濾查詢場景下的性能對(duì)比

圖7 Parquet和CarbonData在聚合計(jì)算場景下的性能對(duì)比

最后，馬飛博士也就融合存儲(chǔ)技術(shù)的發(fā)展進(jìn)行了展望。希望一方面用戶企業(yè)積極參與開源社區(qū)的活動(dòng)，通過貢獻(xiàn)需求與場景，推動(dòng)融合數(shù)據(jù)存儲(chǔ)技術(shù)的業(yè)務(wù)落地。另一方面利用產(chǎn)業(yè)組織、會(huì)展活動(dòng)、技術(shù)交流等場合加強(qiáng)廠商間的溝通與合作，共同促進(jìn)技術(shù)的發(fā)展與應(yīng)用水平的提升。

Apache? CarbonData?介紹：

Apache? CarbonData?是由華為開源貢獻(xiàn)的大數(shù)據(jù)高效存儲(chǔ)格式解決方案。Apache? CarbonData?致力于推動(dòng)大數(shù)據(jù)開源技術(shù)的持續(xù)發(fā)展，以一份數(shù)據(jù)同時(shí)滿足多種業(yè)務(wù)場景訴求，打造高效、開放、完整生態(tài)的大數(shù)據(jù)新融合數(shù)倉存儲(chǔ)方案。目前，CarbonData技術(shù)已經(jīng)在華為云MRS服務(wù)獲得使用。華為云MRS服務(wù)，在完全兼容開源組件的基礎(chǔ)上，融合CarbonData優(yōu)勢，支持大規(guī)模的數(shù)據(jù)存儲(chǔ)、分析和計(jì)算，為客戶提供云時(shí)代企業(yè)級(jí)一站式大數(shù)據(jù)服務(wù)，幫助企業(yè)輕松駕馭海量數(shù)據(jù)，洞察數(shù)據(jù)價(jià)值，在商海中占得先機(jī)。

點(diǎn)擊了解華為云存儲(chǔ)產(chǎn)品：http://www.huaweicloud.com/product/

zhupb