首當(dāng)其沖的挑戰(zhàn)便是,數(shù)據(jù)存儲、數(shù)據(jù)處理、AI組件眾多。處理難度極大。
緊接著,數(shù)據(jù)孤島問題接踵而至。
多種數(shù)據(jù)源,每種數(shù)據(jù)單獨(dú)在一個庫中,業(yè)務(wù)人員需要在應(yīng)用層做數(shù)據(jù)集成/數(shù)據(jù)搬移,技能要求高,工程耗時長。
數(shù)據(jù)量日益增大,數(shù)據(jù)源日益增多,單個庫擴(kuò)容困難,性能下降,成本高,難以做跨市跨省等全量數(shù)據(jù)分析。
缺乏高級分析工具,前沿技術(shù),如機(jī)器學(xué)習(xí)、圖計算、深度學(xué)習(xí)等,未能充分利用多種數(shù)據(jù)深入挖掘價值。
用智能解決非智能
鑒于數(shù)據(jù)湖現(xiàn)狀,我們?nèi)绾卫盟鼈優(yōu)槠髽I(yè)帶來優(yōu)勢?這里是智能數(shù)據(jù)湖整體解決方案,包含四個關(guān)鍵的實(shí)踐:融合,高效,易用,智能
融合——云化的hadoop
統(tǒng)一數(shù)據(jù)存儲,再無數(shù)據(jù)孤島;開放格式,豐富的數(shù)據(jù)類型:JSON, CSV, AVRO,圖片,視頻等;開放接口,兼容原生社區(qū)應(yīng)用:100%兼容OBS和HDFS接口,總而言之,我們在數(shù)據(jù)湖中處理數(shù)據(jù),試圖找到新的洞察力。我們不會,任由數(shù)據(jù)處于最原始的格式,我們將優(yōu)化數(shù)據(jù)。確保數(shù)據(jù)得到治理,確保數(shù)據(jù)在語義上一致,并滿足業(yè)務(wù)的要求。
高效
一個字:快。實(shí)時數(shù)據(jù)實(shí)時分析, Apache CarbonData加速,萬億數(shù)據(jù)秒級響應(yīng)
易用
做一個一站式、端到端開發(fā)工具,支持大數(shù)據(jù)+AI敏捷開發(fā)??梢暬?代表豐富的可視化組件,圖形化編輯界面,同時支持定制;而數(shù)據(jù)湖一站式開發(fā)工具,可管理多種大數(shù)據(jù)服務(wù),實(shí)現(xiàn)跨服務(wù)作業(yè)編排調(diào)度;支持拖拉拽,預(yù)設(shè)10多種任務(wù)類型。
最后,對于數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量,數(shù)據(jù)安全的治理不可或缺。
數(shù)據(jù)湖治理:一站式治理平臺(數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量,數(shù)據(jù)安全)
智能
重點(diǎn)絕不僅僅是數(shù)據(jù),而是始終關(guān)于你要做什么工作。使用場合是什么,你可以運(yùn)用什么應(yīng)用程序來處理該數(shù)據(jù)以便從中受益——用智能實(shí)現(xiàn)高效。
智能元數(shù)據(jù)采集,統(tǒng)一數(shù)據(jù)視圖
智能數(shù)據(jù)管理,無需人工拷貝
智能優(yōu)化建議,免DBA
對數(shù)據(jù)進(jìn)行“聯(lián)系”,而不是“收集”。相比將數(shù)據(jù)轉(zhuǎn)移到越來越大的集群或數(shù)據(jù)倉庫,讓數(shù)據(jù)待在數(shù)據(jù)湖進(jìn)行智能化處理,來得更省錢、更容易也更高效。
如果想先試試效果,無論是企業(yè)用戶,還是個人用戶,華為云均提供了一組免費(fèi)套餐,最高可免費(fèi)試用60天,與此同時,華為云數(shù)據(jù)湖工廠(Data Lake Factory)2018年12月31日前提供免費(fèi)試用,名額有限。