批流融合及全鏈路CDC需要同時滿足實時和批量的數(shù)據處理能力,降低企業(yè)維護的成本和復雜性,擴大最佳的資源使用效能;需要滿足全鏈路CDC,端到端實現(xiàn)從數(shù)據源到湖倉數(shù)據的增量分析,兼?zhèn)鋵崟r數(shù)據分析的全面性和準確性。

事務ACID一致性需要提供ACID保證數(shù)據寫入一致性;提供快照保證讀寫的并發(fā);提供upsert/merge into能力極大地縮小數(shù)據庫入庫延遲。對象存儲不支持文件原地更新,新的記錄以 append 的方式寫入新文件,即使對文件中的一行記錄進行更改,也要重寫整個文件,并且多線程并發(fā)讀寫也可能造成數(shù)據不一致。湖倉一體通過多版本的方式保證事務讀寫并發(fā)不沖突,通過將修改記錄在 change file 中通過合并 base 文件的方式提升記錄更改效率。

DataOps提供數(shù)據統(tǒng)一服務、數(shù)據沙箱、數(shù)據開發(fā)、代碼版本管理、CI/CD、工程化運維的流程化和自動化。

統(tǒng)一元數(shù)據管理支持異構數(shù)據的統(tǒng)一元數(shù)據管理,實現(xiàn)端到端的數(shù)據鏈路的自動化元數(shù)據采集,支持全鏈路血緣,一鍵式分析技術、業(yè)務、操作元數(shù)據詳情,為數(shù)據標準建設和數(shù)據質量提供重要支撐。湖倉一體中的 Catalog 是統(tǒng)一的元數(shù)據目錄,它可以幫助我們讓數(shù)據發(fā)現(xiàn)變的更簡單,更加快速的查找到你想要的數(shù)據,同時提供面向多引擎(Hive Spark flinktrino 等)的公共元數(shù)據存儲和統(tǒng)一元數(shù)據服務。

基于云原生架構,與主流云廠商深度連接,提供基于多云架構的統(tǒng)一數(shù)據平臺,幫助企業(yè)以最優(yōu)成本、最敏捷的方式搭建數(shù)據資產和數(shù)據分析的全鏈路,更加精細化實現(xiàn)數(shù)據價值。FastData 2.0面向企業(yè)高密度數(shù)據應用場景,立足數(shù)據驅動業(yè)務,圍繞提升客戶業(yè)務價值的核心目標,將湖倉一體作為產品升級迭代的核心架構,同時全面整合了從數(shù)據源、數(shù)據分析到數(shù)據價值實現(xiàn)的完整鏈路,對產品能力進行了全面深入的升級優(yōu)化。

從產品形態(tài)與服務上來看,產品可實主流公有云環(huán)境的靈活部署,包括AWS、Azure、華為云、阿里云等云上環(huán)境;提供實時湖倉引擎,將結構化、非/半結構化源數(shù)據存儲到數(shù)據湖中,調動分析引擎進行數(shù)據計算,最終將計算數(shù)據存儲到湖倉的表引擎中;此外,F(xiàn)astData還重點拓展了支持機器學習的數(shù)據智能開發(fā)能力,并將湖倉中的數(shù)據通過可視化技術將業(yè)務運維要求實時反映出來,真正幫助企業(yè)用好數(shù)據,高效釋放數(shù)據價值,驅動企業(yè)業(yè)務的發(fā)展。

FastData 2.0產品線全面升級

升級后的FastData2.0,從底層的實時湖倉引擎DLink,到中間Dataops的數(shù)據智能開發(fā)平臺DataFacts,再到上層面向商業(yè)應用及數(shù)據應用的數(shù)據分析平臺DataSense,已形成完整的湖倉體系。

解決數(shù)據存儲、處理及分析效率——實時湖倉引擎FastDataDLink

搭建企業(yè)級流批一體、湖倉一體分布式數(shù)據庫,提供多種數(shù)據類型的統(tǒng)一存儲能力,支持流批一體數(shù)據處理、數(shù)據分析、數(shù)據科學等多工作負載。采用存算分離架構,彈性擴展、高并發(fā)、低延時,支持EB級多模數(shù)據存儲與處理,無縫連接大數(shù)據生態(tài),提供一站式數(shù)據探索與數(shù)據開發(fā)能力。

解決數(shù)據開發(fā)效率及數(shù)據管理問題——數(shù)據智能開發(fā)平臺FastDataDataFacts

降低企業(yè)數(shù)字化轉型實施門檻,實現(xiàn)數(shù)據價值可持續(xù)釋放,為數(shù)據工程師提供數(shù)據集成、數(shù)據建模、數(shù)據開發(fā)、數(shù)據服務、數(shù)據質量、數(shù)據安全等開箱即用的服務能力,降低企業(yè)數(shù)字化轉型實施門檻,提升數(shù)據智能平臺構建效率,賦能企業(yè)數(shù)據資產持續(xù)沉淀,從而實現(xiàn)數(shù)據價值可持續(xù)釋放。

解決“數(shù)據最后一公里”——數(shù)據分析平臺FastDataDataSense

用數(shù)據透視業(yè)務,助力精準決策。DataSense是基于統(tǒng)一業(yè)務語義的數(shù)據分析平臺,通過無代碼開發(fā)的數(shù)據工廠Metric Store提升資產開發(fā)效率,為企業(yè)各類業(yè)務應用提供組裝式的數(shù)據分析服務能力。

致力于打造更加堅實靈活的湖倉一體,存算分離數(shù)據平臺底座,是FastData 2.0的全線產品升級的目標。支持同時滿足實時和批量的數(shù)據處理能力,實現(xiàn)數(shù)據智能開發(fā)與可視化增強分析,幫助企業(yè)以最優(yōu)成本、最敏捷的方式搭建數(shù)據資產和數(shù)據分析的全鏈路,更加精細化實現(xiàn)數(shù)據價值。滴普科技產品線總裁楊磊表示:“客戶的核心邏輯都是基于業(yè)務考慮,在這個過程中,如何打通數(shù)據鏈路,持續(xù)優(yōu)化企業(yè)內部的運營效率,是核心關注點”。

分享到

songjy

相關推薦