5月28日，“2021阿里云峰會”在北京開幕。此次峰會以“云上創(chuàng)新”為主題，阿里云與眾多嘉賓、合作伙伴共同探討了企業(yè)數(shù)字創(chuàng)新的新思路、新策略、新產(chǎn)品、新方案，展開“云上創(chuàng)新”的全景圖。
在28日下午舉行的“全鏈路數(shù)據(jù)服務(wù)-大數(shù)據(jù)及AI論壇”分論壇上，匯量科技 （Mobvista）資深算法架構(gòu)師、EnginePlus 產(chǎn)品負(fù)責(zé)人陳緒受邀發(fā)表演講，與嘉賓們分享了云原生數(shù)據(jù)湖的探索和實(shí)踐，并介紹了匯量自研開源數(shù)據(jù)湖框架 StarLake 與新一代“一站式云原生大數(shù)據(jù) AI 平臺” EnginePlus 。
從數(shù)據(jù)倉庫到湖倉一體：數(shù)據(jù)分析架構(gòu)的演進(jìn)
隨著企業(yè)業(yè)務(wù)的快速擴(kuò)展，衍生數(shù)據(jù)量面臨爆發(fā)式增長，企業(yè)對數(shù)據(jù)處理分析的需求日趨迫切。在此背景下，創(chuàng)新技術(shù)與方案成為企業(yè)剛需，用以解決數(shù)據(jù)智能處理的挑戰(zhàn)。
陳緒介紹稱，云原生的數(shù)據(jù)分析架構(gòu)，經(jīng)歷了從傳統(tǒng)數(shù)倉，到數(shù)據(jù)湖，再到湖倉一體的演進(jìn)。
匯量科技資深算法架構(gòu)師、EnginePlus 產(chǎn)品負(fù)責(zé)人陳緒發(fā)表演講
傳統(tǒng)數(shù)據(jù)倉庫強(qiáng)調(diào)結(jié)構(gòu)化數(shù)據(jù)，在當(dāng)今的互聯(lián)網(wǎng)應(yīng)用中會導(dǎo)致建模繁瑣、流批架構(gòu)復(fù)雜等一系列問題，傳統(tǒng)的 hive 等方案也不再適配云原生的演進(jìn)趨勢。在這種背景下，數(shù)據(jù)湖應(yīng)運(yùn)而生。
數(shù)據(jù)湖解決了數(shù)倉的部分問題，例如實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的處理、流批一體化等等，此外，云上元數(shù)據(jù)和對象存儲能力也在持續(xù)不斷地演進(jìn)、優(yōu)化。在 OSS 的支撐下，計(jì)算和存儲能夠更好地實(shí)現(xiàn)分離，數(shù)據(jù)湖的能力由此得到擴(kuò)展。
因此，數(shù)據(jù)湖和數(shù)據(jù)倉庫的功能進(jìn)一步整合，已經(jīng)成為當(dāng)前的趨勢。
陳緒表示，從業(yè)務(wù)視角來看，理想的湖倉一體是以數(shù)據(jù)湖為“底座”，具備元數(shù)據(jù)管理強(qiáng)拓展性，同時優(yōu)化對象存儲訪問的性能，進(jìn)而能夠優(yōu)化寬表的實(shí)時多流攝入能力，最終能夠統(tǒng)一支撐分析和科學(xué) AI 的應(yīng)用場景。
StarLake：匯量科技自研開源數(shù)據(jù)湖框架
據(jù)悉，為在互聯(lián)網(wǎng)業(yè)務(wù)中實(shí)踐數(shù)據(jù)湖和湖倉一體化，匯量科技自研并開源了數(shù)據(jù)湖框架 StarLake，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的實(shí)時攝入和更新，高效構(gòu)建湖倉一體化分析平臺，能夠更好地解決開發(fā)者上云和數(shù)據(jù)處理的挑戰(zhàn)。
據(jù)介紹，相比開源同類數(shù)據(jù)湖框架，StarLake 具有以下特點(diǎn)：
1、支持多級分區(qū)和 Range、Hash 兩種分區(qū)模式，在 Upsert 場景上有較明顯的性能提升，能夠支撐實(shí)時寬表的能力；
2、采用分布式 DB 實(shí)現(xiàn)元數(shù)據(jù)管理，在擴(kuò)展能力上進(jìn)一步提升；
3、針對對象存儲的專門優(yōu)化: 通過重寫文件解析層與存儲層融合，達(dá)到計(jì)算和 IO 并行化；
4、同時支持 Copy on Write 和 Merge on Read 模式，支持高并發(fā)的寫入能力；
5、將元數(shù)據(jù)、分區(qū)規(guī)則等進(jìn)一步下推到計(jì)算引擎層，進(jìn)行聯(lián)合算子優(yōu)化，提升查詢分析的性能。
陳緒提到，在匯量科技，StarLake 數(shù)據(jù)湖框架并非“單兵作戰(zhàn)”，而是作為新一代一站式云原生大數(shù)據(jù) AI 平臺 EnginePlus 的一部分，在云原生的架構(gòu)下，更好地為企業(yè)提供服務(wù)。
EnginePlus：新一代一站式云原生大數(shù)據(jù) AI 平臺
記者了解到，在 EnginePlus 平臺上，StarLake 數(shù)據(jù)湖可以實(shí)現(xiàn)高效的數(shù)據(jù)攝入，為分析、計(jì)算提供“底座”，同時還可無縫對接匯量科技自研的開源機(jī)器學(xué)習(xí)框架 MindAlpha ，對數(shù)據(jù)進(jìn)行人工智能建模。
EnginePlus 通過將大數(shù)據(jù)與云計(jì)算、人工智能等信息技術(shù)融合創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)攝入、數(shù)據(jù)計(jì)算、模型訓(xùn)練、在線預(yù)測的一站式閉環(huán)，幫助客戶有效提升數(shù)據(jù)處理的效率與精準(zhǔn)度。在大規(guī)模業(yè)務(wù)的生產(chǎn)驗(yàn)證下，EnginePlus 兼具快速接入、簡單易用、高性能、高穩(wěn)定性等特點(diǎn)。
陳緒舉例稱，在典型的個性化算法業(yè)務(wù)場景里，會存在多個實(shí)時流，包括用戶數(shù)據(jù)流、item 數(shù)據(jù)流、交互數(shù)據(jù)流、離線數(shù)據(jù)等，通過 StarLake 數(shù)據(jù)湖框架，實(shí)時流可以直接并發(fā)入湖，使多個維度的更新同步進(jìn)行。
結(jié)合 OSS 為數(shù)據(jù)湖提供的存儲能力，就能搭建起一個實(shí)時化的寬表，在這個過程中，基本消除了傳統(tǒng)數(shù)倉建模和 ETL 流程，隨后就可以對接分析、BI 和 AI 的計(jì)算。
如此，業(yè)務(wù)流程變得更加敏捷，數(shù)據(jù)架構(gòu)得到了大幅簡化。據(jù)了解，這套架構(gòu)已經(jīng)在廣告、電商、風(fēng)控等場景得到落地使用。
數(shù)據(jù)湖場景下，云商產(chǎn)品去向何方？
作為云原生數(shù)據(jù)湖的深度用戶，匯量科技從業(yè)務(wù)視角分享了 StarLake 數(shù)據(jù)湖框架的架構(gòu)實(shí)踐。從架構(gòu)角度，針對數(shù)據(jù)湖的場景，匯量科技希望未來云廠商在產(chǎn)品功能上如何進(jìn)一步發(fā)展？
在演講后的圓桌討論環(huán)節(jié)，陳緒提出，站在互聯(lián)網(wǎng)業(yè)務(wù)和云原生架構(gòu)視角看“湖倉一體”的演進(jìn)，未來將會是應(yīng)用場景和底層架構(gòu)融合“co-design” 的趨勢。
陳緒認(rèn)為，EnginePlus 的數(shù)據(jù)湖組件 StarLake，根據(jù)業(yè)務(wù)場景以及面向云上對象存儲需要有新的融合設(shè)計(jì)，這同時也是一種新的“co-design”；在湖倉一體趨勢中，大家也看到了對象存儲和應(yīng)用層的融合——例如，近期 OSS 推出的加速器就是一個很好的功能；未來，云廠商在對象存儲上進(jìn)一步提升元數(shù)據(jù)管理、一致性、并發(fā)吞吐等能力，更好地支撐各類實(shí)時數(shù)據(jù)分析的場景，能夠進(jìn)一步在湖上統(tǒng)一數(shù)據(jù)分析體系，是非常有意義的趨勢。
陳緒在圓桌討論環(huán)節(jié)
伴隨著新的行業(yè)發(fā)展趨勢，企業(yè)有望實(shí)現(xiàn)新一代數(shù)據(jù)智能開發(fā)、解放業(yè)務(wù)生產(chǎn)力，組成更美好的“云上創(chuàng)新”全景圖。
