首發(fā)數(shù)據生產力模型,推動企業(yè)提質增效
基于十多年內外部數(shù)字化轉型實踐,網易數(shù)帆可提供前沿的、高性能的大數(shù)據技術工具和平臺來支撐企業(yè)的數(shù)據應用。大會現(xiàn)場首發(fā)“數(shù)據生產力模型”,通過數(shù)字化實踐經驗模型助力企業(yè)數(shù)字化轉型目標達成,為企業(yè)實現(xiàn)提質增效。
模型定義為充分利用大數(shù)據相關技術, 協(xié)助行業(yè)客戶沉淀數(shù)據資產, 探索在業(yè)務場景中的數(shù)據應用價值, 并通過數(shù)據運營發(fā)揮長期效用。模型包含DataOps、DataFusion、DataProduct三大內核和數(shù)據技術、數(shù)據資產、數(shù)據應用、數(shù)據運營四要素,聚焦金融、制造、醫(yī)藥、流通等行業(yè)。從業(yè)務場景中挖掘數(shù)據價值,進一步釋放企業(yè)數(shù)據生產力。
夯實先進大數(shù)據技術,進一步完善DataOps能力
隨著數(shù)字化進程加速,當前企業(yè)大數(shù)據基礎設施的發(fā)展也面臨信創(chuàng)加速、架構解耦、云原生化、流式湖倉的建設等種種挑戰(zhàn)。為了應對數(shù)字化潛在風險,網易數(shù)帆不斷升級優(yōu)化產品功能與技術,進一步完善DataOps能力。
作為網易數(shù)帆數(shù)據生產力模型三大重要內核之一, DataOps是一種將軟件工程CI/CD的方法融入數(shù)據開發(fā)的流程,基于自動化的數(shù)據測試、任務發(fā)布等技術,構建數(shù)據發(fā)布流水線,使得數(shù)據開發(fā)效率更高、交付更加頻繁,交付質量更有保障。
網易數(shù)帆在DataOps實踐中發(fā)現(xiàn)了一系列發(fā)布審核的問題,如任務發(fā)布時資源遺漏,多集群、多環(huán)境任務發(fā)布難題等。
為此,網易數(shù)帆發(fā)布了全新的任務發(fā)布中心,進一步完善了網易數(shù)帆DataOps產品體系。在實際應用中,有諸多金融券商客戶,對數(shù)據開發(fā)有著嚴格的監(jiān)管要求,需要有如測試、預發(fā)、生產等多套環(huán)境來保障數(shù)據的隔離和安全。而現(xiàn)有平臺雖然支持部署多套,但是無法進行高效的任務發(fā)布,只能通過人工方式進行重復的創(chuàng)建、開發(fā)、上線等操作,成本高且極易出問題??蛻糌叫韪咝?、安全的產品能力來支持這類繁重的工作。
任務發(fā)布中心支持跨集群的資源發(fā)布能力,支持資源的批量導出和導入功能,可實現(xiàn)網絡隔離場景下的跨集群發(fā)布。
本次大會還有一個重要環(huán)節(jié),《從數(shù)據中臺到數(shù)據生產力 ——網易數(shù)據建設實踐》新書首發(fā)。這也是網易數(shù)帆大數(shù)據團隊總結經驗、沉淀技術的匠心之作,希望啟發(fā)更多企業(yè)探索出符合自身特色的數(shù)字化之路。
開發(fā)治理一體化,全方位沉淀企業(yè)數(shù)據資產
在數(shù)字經濟時代下,數(shù)據日益成為重要戰(zhàn)略資源和生產要素。因此,企業(yè)紛紛在數(shù)字化轉型過程中開始構建大數(shù)據相關的技術平臺,而在此過程中暴露出了一些問題,如:數(shù)據開發(fā)與數(shù)據治理脫節(jié)、缺少對不同平臺的統(tǒng)一管理、數(shù)據開發(fā)過程中效率和質量無法兼顧、煙囪式的數(shù)據開發(fā)、對數(shù)據價值和成本的評估不足等。
為了解決此問題,網易數(shù)帆將傳統(tǒng)數(shù)據治理的方法融入數(shù)據開發(fā)的全生命周期中,基于DataOps全生命周期數(shù)據開發(fā)底座,采用數(shù)據中臺架構,結合網易特色的基于ROI的數(shù)據資產化實踐,形成了數(shù)據治理2.0的方法論。
該方法論的核心內涵為“數(shù)據開發(fā)和數(shù)據治理一體化”理念,即“先設計后開發(fā)”,可以理解為一邊開發(fā),一邊治理,其目標就是將數(shù)據標準定義、指標規(guī)范定義、模型設計和數(shù)據開發(fā)體系連接在一起,以設計驅動開發(fā),在開發(fā)的過程中保障數(shù)據標準,數(shù)據質量,數(shù)據安全的落地,以達到“事半功倍”的治理效果。
網易數(shù)帆的數(shù)據治理體系,既包括傳統(tǒng)數(shù)據治理的三大件:數(shù)據質量、元數(shù)據管理、數(shù)據標準,還包括了數(shù)據中臺的相關系統(tǒng),例如指標系統(tǒng)、模型設計中心和數(shù)據服務等。通過實現(xiàn)數(shù)據治理體系升級,將數(shù)據治理的流程自然融入數(shù)據開發(fā)的全生命周期過程中,在數(shù)據開發(fā)的過程中,就完成數(shù)據治理。通過指標和數(shù)據標準的定義實現(xiàn)“規(guī)范即設計,設計即開發(fā),開發(fā)即治理”,讓數(shù)據“找得到,看得懂,信得過”,進而為企業(yè)提供及時、準確、復用、有價值的數(shù)據資產。
在數(shù)據治理領域,網易數(shù)帆也取得了不俗成績。有數(shù)數(shù)據治理平臺榮獲2022CCF大數(shù)據與計算智能大賽”優(yōu)秀案例獎“、2021-2022大數(shù)據產業(yè)優(yōu)秀產品獎等諸多獎項。 并在東北證券、德邦快遞等多位行業(yè)客戶實踐落地。
“未來,網易數(shù)帆會持續(xù)做好數(shù)據治理,打磨全鏈路大數(shù)據產品和技術能力,充分激活數(shù)據生產要素的活力,將企業(yè)的數(shù)據價值與業(yè)務變現(xiàn)相結合,并最終沉淀為企業(yè)數(shù)據資產,助力各個行業(yè)企業(yè)數(shù)字化轉型發(fā)展”,余利華說。