比如,當管理層設(shè)定一個年累計銷售目標,會不停的看各種數(shù)據(jù),這就叫“數(shù)字化管理”,涉及的各種指標可以叫做管理指標。管理指標需要在執(zhí)行層面拆分,執(zhí)行層面會用數(shù)據(jù)做很多分析工作,制定與執(zhí)行運營動作,發(fā)現(xiàn)運營中的問題后會隨時做出調(diào)整,這叫“數(shù)智化運營”。
相比之下,數(shù)字化管理關(guān)注于企業(yè)高層的戰(zhàn)略性決策,需求相對固定,并且“看數(shù)”周期比較長又相對固定。而數(shù)智化運營關(guān)注于具體的業(yè)務操作和日常決策,需要很多團隊和員工從事相關(guān)的動作,不僅需求多變,而且對實時性要求比較高。
從背后的技術(shù)實現(xiàn)來看,管理層“看數(shù)”用的報表就是從數(shù)據(jù)中提取信息并制作匯總表,這個過程相對簡單。而數(shù)智化運營在“用數(shù)”時則非常復雜,隨著業(yè)務靈活性、復雜性的提高,需要數(shù)據(jù)技術(shù)層面做的工作越來越多,會帶來非常多的挑戰(zhàn),這些挑戰(zhàn)集中體現(xiàn)在ETL工程方面。
比如,它會產(chǎn)生很多新的數(shù)據(jù)鏈路,會需要引入很多新的數(shù)據(jù)源,需要大量的ETL操作,需要進行大量的數(shù)據(jù)搬運和處理。還需要存儲和計算大量數(shù)據(jù),這會帶來更高的成本。
同時,每一條鏈路就是一次作業(yè),每一次作業(yè)都必須經(jīng)歷排期、研發(fā)、測試、上線發(fā)布等繁瑣的步驟,想要用數(shù)據(jù)就經(jīng)常需要漫長的等待時間,導致很多數(shù)據(jù)無法被及時利用,對于業(yè)務端很不友好。
數(shù)據(jù)鏈路的末端對應著一項項需求,每一項需求都要有一個高性能數(shù)據(jù)集,才能滿足不同的查詢性能需求。然而,每創(chuàng)建一個高性能數(shù)據(jù)集,都需要額外的成本。為此,企業(yè)不得不預先計算并提供大量可能會被使用的數(shù)據(jù),這又會增加成本,降低了邊際收益。
同時,多變的需求還讓人工維護數(shù)據(jù)目錄的方式變得無以為繼,因為ETL工程師數(shù)量和能力的提升速度遠遠趕不上數(shù)據(jù)需求量和需求復雜度的增速。此時,不得不面對失真的數(shù)據(jù)目錄和失效的數(shù)據(jù)管理。
如何應對“用數(shù)”帶來的ETL挑戰(zhàn)
為應對這些挑戰(zhàn),Aloudata提出了創(chuàng)新的“NoETL”模式。這種模式是要尋找一種不再依賴于傳統(tǒng)ETL工程師人力驅(qū)動的方法,通過技術(shù)手段降低傳統(tǒng)ETL的復雜性和成本。
Aloudata提出的NoETL架構(gòu)包含三部分,分別是全新的數(shù)據(jù)集成方案,全新的數(shù)據(jù)管理模式,以及全新的數(shù)據(jù)交互平面。
其中,全新的數(shù)據(jù)集成方案會構(gòu)建數(shù)據(jù)虛擬化引擎,區(qū)別于傳統(tǒng)的數(shù)據(jù)集成方式,它是用邏輯方式進行數(shù)據(jù)集成和ETL鏈路的自動重構(gòu)。這就好比電商平臺先下單,商家再發(fā)貨的模式,而非“先補貨再銷售”的模式,在這種模式下才能提高數(shù)據(jù)集成與編排的效率。
全新的數(shù)據(jù)交互平面是為了方便“用數(shù)”的人,它指的是,構(gòu)建一個數(shù)據(jù)語義引擎,幫助用戶清楚地知道所需要的指標是什么,知道指標的口徑和指標的值,不用關(guān)心表格的具體存放位置就能拿到需要的數(shù)據(jù)。同時,指標由用戶通過語義模型進行定義,定義后由系統(tǒng)進行自動生產(chǎn),改變了過去“業(yè)務提需求、IT開發(fā)寬表與匯總表”的生產(chǎn)模式,大幅提升指標的生產(chǎn)效率,降低IT的工作壓力。
全新的數(shù)據(jù)管理模式指的是構(gòu)建一套能夠感知當前系統(tǒng)狀態(tài)的元數(shù)據(jù)系統(tǒng),進行由主動元數(shù)據(jù)驅(qū)動的管理。主動元數(shù)據(jù)不同于被動元數(shù)據(jù),它類似于實時導航系統(tǒng),不僅提供精確定位,還能輔助駕駛。
這套架構(gòu)的具體實現(xiàn)可以分為這幾個關(guān)鍵步驟:
第一步,在邏輯上與數(shù)據(jù)源建立聯(lián)系,它可以減少甚至避免數(shù)據(jù)搬運的操作。即使不知道數(shù)據(jù)在哪兒,即使不知道數(shù)據(jù)的格式,一旦發(fā)現(xiàn)數(shù)據(jù),就能立即將數(shù)據(jù)進行集成。
第二步,系統(tǒng)會自動構(gòu)建全局數(shù)據(jù)的邏輯視圖。這一步使用了AI增強的自適應加速技術(shù),以替代傳統(tǒng)的人工方式建立ETL(抽取、轉(zhuǎn)換、加載)鏈路,提高數(shù)據(jù)處理的效率和速度,減輕了認為運維操作的負擔。
第三步,進行語義建模。在這一步驟中,IT部門首先定義原子指標,然后業(yè)務人員利用數(shù)據(jù)語義來定義所需的各種指標。這個過程本質(zhì)上是一個開發(fā)過程,省去了向IT部門提交需求的步驟,使得業(yè)務部門能夠更快速、直接地獲取他們需要的數(shù)據(jù)。
第四步,通過開放服務來滿足各種系統(tǒng)和消費場景的需求,包括與BI(商業(yè)智能)和AI(人工智能)工具的對接,增加系統(tǒng)的靈活性和適用性,實現(xiàn)數(shù)據(jù)的普惠化。
最后一步,實現(xiàn)一個能夠?qū)崟r感知全局信息的主動元數(shù)據(jù)系統(tǒng)。這個系統(tǒng)使得可以進行ETL Copilot和其他優(yōu)化輔助工作,提高數(shù)據(jù)治理的效率和質(zhì)量。
Aloudata的對應的方案
為了幫助企業(yè)落地NoETL,Aloudata推出了三個核心產(chǎn)品,分別是:邏輯數(shù)據(jù)平臺Aloudata AIR,自動化指標平臺Aloudata CAN,還有主動元數(shù)據(jù)平臺Aloudata BIG,對應上文提到的NoETL架構(gòu)的三大組成部分。
從周衛(wèi)林的介紹中了解到,Aloudata AIR是國內(nèi)首個基于Data Fabric架構(gòu)的邏輯數(shù)據(jù)平臺。它解決了數(shù)據(jù)需要搬運的問題,它實現(xiàn)了多源異構(gòu)數(shù)據(jù)的虛擬化集成,它可以自動優(yōu)化鏈路,支持自適應的查詢加速,能提高處理效率。
首創(chuàng)證券在采用Aloudata AIR后,實現(xiàn)了數(shù)據(jù)的邏輯集成、自動化ETL流程和統(tǒng)一的數(shù)據(jù)服務,大大降低了投入到ETL方面的數(shù)據(jù)工程人力和成本投入。對于首創(chuàng)證券提高效率、節(jié)約成本,有很大幫助。
Aloudata BIG是一個擁有算子級血緣解析能力的主動元數(shù)據(jù)平臺。所謂“算子級血緣解析能力”是指在數(shù)據(jù)管理和分析中,能夠非常精確地理解數(shù)據(jù)從源頭到最終形態(tài)的每一步變化的能力,包括理解數(shù)據(jù)是如何被篩選、合并、轉(zhuǎn)換和匯總的。
這種能力能實現(xiàn)很多自動化的操作,包括自動維護數(shù)據(jù)血緣地圖來構(gòu)建完整的數(shù)據(jù)圖譜。也包括將代碼自動翻譯成業(yè)務語言,將SQL語句轉(zhuǎn)化成容易理解的自然語言,過程都無需人工干預。
Aloudata CAN是一個用于指標管理和開發(fā)的自動化平臺。與傳統(tǒng)的指標平臺不同,它允許用戶直接在平臺上定義所需的業(yè)務指標。一旦用戶定義了指標,系統(tǒng)會自動進行后續(xù)的指標開發(fā)和加速,無需人工干預。
Aloudata CAN的實現(xiàn)采用了定義即生產(chǎn)、定義即服務的模式,極大地簡化了ETL工作量。通過技術(shù)自動化,它改變了傳統(tǒng)的指標生產(chǎn)模式,降低了IT部門的參與度,使IT團隊能夠?qū)W⒂诟袃r值的任務。
Aloudata NoETL模式的落地與應用
從周衛(wèi)林的介紹中了解到,Aloudata的NoETL模式可以充分利用企業(yè)現(xiàn)有的數(shù)據(jù)湖、數(shù)據(jù)倉庫和其他數(shù)據(jù)源,盤活全部數(shù)據(jù)資產(chǎn),實現(xiàn)平滑升級,而不是完全重構(gòu)。這種做法更容易讓企業(yè)接受。
招商銀行作為國內(nèi)大型商業(yè)銀行,使用了Aloudata的AIR, BIG 和 CAN三個產(chǎn)品。周衛(wèi)林表示,與招商銀行的合作由來已久,雙方為了解決招商銀行所經(jīng)歷的特定問題做了很多,而這些問題恰好是此前在螞蟻集團所經(jīng)歷過的,兩者需要在巨大的數(shù)據(jù)規(guī)模上運營和管理數(shù)據(jù)。
目前,Aloudata所提供的解決方案得到了許多大型頭部企業(yè)的強烈響應,特別是在金融行業(yè)、股份制銀行、頭部城商行和大型國央企中。而且,一些客戶案例和解決方案逐漸形成了一種范式效應,在周衛(wèi)林看來,這都能證明NoETL模式的方法是最有效的。
簡而言之,NoETL模式要做的就是提高企業(yè)利用數(shù)據(jù)的能力,比如,幫助一些大企業(yè)更快利用自己的數(shù)據(jù),提高利用每天新產(chǎn)生數(shù)據(jù)的比例,提高每月新產(chǎn)生數(shù)據(jù)的使用比例。最終,真正讓數(shù)據(jù)為企業(yè)所用,為企業(yè)創(chuàng)造價值。