比如，當管理層設(shè)定一個年累計銷售目標，會不停的看各種數(shù)據(jù)，這就叫“數(shù)字化管理”，涉及的各種指標可以叫做管理指標。管理指標需要在執(zhí)行層面拆分，執(zhí)行層面會用數(shù)據(jù)做很多分析工作，制定與執(zhí)行運營動作，發(fā)現(xiàn)運營中的問題后會隨時做出調(diào)整，這叫“數(shù)智化運營”。

相比之下，數(shù)字化管理關(guān)注于企業(yè)高層的戰(zhàn)略性決策，需求相對固定，并且“看數(shù)”周期比較長又相對固定。而數(shù)智化運營關(guān)注于具體的業(yè)務操作和日常決策，需要很多團隊和員工從事相關(guān)的動作，不僅需求多變，而且對實時性要求比較高。

從背后的技術(shù)實現(xiàn)來看，管理層“看數(shù)”用的報表就是從數(shù)據(jù)中提取信息并制作匯總表，這個過程相對簡單。而數(shù)智化運營在“用數(shù)”時則非常復雜，隨著業(yè)務靈活性、復雜性的提高，需要數(shù)據(jù)技術(shù)層面做的工作越來越多，會帶來非常多的挑戰(zhàn)，這些挑戰(zhàn)集中體現(xiàn)在ETL工程方面。

比如，它會產(chǎn)生很多新的數(shù)據(jù)鏈路，會需要引入很多新的數(shù)據(jù)源，需要大量的ETL操作，需要進行大量的數(shù)據(jù)搬運和處理。還需要存儲和計算大量數(shù)據(jù)，這會帶來更高的成本。

同時，每一條鏈路就是一次作業(yè)，每一次作業(yè)都必須經(jīng)歷排期、研發(fā)、測試、上線發(fā)布等繁瑣的步驟，想要用數(shù)據(jù)就經(jīng)常需要漫長的等待時間，導致很多數(shù)據(jù)無法被及時利用，對于業(yè)務端很不友好。

數(shù)據(jù)鏈路的末端對應著一項項需求，每一項需求都要有一個高性能數(shù)據(jù)集，才能滿足不同的查詢性能需求。然而，每創(chuàng)建一個高性能數(shù)據(jù)集，都需要額外的成本。為此，企業(yè)不得不預先計算并提供大量可能會被使用的數(shù)據(jù)，這又會增加成本，降低了邊際收益。

同時，多變的需求還讓人工維護數(shù)據(jù)目錄的方式變得無以為繼，因為ETL工程師數(shù)量和能力的提升速度遠遠趕不上數(shù)據(jù)需求量和需求復雜度的增速。此時，不得不面對失真的數(shù)據(jù)目錄和失效的數(shù)據(jù)管理。

如何應對“用數(shù)”帶來的ETL挑戰(zhàn)

為應對這些挑戰(zhàn)，Aloudata提出了創(chuàng)新的“NoETL”模式。這種模式是要尋找一種不再依賴于傳統(tǒng)ETL工程師人力驅(qū)動的方法，通過技術(shù)手段降低傳統(tǒng)ETL的復雜性和成本。

Aloudata提出的NoETL架構(gòu)包含三部分，分別是全新的數(shù)據(jù)集成方案，全新的數(shù)據(jù)管理模式，以及全新的數(shù)據(jù)交互平面。

其中，全新的數(shù)據(jù)集成方案會構(gòu)建數(shù)據(jù)虛擬化引擎，區(qū)別于傳統(tǒng)的數(shù)據(jù)集成方式，它是用邏輯方式進行數(shù)據(jù)集成和ETL鏈路的自動重構(gòu)。這就好比電商平臺先下單，商家再發(fā)貨的模式，而非“先補貨再銷售”的模式，在這種模式下才能提高數(shù)據(jù)集成與編排的效率。

全新的數(shù)據(jù)交互平面是為了方便“用數(shù)”的人，它指的是，構(gòu)建一個數(shù)據(jù)語義引擎，幫助用戶清楚地知道所需要的指標是什么，知道指標的口徑和指標的值，不用關(guān)心表格的具體存放位置就能拿到需要的數(shù)據(jù)。同時，指標由用戶通過語義模型進行定義，定義后由系統(tǒng)進行自動生產(chǎn)，改變了過去“業(yè)務提需求、IT開發(fā)寬表與匯總表”的生產(chǎn)模式，大幅提升指標的生產(chǎn)效率，降低IT的工作壓力。

全新的數(shù)據(jù)管理模式指的是構(gòu)建一套能夠感知當前系統(tǒng)狀態(tài)的元數(shù)據(jù)系統(tǒng)，進行由主動元數(shù)據(jù)驅(qū)動的管理。主動元數(shù)據(jù)不同于被動元數(shù)據(jù)，它類似于實時導航系統(tǒng)，不僅提供精確定位，還能輔助駕駛。

這套架構(gòu)的具體實現(xiàn)可以分為這幾個關(guān)鍵步驟：

第一步，在邏輯上與數(shù)據(jù)源建立聯(lián)系，它可以減少甚至避免數(shù)據(jù)搬運的操作。即使不知道數(shù)據(jù)在哪兒，即使不知道數(shù)據(jù)的格式，一旦發(fā)現(xiàn)數(shù)據(jù)，就能立即將數(shù)據(jù)進行集成。

第二步，系統(tǒng)會自動構(gòu)建全局數(shù)據(jù)的邏輯視圖。這一步使用了AI增強的自適應加速技術(shù)，以替代傳統(tǒng)的人工方式建立ETL（抽取、轉(zhuǎn)換、加載）鏈路，提高數(shù)據(jù)處理的效率和速度，減輕了認為運維操作的負擔。

第三步，進行語義建模。在這一步驟中，IT部門首先定義原子指標，然后業(yè)務人員利用數(shù)據(jù)語義來定義所需的各種指標。這個過程本質(zhì)上是一個開發(fā)過程，省去了向IT部門提交需求的步驟，使得業(yè)務部門能夠更快速、直接地獲取他們需要的數(shù)據(jù)。

第四步，通過開放服務來滿足各種系統(tǒng)和消費場景的需求，包括與BI（商業(yè)智能）和AI（人工智能）工具的對接，增加系統(tǒng)的靈活性和適用性，實現(xiàn)數(shù)據(jù)的普惠化。

最后一步，實現(xiàn)一個能夠?qū)崟r感知全局信息的主動元數(shù)據(jù)系統(tǒng)。這個系統(tǒng)使得可以進行ETL Copilot和其他優(yōu)化輔助工作，提高數(shù)據(jù)治理的效率和質(zhì)量。

Aloudata的對應的方案

為了幫助企業(yè)落地NoETL，Aloudata推出了三個核心產(chǎn)品，分別是：邏輯數(shù)據(jù)平臺Aloudata AIR，自動化指標平臺Aloudata CAN，還有主動元數(shù)據(jù)平臺Aloudata BIG，對應上文提到的NoETL架構(gòu)的三大組成部分。

從周衛(wèi)林的介紹中了解到，Aloudata AIR是國內(nèi)首個基于Data Fabric架構(gòu)的邏輯數(shù)據(jù)平臺。它解決了數(shù)據(jù)需要搬運的問題，它實現(xiàn)了多源異構(gòu)數(shù)據(jù)的虛擬化集成，它可以自動優(yōu)化鏈路，支持自適應的查詢加速，能提高處理效率。

首創(chuàng)證券在采用Aloudata AIR后，實現(xiàn)了數(shù)據(jù)的邏輯集成、自動化ETL流程和統(tǒng)一的數(shù)據(jù)服務，大大降低了投入到ETL方面的數(shù)據(jù)工程人力和成本投入。對于首創(chuàng)證券提高效率、節(jié)約成本，有很大幫助。

Aloudata BIG是一個擁有算子級血緣解析能力的主動元數(shù)據(jù)平臺。所謂“算子級血緣解析能力”是指在數(shù)據(jù)管理和分析中，能夠非常精確地理解數(shù)據(jù)從源頭到最終形態(tài)的每一步變化的能力，包括理解數(shù)據(jù)是如何被篩選、合并、轉(zhuǎn)換和匯總的。

這種能力能實現(xiàn)很多自動化的操作，包括自動維護數(shù)據(jù)血緣地圖來構(gòu)建完整的數(shù)據(jù)圖譜。也包括將代碼自動翻譯成業(yè)務語言，將SQL語句轉(zhuǎn)化成容易理解的自然語言，過程都無需人工干預。

Aloudata CAN是一個用于指標管理和開發(fā)的自動化平臺。與傳統(tǒng)的指標平臺不同，它允許用戶直接在平臺上定義所需的業(yè)務指標。一旦用戶定義了指標，系統(tǒng)會自動進行后續(xù)的指標開發(fā)和加速，無需人工干預。

Aloudata CAN的實現(xiàn)采用了定義即生產(chǎn)、定義即服務的模式，極大地簡化了ETL工作量。通過技術(shù)自動化，它改變了傳統(tǒng)的指標生產(chǎn)模式，降低了IT部門的參與度，使IT團隊能夠?qū)Ｗ⒂诟袃r值的任務。

Aloudata NoETL模式的落地與應用

從周衛(wèi)林的介紹中了解到，Aloudata的NoETL模式可以充分利用企業(yè)現(xiàn)有的數(shù)據(jù)湖、數(shù)據(jù)倉庫和其他數(shù)據(jù)源，盤活全部數(shù)據(jù)資產(chǎn)，實現(xiàn)平滑升級，而不是完全重構(gòu)。這種做法更容易讓企業(yè)接受。

招商銀行作為國內(nèi)大型商業(yè)銀行，使用了Aloudata的AIR, BIG 和 CAN三個產(chǎn)品。周衛(wèi)林表示，與招商銀行的合作由來已久，雙方為了解決招商銀行所經(jīng)歷的特定問題做了很多，而這些問題恰好是此前在螞蟻集團所經(jīng)歷過的，兩者需要在巨大的數(shù)據(jù)規(guī)模上運營和管理數(shù)據(jù)。

目前，Aloudata所提供的解決方案得到了許多大型頭部企業(yè)的強烈響應，特別是在金融行業(yè)、股份制銀行、頭部城商行和大型國央企中。而且，一些客戶案例和解決方案逐漸形成了一種范式效應，在周衛(wèi)林看來，這都能證明NoETL模式的方法是最有效的。

簡而言之，NoETL模式要做的就是提高企業(yè)利用數(shù)據(jù)的能力，比如，幫助一些大企業(yè)更快利用自己的數(shù)據(jù)，提高利用每天新產(chǎn)生數(shù)據(jù)的比例，提高每月新產(chǎn)生數(shù)據(jù)的使用比例。最終，真正讓數(shù)據(jù)為企業(yè)所用，為企業(yè)創(chuàng)造價值。

zhupb