當下,的確到了重新認識、理解和應用數據的新階段。然而,在數字經濟蓬勃發(fā)展的大趨勢下,真正引領數據應用理念、加速數據價值落地的并不是傳統(tǒng)存儲廠商,也不是開源廠商,而是以華為云為代表的云服務商。云服務商們在千行百業(yè)的場景中不斷錘煉,所面對的數據規(guī)模、數據復雜度、數據處理難度、數據挖掘難度無出其右,也讓自身在數據要素落地之路上脫穎而出。

數據驅動下的暗流涌動

有人曾言:數據如水,它既可以形成大江大河,滋潤萬物生長;亦能匯聚成連片沼澤孤島,使人深陷其中。這形象地說明了數據所帶來的兩面性,而決定因素是數據處理機制。眾所周知,因為數據規(guī)模、數據類型今非昔比,使得數據的“采、存、算、管、用”等加工處理過程面臨著前所未有的挑戰(zhàn),亟需新的數據處理機制來應對。

首先,數據產生源、數據類型、數據量都發(fā)生了翻天覆地的變化。以數據產生源為例,機器正在成為產生數據的主力軍,一輛L4級別的自動駕駛汽車一天可以產生60TB數據量,這還不包括自動駕駛訓練算法每天通過訓練產生的大量數據;又如,OpenAI去年五月發(fā)布的GPT-3模型,光模型參數就高達1750億個,預訓練數據量高達45TB,比上一代模型足足高了100倍……種種例子數不勝數,充分反應出數據處理能力要求的變化。

其次,數據操作復雜性今非昔比。大量半結構化/非結構化數據并存、數據分析越來越細化、數據分析鏈路長、數據操作集成度差,使得在海量數據規(guī)模的環(huán)境中,數據移動、數據訪問活動的授權、管理和審計等一系列數據操作變得困難重重。有人甚至形象地稱之為數據重力現象,即隨著數據量一直膨脹所帶來數據往來、移動操作變得愈加復雜與困難。

第三,基于數據驅動型應用正在井噴,并且正在深刻改變著業(yè)務流程和決策模式。以金融營銷為例,過去依賴本地數據倉庫分析來制定營銷方案,數據模型范式有要求、維度單一、實時性差,營銷方案分析維度少、業(yè)務響應差。如今的金融營銷,則構建在基于數據驅動的場景之上,收集用戶各種維度的相關數據,充分利用云上的資源優(yōu)勢進行訓練模型,實現精準營銷和數據價值閉環(huán),實時調整營銷策略……類似的情況在千行百業(yè)中如雨后春筍。

因此,將數據存得下、流得動、算得快、用得好,真正構建基于數據的核心能力并不是一件容易的事情。為此,華為云在本次峰會上提出了“DIGITS”設計理念。所謂“DIGITS”即是圍繞數據的全生命周期,構建云原生數據平臺,實現數據的全域整合(Integration)、統(tǒng)一治理(Governance)和智能(Intelligence),讓用戶能夠基于可信數據(Trustworthy)進行探索發(fā)現(Search & Discovery),驅動業(yè)務決策(Decision),激發(fā)數據潛能。

“圍繞數據這個核心生產要素,充分發(fā)掘數據價值,從單點技術創(chuàng)新,走向系統(tǒng)性的技術創(chuàng)新?!笔搅毡硎镜??;贒IGITS理念,華為云通過數據使能DAYU,圍繞數據全生命周期提供一站式解決方案,實現從咨詢到實施再到技術平臺的端到端全生命周期數據管理。

華為云FusionInsight:持續(xù)成長

今年以來,數據驅動、云原生數據湖、湖倉一體等熱門詞匯成為業(yè)界關注的焦點。究其原因,本質上是隨著企業(yè)上云成為大勢所趨之后,大量應用遷移到云中,以及大量基于云的新應用誕生,對于數據“采、存、算、管、用”全生命周期的管理有著急迫的需求。

為此,華為云FusionInsight智能數據湖迅速獲得企業(yè)用戶的廣泛關注,其所提供湖倉一體的數據解決方案,可以幫助客戶構建云原生數據湖,實現數據全生命周期的管理。

華為云架構與技術規(guī)劃部部長朱海培認為,業(yè)界圍繞數據已經具備了很好和成熟的引擎、工具和平臺,但這些工具與平臺都是獨立成體系,誕生之初為某一類場景而設計;當客戶上云之后,面臨的是場景多元化,針對不同需求需要運用不同的引擎/工具,需要有解決方案以全局角度來幫助用戶,這也是為何湖倉一體現在很熱的關鍵。

“當數據規(guī)模達到一定階段后,過去針對單點或者單個場景的引擎/工具一定會出現瓶頸?!敝旌E嘌a充道,“以存儲引擎為例,大數據存儲引擎、Flink存儲引擎、Spark引擎都有一份數據,數據搬遷、數據操作復雜度高,浪費存儲空間,數據一致性也是挑戰(zhàn)?!?/p>

華為云FusionInsight提供湖倉一體的數據底座,通過底層OBS統(tǒng)一數據存儲,全局一份數據無需搬遷;一個平臺多引擎支持批處理、流處理、交互式查詢等;元數據統(tǒng)一管理,全局一個視圖,像管理代碼一樣管理數據。

為進一步豐富自身的數據技術能力和解決方案完整度,加速幫助用戶實現數據全生命周期的管理,華為云在本次峰會上還宣布云原生數據湖統(tǒng)一數據平臺MRS、云原生數據湖Serverless數據湖探索DLI、實時數倉GaussDB(DWS)、金融級分布式云原生數據庫GaussDB(for openGauss) 等4款數據新品正式規(guī)模商用。

具體來看:

? 云原生數據湖統(tǒng)一數據平臺MRS,為客戶提供湖倉一體的統(tǒng)一數據平臺,讓客戶在一個架構下實現離線、實時、邏輯數據湖,釋放海量數據價值,業(yè)務洞見更準;

? 云原生數據湖Serverless數據湖探索DLI提供基于Serverless的融合處理分析服務,企業(yè)可輕松完成多數據源的聯合計算分析,挖掘和探索數據價值;

? 實時數倉GaussDB(DWS)提供即開即用、可擴展且完全托管的分析型數據倉庫服務,支撐高并發(fā)高性能實時數據分析,能夠滿足互聯網、物聯網等場景用戶實時推薦、實時風控、實時監(jiān)測、精準營銷等數據實時處理需求,提升企業(yè)競爭力;

? 金融級分布式云原生數據庫GaussDB(for openGauss),是華為結合云原生與AI的技術打造的金融級分布式數據庫,具備混合業(yè)務負載處理的高性能、高可用、彈性擴展、全密態(tài)、AI-Native自治五大關鍵能力,主打金融政企核心交易、企業(yè)生產系統(tǒng)等關鍵業(yè)務場景。

顯然,過去耕耘政企市場多年,使得華為云對于數據處理與治理的理解更加深入,也更加契合用戶實際需求。例如,朱海培就強調,華為云的視角會更加聚焦在用戶混合場景下的數據統(tǒng)一處理與治理的難題。對于廣大政企用戶而言,多云環(huán)境顯然是未來相當長時間內的標配,多云環(huán)境下的數據處理與治理更加考驗云服務商解決方案的能力。

例如,云原生數據湖統(tǒng)一數據平臺MRS,就可以通過一個架構實現邏輯、實時、離線三種數據湖,很好滿足混合場景的需求。朱海培表示,“展望未來,我們也希望能更好地幫助用戶實現數據的融合,從本次MRS、DWS等新品中,大家可以看到這些產品基于統(tǒng)一存儲、統(tǒng)一元數據、統(tǒng)一管理的技術特性已逐漸呈現出來,華為云接下來也將持續(xù)保持技術創(chuàng)新,讓智能數據湖產品更好地賦能客戶。”

不可小覷的華為云

如今,華為云正在圍繞數據構建起核心競爭能力。華為云FusionInsight智能數據湖持續(xù)投入超10年,攜手800+家合作伙伴,服務于全球60+個國家和地區(qū)的互聯網、政府、金融、運營商等行業(yè)用戶。

此外,華為云還獲得了IDC、Frost & Sullivan等權威咨詢分析機構的廣泛認可。例如,在《IDC MarketScape: 中國大數據管理平臺廠商評估,2020》報告中,華為云憑借FusionInsight過硬的綜合實力和技術創(chuàng)新,位居“領導者(Leaders)”象限;在Frost & Sullivan《2020年中國數據管理解決方案市場報告》中,華為云在產品創(chuàng)新能力、成長能力、基礎能力三個維度全面領先。

華為云的成功并不是偶然。首先,華為自身就是一家全球化的公司,涉及業(yè)務之廣、規(guī)模之大、復雜度之高,在業(yè)界都具有典型性,其相關方案極具參考價值與借鑒意義。例如,華為結合自身的數字化轉型經驗,在打造數字工廠解決方案中,建立起的統(tǒng)一數據平臺、統(tǒng)一數據規(guī)范和統(tǒng)一數據視圖在制造業(yè)中就非常具有參考價值。

其次,華為云以FusionInsight智能數據湖為基礎,在產品技術層面進行了持續(xù)的創(chuàng)新與完善,其產品組合的成熟度和豐富程度走在了業(yè)界的前列,這無疑將持續(xù)增加華為云在數據層面的核心競爭力。

另外,近年來,隨著華為云在多個行業(yè)不斷突破,為多個不同行業(yè)、不同規(guī)模的用戶提供相關的數據湖服務,積累了豐富的用戶實踐經驗和有洞見的視角。

總體來看,從十年前數據湖概念提出,到如今湖倉一體解決方案的流行,一條數據價值之路已然開啟。而華為云在本次TechWave全球技術峰會(人工智能&數據)上所展現出來產品、技術、方案、理念都日臻成熟且富有洞見。下一個十年,將是數據使能的十年,而華為云必然迎來更大的舞臺。

分享到

songjy

相關推薦