作者：Qlik亞太區(qū)數(shù)據(jù)集成部門副總裁 楊沛藝
從數(shù)據(jù)遷移和數(shù)據(jù)倉儲，到主數(shù)據(jù)管理和實時商業(yè)智能，關(guān)鍵 IT 計劃的投入和成功與否，很大程度上都取決于數(shù)據(jù)集成的執(zhí)行方式。數(shù)據(jù)集成平臺通過提供高性能工具來收集、過濾和橫跨多個存儲點、同時移動不同存儲點之間的數(shù)據(jù)，使得關(guān)鍵IT計劃以及其他計劃都能夠輕松實施，甚至加快部署。
Qlik認為以下五點將成為數(shù)據(jù)集成領(lǐng)域中的五大發(fā)展趨勢：
1、成為一家“實時企業(yè)”已是大勢所趨
如果您打算部署嵌套數(shù)據(jù)集，您需要在正確的時間將信息傳遞到正確的位置。目前，全球領(lǐng)先的企業(yè)都在進行實時運作，因為很多項目的執(zhí)行都對其監(jiān)測的響應速度有著較高的要求，例如，監(jiān)測市場活動的效果，發(fā)現(xiàn)涉嫌欺詐的異?，F(xiàn)象，提供醫(yī)療保健和人道主義服務，進行現(xiàn)場個性化操作，甚至優(yōu)化供應鏈等。近期，以下三項相關(guān)技術(shù)取得的突破將在2020年共同推動以上各方面的發(fā)展。
> 隨時隨地接入高速網(wǎng)絡。得益于5G和IPV6技術(shù)的應用，我們具備實現(xiàn)超級連接的能力。
> 按需實現(xiàn)無限拓展的工作負載。隨著所有數(shù)據(jù)紛紛向云端遷移，Kubernetes變得尤為矚目。這一企業(yè)級的容器化應用能夠合理安排資源分配，讓正確的工作負載在正確的位置運行，即使是在邊緣設備上也不例外。
> 強大的流式架構(gòu)。由Apache Kafka等解決方案驅(qū)動的變化數(shù)據(jù)捕獲（CDC）平臺和實時數(shù)據(jù)流平臺能夠在低延遲情況下，高效地攝取和處理大量數(shù)據(jù)。
行業(yè)預測
到2022年，超過一半的主要新業(yè)務系統(tǒng)都將集成使用實時上下文數(shù)據(jù)來改進決策，以實現(xiàn)持續(xù)型智能。
—— Gartner
行業(yè)大事件
根據(jù)云原生計算基金會每半年發(fā)布一次的調(diào)查報告顯示，四成擁有5000名或更多員工的企業(yè)表示，他們會將Kubernetes應用于其生產(chǎn)環(huán)境中。
—— Enterprisers Project
2、DataOps和自助服務帶來全新敏捷性
由數(shù)據(jù)發(fā)現(xiàn)工具驅(qū)動的自助分析服務，使企業(yè)用戶獲得了最貼近他們需求的解決方案。但直到現(xiàn)在，在數(shù)據(jù)管理方面卻還未實現(xiàn)同樣的敏捷性。
DataOps衍生于DevOps，是一種自動化、面向流程的方法，能夠提高數(shù)據(jù)管理質(zhì)量并縮短數(shù)據(jù)管理周期，從而便于開展數(shù)據(jù)分析。得益于變動數(shù)據(jù)捕獲（CDC）和流數(shù)據(jù)管道等技術(shù)，它還能夠?qū)崿F(xiàn)數(shù)據(jù)實時測試和部署的自動化。此外，它還能夠利用隨需應變的IT資源來支持持續(xù)的數(shù)據(jù)傳遞。如今，80%的數(shù)據(jù)應以這種系統(tǒng)化的方式交付給企業(yè)用戶。進行這樣的操作，我們就可以無需再單獨準備自助服務數(shù)據(jù)。通過在操作端使用DataOps，在企業(yè)用戶端使用自助服務，企業(yè)將能夠更有效地體驗數(shù)據(jù)在整個信息價值鏈上的流動，并實現(xiàn)數(shù)據(jù)的整合及分析，以便部署嵌套數(shù)據(jù)集。
行業(yè)預測
到 2020 年，業(yè)務部門的數(shù)據(jù)和分析專家數(shù)量的增速將是 IT 部門專家的 3 倍，這會迫使企業(yè)重新考慮其組織模式和技能。
—— Gartner
行業(yè)大事件
近期數(shù)據(jù)與分析市場的整合表明，這正日益成為一種必然趨勢。
3、活動元數(shù)據(jù)目錄為數(shù)據(jù)和分析提供支持
數(shù)據(jù)集的分布日益廣泛，這對企業(yè)而言，是一項巨大的挑戰(zhàn)，因為所有這些數(shù)據(jù)都需要進行編目和整合。如果放置不管，數(shù)據(jù)可能很快就會過時。數(shù)據(jù)目錄會在這方面有所幫助，因此對數(shù)據(jù)目錄需求的飆升并不足為奇。
其中一個頗具發(fā)展前景的解決方案是通過機器學習增強元數(shù)據(jù)目錄。它們將數(shù)據(jù)管理從被動變?yōu)橹鲃?，甚至在跨混?多云生態(tài)系統(tǒng)的情況下，也能保持數(shù)據(jù)的適應性和不斷變化。本質(zhì)上，這些元數(shù)據(jù)目錄提供了必要的聯(lián)結(jié)和管理，以滿足DataOps和自主服務所需的敏捷性。此外，它們還包括信息個性化，即生成相關(guān)洞察和定制內(nèi)容的基本組件。但是，為了集成分散的分布式數(shù)據(jù)，目錄還必須可以在選擇的分析工具環(huán)境之外發(fā)揮作用。
行業(yè)預測
到2023年，60%的企業(yè)將使用數(shù)據(jù)目錄來統(tǒng)合數(shù)據(jù)發(fā)現(xiàn)、訪問和智能化，并提高DataOps和業(yè)務結(jié)果的透明度和可信度。
—— IDC
4、像“Shazam”一樣識別數(shù)據(jù)：這個可以有
著名的音樂服務應用 Shazam 能夠通過設備的麥克風識別歌曲，從而開啟一個發(fā)現(xiàn)目錄。Google Lens 能夠通過深度學習和視覺分析來識別動植物以及閱讀和翻譯文本等。亞馬遜也推出了類似的技術(shù)，通過分析圖片就能找到想要的衣服。然而，我們能夠像 Shazam 識別歌曲那樣識別我們的數(shù)據(jù)嗎？
到2020年，嵌入整個信息價值鏈的人工智能將使分析系統(tǒng)中的算法能夠更好地識別我們的數(shù)據(jù)、發(fā)現(xiàn)異常情況，并指出需要分析的新數(shù)據(jù)（但這還不是最重要的）。我們將能夠指向一個數(shù)據(jù)源，并查看數(shù)據(jù)來自何處，使用者是誰，數(shù)據(jù)發(fā)生了多大程度的變化，質(zhì)量是否良好等。無論數(shù)據(jù)規(guī)模如何，人工智能都能夠從中獲得更多洞察，并將數(shù)據(jù)整合與分析融為一體。
行業(yè)預測
到 2024 年，對于部署由機器學習驅(qū)動的數(shù)據(jù)管理、集成和分析解決方案的企業(yè)而言，其以數(shù)據(jù)為中心的員工的生產(chǎn)力將提升一倍。
—— IDC
行業(yè)大事件
亞馬遜的 StyleSnap 使用機器學習為用戶尋找相似的衣服和風格。
—— The Verge（美國著名科技媒體網(wǎng)站）
5、既有道德和又有責任感的計算目前至關(guān)重要
大多數(shù)技術(shù)飛躍在某種程度上都改變了我們周圍的世界，并為我們開辟了更美好的未來。然而，一些“進步”可能會帶來一些重要的隱患。算法會如何影響我們的隱私，以及影響我們的自由意志？從個人數(shù)據(jù)的不當使用到自動分析，利用這些數(shù)據(jù)的誘惑令人難以抗拒。
為了防范這個問題，相關(guān)法規(guī)陸續(xù)出臺，如美國的《云計算法案》和歐盟的《通用數(shù)據(jù)保護條例（GDPR）》等，以確保云計算戰(zhàn)略的合規(guī)。跨國公司受到的影響尤為明顯，因為各國出臺的法規(guī)各不相同。鑒于此，當前混合多云方法不再是一個可選項，而是成為了一個必選項。
當今時代，增強企業(yè)責任感變得更為重要。除了確保合規(guī)之外，企業(yè)還必須贏得并保持客戶的信任。一旦一家企業(yè)被視為在客戶隱私方面越線，則很有可能對其品牌造成不可挽回的損害。問題不只是某件事是否能做，而是這件事是否應該做。在企業(yè)中成立數(shù)字道德委員會是一種應對之策，可有助于實現(xiàn)風險最小化和回報最大化。從長遠來看，企業(yè)需要將關(guān)注點從股東轉(zhuǎn)向利益相關(guān)方。
行業(yè)預測
到2023年，超過75%的大型企業(yè)將雇用人工智能行為鑒定、隱私和客戶信任方面的專家，以降低品牌和聲譽風險。
—— Gartner
行業(yè)大事件
違規(guī)行為在過去的四年中增加了50%甚至更高，而2019年成為了“有史以來違規(guī)情況最嚴重的一年”。
—— TechRepublic （美國知名 IT 網(wǎng)站）
在這個充斥著海量數(shù)據(jù)的日益碎片化的時代，如果不對數(shù)據(jù)進行整合，數(shù)據(jù)分析將會受到影響。企業(yè)和分析專業(yè)人士必須使用支持數(shù)據(jù)整合和分析的方法、人員和技術(shù)來擴展他們的工具包。在基于數(shù)據(jù)分析來制定戰(zhàn)略和實現(xiàn)創(chuàng)新，以及確保能夠遵循紛繁復雜的法律法規(guī)方面，這一點尤其重要。
伴隨著互聯(lián)網(wǎng)經(jīng)濟的發(fā)展和大數(shù)據(jù)時代的到來，數(shù)據(jù)作為一種生產(chǎn)要素在國民經(jīng)濟發(fā)展過程中的重要性日益凸顯。2020年4月，中共中央、國務院發(fā)布《關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》，將數(shù)據(jù)作為與土地、勞動力、資本、技術(shù)并列的生產(chǎn)要素，要求“加快培育數(shù)據(jù)要素市場”，能夠看出數(shù)據(jù)正成為科技創(chuàng)新的突破口。
當我們能夠?qū)?shù)據(jù)進行整合，并讓人們能夠以改變行業(yè)規(guī)則的方式（部署數(shù)據(jù)鑲嵌）使用數(shù)據(jù)時，我們就能夠促進業(yè)務、人類乃至整個世界走向真正的變革。
關(guān)于作者
楊沛藝先生現(xiàn)任Qlik 亞太區(qū)數(shù)據(jù)集成部門副總裁，主要負責通過不同的渠道以及戰(zhàn)略合作伙伴的合作，在亞太地區(qū)拓展Qlik 的數(shù)據(jù)集成業(yè)務。
在“多云”時代，楊沛藝先生協(xié)助企業(yè)客戶完成關(guān)鍵的數(shù)據(jù)整合工作，幫助他們將大量實時的、質(zhì)量完好，直接服務于分析的數(shù)據(jù)傳輸?shù)叫畔⒘?、云平臺以及數(shù)據(jù)倉庫和數(shù)據(jù)湖中。
楊沛藝先生在企業(yè)軟件行業(yè)有超過25年的工作經(jīng)驗，曾擔任銷售、專業(yè)服務和支持服務等多個部門的管理工作。加入Qlik之前，楊沛藝先生曾擔任 Attunity 亞太地區(qū)副總裁（Attunity 于2019年5月被 Qlik 收購）。
楊沛藝先生擁有劍橋大學的碩士學位以及倫敦大學的計算機科學學士學位。
關(guān)于Qlik
Qlik的愿景是創(chuàng)建一個具備數(shù)據(jù)素養(yǎng)的世界，在這個世界里，所有人都可以運用數(shù)據(jù)來優(yōu)化決策，解決最具挑戰(zhàn)性的問題。Qlik的端到端數(shù)據(jù)集成和分析平臺能夠?qū)⑵髽I(yè)任何來源的數(shù)據(jù)匯集在一起，從而使任何技能水平的使用者都能饒有興趣地探索并且發(fā)現(xiàn)新的深度分析結(jié)果。企業(yè)使用Qlik能夠更加深入地了解客戶行為，重塑業(yè)務流程，發(fā)現(xiàn)新的收入來源，并平衡風險和回報。Qlik的業(yè)務遍及100多個國家，為全球5萬多家客戶提供服務。
