▲EMC數(shù)據(jù)計(jì)算產(chǎn)品部大中華區(qū)總經(jīng)理劉偉光先生

據(jù)劉偉光介紹，他于2011年11月加入EMC公司，負(fù)責(zé)數(shù)據(jù)計(jì)算事業(yè)部大中國(guó)區(qū)整體的運(yùn)營(yíng)。此前曾在Oracle工作將近八年的時(shí)間，從系統(tǒng)架構(gòu)師開始起步，后來做到大中國(guó)區(qū)企業(yè)架構(gòu)團(tuán)隊(duì)的高級(jí)經(jīng)理，2010年成為Exadata大中國(guó)區(qū)產(chǎn)品事業(yè)部的總監(jiān)。劉偉光所在的EMC數(shù)據(jù)計(jì)算產(chǎn)品部門前身是EMC收購(gòu)的Greenplum公司。Greenplum是分布式數(shù)據(jù)庫的全球領(lǐng)導(dǎo)者，EMC看重它未來的商業(yè)價(jià)值，尤其在大數(shù)據(jù)市場(chǎng)的巨大潛力，因此收購(gòu)Greenplum公司。在全球成立獨(dú)立運(yùn)作的事業(yè)部，即數(shù)據(jù)計(jì)算事業(yè)部。劉偉光作為這個(gè)事業(yè)部大中國(guó)區(qū)的經(jīng)理，主要負(fù)責(zé)這個(gè)產(chǎn)品的在中國(guó)整體的業(yè)務(wù)推廣，包括銷售、售前、服務(wù)、品牌推廣等一系列工作。

數(shù)據(jù)庫發(fā)展的三個(gè)里程碑

談到數(shù)據(jù)庫應(yīng)用的發(fā)展進(jìn)程，劉偉光表示，回溯中國(guó)大型企業(yè)IT建設(shè)經(jīng)歷過的十五年，大致有三個(gè)里程碑：第一個(gè)里程碑是面向交易型的關(guān)系型數(shù)據(jù)庫，90年代末到2000年初是中國(guó)IT系統(tǒng)建設(shè)發(fā)展最快、建設(shè)力度最廣、投資最大的幾年。中國(guó)IT建設(shè)從一個(gè)相對(duì)落后的階段，走向一個(gè)新的發(fā)展歷程，越來越多的國(guó)外企業(yè)進(jìn)入中國(guó)。中國(guó)IT系統(tǒng)建設(shè)，尤其在電信、銀行和政府領(lǐng)域經(jīng)歷了一場(chǎng)大規(guī)模的變革。傳統(tǒng)數(shù)據(jù)庫一般來講都是OLTP，即面向事務(wù)處理和交易的數(shù)據(jù)庫，通常是支持系統(tǒng)的基本業(yè)務(wù)功能操作和企業(yè)最基本的信息化需求，電信行業(yè)建設(shè)計(jì)費(fèi)系統(tǒng)、CRM系統(tǒng)、客服系統(tǒng)，銀行行業(yè)建設(shè)前臺(tái)核心系統(tǒng)，其他行業(yè)建設(shè)基本的客戶管理、營(yíng)銷系統(tǒng)。這種系統(tǒng)的主要功能是存儲(chǔ)數(shù)據(jù)，面向客戶提供一些服務(wù)，就如同解決人們生活的溫飽問題，這種數(shù)據(jù)庫就是支持聯(lián)機(jī)事務(wù)處理型的數(shù)據(jù)庫。

第二個(gè)里程碑是數(shù)據(jù)倉庫，也可以比喻成IT建設(shè)解決溫飽問題之后更高層次的需求。在這個(gè)階段，企業(yè)的IT運(yùn)營(yíng)達(dá)到一定的水平，積累了很多經(jīng)驗(yàn)。企業(yè)發(fā)現(xiàn)數(shù)據(jù)是非常重要的資產(chǎn)，但是并沒有將常年積累的數(shù)據(jù)變成指導(dǎo)企業(yè)運(yùn)營(yíng)的技術(shù)基礎(chǔ)。在這個(gè)階段，很多大型企業(yè)開始建設(shè)數(shù)據(jù)倉庫。數(shù)據(jù)倉庫的前身是分析報(bào)表系統(tǒng)，即把數(shù)據(jù)從數(shù)據(jù)庫中抽取出來形成統(tǒng)計(jì)報(bào)表，但這個(gè)報(bào)表通常不會(huì)對(duì)企業(yè)運(yùn)營(yíng)和決策分析做指導(dǎo)。到了數(shù)據(jù)倉庫的階段，數(shù)據(jù)不僅形成報(bào)表，還要根據(jù)各種主題、企業(yè)內(nèi)部需求進(jìn)行加工、分析，進(jìn)而形成決策支撐的數(shù)據(jù)來源。經(jīng)過存儲(chǔ)數(shù)據(jù)、挖掘數(shù)據(jù)、加工數(shù)據(jù)、展現(xiàn)數(shù)據(jù)的過程，數(shù)據(jù)產(chǎn)生的結(jié)果成為企業(yè)下一步運(yùn)營(yíng)和制定市場(chǎng)策略最重要的技術(shù)輸入。

第三個(gè)里程碑是大數(shù)據(jù)。最近幾年云計(jì)算如火如荼，云計(jì)算和大數(shù)據(jù)在很多層面都是相輔相成的關(guān)系。在這個(gè)階段，隨著新技術(shù)的沖擊和技術(shù)手段的推陳出新，以及互聯(lián)網(wǎng)技術(shù)對(duì)IT行業(yè)發(fā)展的影響日益顯現(xiàn)。云計(jì)算的出現(xiàn)對(duì)數(shù)據(jù)倉庫產(chǎn)生巨大的挑戰(zhàn)，如何處理傳統(tǒng)關(guān)系型數(shù)據(jù)庫不能處理的數(shù)據(jù)，是新技術(shù)面臨的最大挑戰(zhàn)。海量數(shù)據(jù)與大數(shù)據(jù)是不同概念，海量數(shù)據(jù)通常指的是在按照數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)處理之后，存儲(chǔ)到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫當(dāng)中的數(shù)據(jù)集合。大數(shù)據(jù)在數(shù)據(jù)容量上也比海量數(shù)據(jù)更大。另外，大數(shù)據(jù)的數(shù)據(jù)來源非常豐富，數(shù)據(jù)類型更為繁多，其中包括來自互聯(lián)網(wǎng)和傳統(tǒng)企業(yè)的高度信息化后產(chǎn)生的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，以及不斷產(chǎn)生的歷史歸檔數(shù)據(jù)，這些數(shù)據(jù)遠(yuǎn)遠(yuǎn)不是現(xiàn)在的技術(shù)能夠快速加載的，而且也不是傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫所能存儲(chǔ)管理和分析的。

大數(shù)據(jù)蘊(yùn)藏商業(yè)價(jià)值

現(xiàn)在很多公司都在談?wù)摯髷?shù)據(jù)，專家對(duì)大數(shù)據(jù)都有著各自的看法，劉偉光認(rèn)為大數(shù)據(jù)主要包括四個(gè)特征：第一，大數(shù)據(jù)的數(shù)據(jù)量非常大;第二，大數(shù)據(jù)有非常復(fù)雜的數(shù)據(jù)來源;第三，大數(shù)據(jù)有非常復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，并不是傳統(tǒng)關(guān)系型數(shù)據(jù)庫能夠處理的數(shù)據(jù)集合;第四，大數(shù)據(jù)的實(shí)效比很低，即在單位時(shí)間內(nèi)處理數(shù)據(jù)的價(jià)值是相對(duì)較低，但如果能達(dá)到快速處理和分析單位時(shí)間內(nèi)的大數(shù)據(jù)，就將產(chǎn)生無法預(yù)期的商業(yè)價(jià)值。

盡管大數(shù)據(jù)的實(shí)效比很低，往往需要大量計(jì)算能力，但是大數(shù)據(jù)蘊(yùn)藏的商業(yè)價(jià)值不可小覷，劉偉光非?？春么髷?shù)據(jù)的市場(chǎng)發(fā)展前景。首先從商業(yè)價(jià)值角度分析，在金融業(yè)領(lǐng)域，通過挖掘和分析客戶的各種交易信息，可以通過決策分析而最大化的提高企業(yè)銷售利潤(rùn)。從正面角度看，這種方式可以找到高價(jià)值的客戶，將相應(yīng)的產(chǎn)品進(jìn)行準(zhǔn)確的營(yíng)銷;從反面角度看，還可以進(jìn)行反欺詐分析，降低企業(yè)的運(yùn)營(yíng)風(fēng)險(xiǎn)。

在電信領(lǐng)域，最常見的大數(shù)據(jù)應(yīng)用就是通過對(duì)用戶信令數(shù)據(jù)的分析，為漫游用戶發(fā)送歡迎短信。隨著電信行業(yè)大數(shù)據(jù)分析的不斷深入，分析用戶行為數(shù)據(jù)進(jìn)行精確營(yíng)銷將逐步成為運(yùn)營(yíng)商新興業(yè)務(wù)類型。這種精確營(yíng)銷體現(xiàn)出大數(shù)據(jù)的一個(gè)新特征：低價(jià)值轉(zhuǎn)換率，就是要在很短的時(shí)間內(nèi)分析處理大量數(shù)據(jù)，為每個(gè)人提供有價(jià)值的增值服務(wù)，挖掘潛在商機(jī)。除了傳統(tǒng)的電信和金融行業(yè)，科研機(jī)構(gòu)在大數(shù)據(jù)領(lǐng)域的應(yīng)用同樣具有廣闊前景，科研機(jī)構(gòu)把塵封的數(shù)據(jù)拿出來利用新的技術(shù)進(jìn)行挖掘分析，解決科研工作中的難題。

EMC Greenplum的大數(shù)據(jù)戰(zhàn)略

目前，EMC已經(jīng)不再只是傳統(tǒng)的硬件廠商，而是通過數(shù)據(jù)存儲(chǔ)，幫助企業(yè)有效的管理內(nèi)部的數(shù)據(jù)資產(chǎn)，創(chuàng)造更高的商業(yè)價(jià)值。據(jù)劉偉光介紹，EMC一直倡導(dǎo)“數(shù)據(jù)改變商業(yè)模式”的理念，把存儲(chǔ)的數(shù)據(jù)變成一種商業(yè)價(jià)值，這就是EMC的大數(shù)據(jù)戰(zhàn)略。具體來說包括三個(gè)層次：第一，EMC能夠提供快捷的、高可用的、能夠橫向擴(kuò)展的大數(shù)據(jù)存儲(chǔ)架構(gòu);第二，EMC不僅能夠處理傳統(tǒng)數(shù)據(jù)庫處理的結(jié)構(gòu)化數(shù)據(jù)，還能支持半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)的存儲(chǔ)管理;第三，數(shù)據(jù)分析。Greenplum承擔(dān)最上層的面向大數(shù)據(jù)的高性能分析。

EMC Greenplum統(tǒng)一分析平臺(tái)(UAP)是EMC Greenplum大數(shù)據(jù)戰(zhàn)略中至關(guān)重要的一環(huán)。EMC Greenplum統(tǒng)一分析平臺(tái)結(jié)合Greenplum Database 、Greenplum Hadoop、Greenplum DCA、Greenplum Chrous為企業(yè)構(gòu)建高效處理結(jié)構(gòu)化，半結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)分析平臺(tái)。并且客戶可以以此平臺(tái)為基礎(chǔ)利用Greenplum行業(yè)和數(shù)學(xué)統(tǒng)計(jì)方面的專家，充分挖掘自身數(shù)據(jù)價(jià)值，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)從成本中心到利潤(rùn)中心的轉(zhuǎn)變，以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。其中，Greenplum Chrous在行業(yè)中處于領(lǐng)先地位，它的操作使用習(xí)慣非常類似Facebook、開心網(wǎng)的社交模式。通過Greenplum Chrous可以建立數(shù)據(jù)沙箱，將一定的數(shù)據(jù)變成一個(gè)集合，用戶都可以對(duì)這個(gè)集合利用工具進(jìn)行處理和分析，共享數(shù)據(jù)庫的分析結(jié)果。讓這個(gè)數(shù)據(jù)分析和挖掘，不再是專業(yè)人士做的事情，并且增加趣味性，各種角色可以進(jìn)行交互，形成一個(gè)數(shù)據(jù)社交圈。

EMC Greenplum統(tǒng)一分析平臺(tái)還包括一個(gè)重要的方面，就是“數(shù)據(jù)科學(xué)家計(jì)劃”，它將人的智慧與技術(shù)產(chǎn)品相結(jié)合。數(shù)據(jù)科學(xué)家不僅需要具有數(shù)據(jù)本身的知識(shí)，還要求有一定的數(shù)學(xué)建模能力，同時(shí)要懂得企業(yè)內(nèi)部的運(yùn)轉(zhuǎn)流程。所以數(shù)據(jù)科學(xué)家是能夠靈活利用各種工具去抓取數(shù)據(jù)，形成數(shù)據(jù)集合、數(shù)據(jù)沙箱，進(jìn)行快速的實(shí)時(shí)分析和展現(xiàn)的一種角色，幫助企業(yè)將數(shù)據(jù)變成商業(yè)價(jià)值。

真正的數(shù)據(jù)庫云平臺(tái)

EMC Greenplum也被稱為數(shù)據(jù)庫云平臺(tái)。談到Greenplum與云計(jì)算的關(guān)系，劉偉光表示，云計(jì)算的技術(shù)架構(gòu)中很重要的一個(gè)特征就是“分布式計(jì)算”，而Greenplum是一個(gè)100%分布式計(jì)算的數(shù)據(jù)產(chǎn)品。相比傳統(tǒng)的企業(yè)應(yīng)用環(huán)境，今天的分布式計(jì)算將所有應(yīng)用都部署在集群上，這個(gè)集群完全采用相對(duì)廉價(jià)的X86服務(wù)器，搭建一個(gè)可以無限擴(kuò)展的平臺(tái)。分布式計(jì)算只需增加相應(yīng)的節(jié)點(diǎn)，就能滿足業(yè)務(wù)能力增長(zhǎng)的需求;當(dāng)任何一個(gè)節(jié)點(diǎn)宕掉的時(shí)候，其他節(jié)點(diǎn)自動(dòng)接管業(yè)務(wù)請(qǐng)求。在云計(jì)算的實(shí)踐當(dāng)中，在數(shù)據(jù)庫層面實(shí)現(xiàn)分布式平臺(tái)是一個(gè)非常重要的一個(gè)步驟，它將帶給企業(yè)的技術(shù)變革的重大創(chuàng)新，提供更強(qiáng)有力和可預(yù)見的技術(shù)基礎(chǔ)平臺(tái)，EMC Greenplum就是這樣一個(gè)真正的數(shù)據(jù)庫云平臺(tái)。

EMC Greenplum還采用了很多開源技術(shù)，其本身就是基于PostgreSQL開發(fā)的，隨著大數(shù)據(jù)的發(fā)展，Hadoop也成為Greenplum的工具之一。Greenplum Hadoop與開源Hadoop有著很大的區(qū)別，主要體現(xiàn)在兩個(gè)方面：其一，Greenplum Hadoop對(duì)企業(yè)的高可用性和安全性有很強(qiáng)的保障機(jī)制;其二，傳統(tǒng)企業(yè)希望購(gòu)買商用Hadoop產(chǎn)品，以延續(xù)使用傳統(tǒng)技術(shù)的習(xí)慣。即使是擁有強(qiáng)大研發(fā)團(tuán)隊(duì)的大型互聯(lián)網(wǎng)企業(yè)，也希望在某些關(guān)鍵性交易系統(tǒng)中采用商業(yè)Hadoop。另外，Greenplum Database與Greenplum Hadoop兩個(gè)產(chǎn)品的結(jié)合度是全世界領(lǐng)先的，結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)能夠在這兩個(gè)產(chǎn)品之間動(dòng)態(tài)的切入。EMC的理念是用數(shù)據(jù)庫技術(shù)對(duì)Hadoop進(jìn)行操作，讓用戶感知不到數(shù)據(jù)是存儲(chǔ)在數(shù)據(jù)庫還是Hadoop中。外部表是解決這一問題的關(guān)鍵技術(shù)，與其他廠商采用中間轉(zhuǎn)換工具的方式不同，外部表可以把Hadoop當(dāng)成Greenplum數(shù)據(jù)庫中的一個(gè)表進(jìn)行操作。

小結(jié)

EMC傳統(tǒng)存儲(chǔ)硬件廠商的身份已深入人心，兩年前收購(gòu)Greenplum的舉動(dòng)被看作EMC完整大數(shù)據(jù)戰(zhàn)略的重要里程碑。隨著EMC與Greenplum的進(jìn)一步融合，Greenplum在數(shù)據(jù)分析處理上的優(yōu)勢(shì)也會(huì)日益顯現(xiàn)，軟硬結(jié)合的大數(shù)據(jù)戰(zhàn)略將幫助EMC完成由硬件廠商向整體解決方案提供商的轉(zhuǎn)型。由此可見，大數(shù)據(jù)改變的不只是商業(yè)模式。

wangguang