那么，到底什么是大數(shù)據(jù)呢?根據(jù)IDC的定義，大數(shù)據(jù)是指為了更經(jīng)濟(jì)的從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價(jià)值而設(shè)計(jì)的新一代架構(gòu)和技術(shù)。

大數(shù)據(jù)現(xiàn)象描述(點(diǎn)擊查看大圖)

快速發(fā)展的大數(shù)據(jù)市場(chǎng)(圖片來(lái)自IDC)

最為重要的是，大數(shù)據(jù)對(duì)整個(gè)基礎(chǔ)架構(gòu)和軟件、服務(wù)帶來(lái)巨大商機(jī)。根據(jù)IDC對(duì)全球大數(shù)據(jù)市場(chǎng)規(guī)模預(yù)測(cè)，截止2015 年，整個(gè)市值將達(dá)180億美元。Gartner發(fā)布的數(shù)據(jù)則顯示，預(yù)計(jì)到2015年大數(shù)據(jù)技術(shù)將在全球增加440萬(wàn)個(gè)就業(yè)崗位?？梢哉f(shuō)，“大數(shù)據(jù)”是繼 “云計(jì)算”之后搶占市場(chǎng)制高點(diǎn)的又一領(lǐng)地。如果說(shuō)云計(jì)算是“平臺(tái)+服務(wù)”的全新商業(yè)模式內(nèi)容和技術(shù)環(huán)境帶來(lái)的市場(chǎng)價(jià)值的話，那么大數(shù)據(jù)就是實(shí)實(shí)在在的價(jià)值核心——數(shù)據(jù)。它將直接決定著企業(yè)決策、產(chǎn)業(yè)政策、市場(chǎng)動(dòng)態(tài)、應(yīng)用導(dǎo)向，本身就是一個(gè)價(jià)值體。

一句話：大數(shù)據(jù)已經(jīng)讓人美得窒息!這種窒息來(lái)自數(shù)據(jù)帶來(lái)的無(wú)限價(jià)值，也來(lái)自對(duì)未來(lái)市場(chǎng)的你爭(zhēng)我搶……

大數(shù)據(jù)既是社會(huì)經(jīng)濟(jì)高度發(fā)展的結(jié)果，也是信息技術(shù)發(fā)展的必然。數(shù)據(jù)是人類行為過(guò)程中產(chǎn)生的符號(hào)和特征標(biāo)識(shí)，大數(shù)據(jù)已經(jīng)突破了原有的數(shù)據(jù)范疇，從傳統(tǒng)的關(guān)系型數(shù)據(jù)已經(jīng)發(fā)展到了更為復(fù)雜而又海量的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)。

也正是如此，大數(shù)據(jù)給企業(yè)的差異化發(fā)展帶來(lái)了歷史性機(jī)遇。在基礎(chǔ)設(shè)施平臺(tái)上，涌現(xiàn)出了新一輪的基礎(chǔ)架構(gòu)和平臺(tái)資源爭(zhēng)奪戰(zhàn)。

眾所周知，大數(shù)據(jù)的挖掘和分析雖然更有賴于上層的分布式系統(tǒng)和應(yīng)用軟件，但在最底層的硬件設(shè)施層面，還是扮演著中流砥柱的作用。那么，在大數(shù)據(jù)面前我們需要何種硬件設(shè)施呢?它們與傳統(tǒng)的有何區(qū)別?

大數(shù)據(jù)的特征

Hadoop和MapReduce等專門(mén)針對(duì)大數(shù)據(jù)的技術(shù)，要求基礎(chǔ)設(shè)施能夠?qū)崿F(xiàn)：

1、靈活擴(kuò)展。支持大型、分布式數(shù)據(jù)密集型工作負(fù)載，工作負(fù)載在服務(wù)器集群中進(jìn)行處理和分析;

2、存儲(chǔ)經(jīng)濟(jì)高效。經(jīng)濟(jì)高效地方式滿足海量數(shù)據(jù)存儲(chǔ)，而且還需要支持?jǐn)?shù)據(jù)壓縮、自動(dòng)數(shù)據(jù)分層和重復(fù)數(shù)據(jù)刪除等智能功能;

3、更快帶寬。大數(shù)據(jù)的傳輸和處理，對(duì)帶寬提出了更高要求;

4、更高的安全性和管理性。

英特爾Hadoop發(fā)行版能在x86平臺(tái)上提供進(jìn)一步優(yōu)化

就目前來(lái)說(shuō)，基礎(chǔ)設(shè)施還是以開(kāi)放而又標(biāo)準(zhǔn)的x86平臺(tái)為主。在該平臺(tái)上，我們可以著重從計(jì)算設(shè)備、存儲(chǔ)和網(wǎng)絡(luò)三大層面來(lái)進(jìn)行分析。計(jì)算有賴于服務(wù)器設(shè)施，包括服務(wù)器性能、能效和擴(kuò)展。具體來(lái)說(shuō)，就是指服務(wù)器所采用的CPU架構(gòu)和內(nèi)存頻率及容量、I/O帶寬和集群或者分布式計(jì)算體現(xiàn)出來(lái)的整體能效。存儲(chǔ)方面，大數(shù)據(jù)對(duì)存儲(chǔ)架構(gòu)提出挑戰(zhàn)。并要求擁有更高的數(shù)據(jù)傳輸通道和更低的網(wǎng)絡(luò)延遲。萬(wàn)兆和Infiniband網(wǎng)絡(luò)互聯(lián)也將得到更多應(yīng)用。

英特爾在大數(shù)據(jù)時(shí)代的角色定位

在這方面，我們尤為關(guān)注服務(wù)器廠商之間的競(jìng)爭(zhēng)。比如百年老店IBM、甲骨文、EMC、NetApp、戴爾，當(dāng)然，也包括我們國(guó)內(nèi)華為、曙光、浪潮等優(yōu)秀企業(yè)推出的完整解決方案。不過(guò)我們需要了解的是，由于在前兩次的IT技術(shù)革命中，我們國(guó)家并未掌握核心自主的東西，相比之下，更應(yīng)該注重生態(tài)系統(tǒng)和應(yīng)用軟件的投入。

由于IT基礎(chǔ)架構(gòu)在高性能計(jì)算、大規(guī)模數(shù)據(jù)中心、乃至近年興起的云計(jì)算發(fā)展熱潮中，都能提供靈活高效的彈性平臺(tái)支撐。技術(shù)上的成熟、產(chǎn)品上的多樣化，在這片市場(chǎng)上的競(jìng)爭(zhēng)已經(jīng)陷入了白熾化的程度。因此，平臺(tái)競(jìng)爭(zhēng)，已容不下其他新角色，唯有誰(shuí)強(qiáng)、誰(shuí)弱的問(wèn)題，而沒(méi)有誰(shuí)先誰(shuí)后的擔(dān)憂。

前面介紹的是傳統(tǒng)意義上的基礎(chǔ)架構(gòu)平臺(tái)之爭(zhēng)，各個(gè)競(jìng)爭(zhēng)對(duì)手都來(lái)自老牌的服務(wù)器、存儲(chǔ)廠商。然而，大數(shù)據(jù)帶來(lái)的市場(chǎng)更多的還是來(lái)自應(yīng)用和軟件層面。因此，不少傳統(tǒng)的硬件設(shè)備廠商，在提供服務(wù)器、存儲(chǔ)設(shè)備的同時(shí)，還專門(mén)推出面向海量數(shù)據(jù)處理、存儲(chǔ)的一體化解決方案。

比如藍(lán)色巨人IBM，曾在去年5月推出了InfoSphere大數(shù)據(jù)分析平臺(tái)。該平臺(tái)主要由BigInsights和Streams構(gòu)成，前者基于Hadoop分布式文件系統(tǒng)，可對(duì)大規(guī)模靜態(tài)數(shù)據(jù)進(jìn)行分析，利用多節(jié)點(diǎn)進(jìn)行分布式計(jì)算;后者利用內(nèi)存計(jì)算技術(shù)對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行分析。

而甲骨文則推出了集成了硬件、存儲(chǔ)和軟件的大數(shù)據(jù)一體機(jī)Exadata X3。該產(chǎn)品被設(shè)計(jì)為能夠與甲骨文Database 11g、Oracle Exadata數(shù)據(jù)庫(kù)云服務(wù)器，以及針對(duì)商業(yè)智能應(yīng)用的新的Oracle Exalytics商業(yè)智能云服務(wù)器一起協(xié)同工作。

甲骨文 Exadata X3大數(shù)據(jù)一體機(jī)(圖片來(lái)自互聯(lián)網(wǎng)，下同)

存儲(chǔ)巨頭EMC， 推出大數(shù)據(jù)Greenplum統(tǒng)一分析平臺(tái)(UAP)。它與甲骨文和IBM一體機(jī)或者一體化解決方案不同的是，它可對(duì)大數(shù)據(jù)的認(rèn)知和分享貫穿整個(gè)分析過(guò)程，實(shí)現(xiàn)比以往更高的商業(yè)價(jià)值。

同時(shí)，我們還注意到該領(lǐng)域出現(xiàn)一種專有化的解決方案，專門(mén)針對(duì)大數(shù)據(jù)進(jìn)行分析的創(chuàng)新產(chǎn)品。最具代表性比如有 Sybase IQ，它是一款面向大數(shù)據(jù)的高級(jí)分析平臺(tái)，使用了列式存儲(chǔ)方式對(duì)數(shù)據(jù)進(jìn)行分析和查詢。另外，隨著大數(shù)據(jù)而出現(xiàn)的“內(nèi)存 計(jì)算”也逐漸進(jìn)入了人們的視野。這方面頗具代表性的要數(shù)HANA和甲骨文的Exalytics，通過(guò)將大量數(shù)據(jù)裝載在內(nèi)存模塊中，以更高的內(nèi)存壓縮技術(shù)和更快的實(shí)時(shí)處理，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的更高性能支撐。

內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)Exalytics結(jié)構(gòu)示意圖

從這里我們可以看出，不妨將大數(shù)據(jù)的解決方案看成是“一體化”和“專有化”兩個(gè)維度，這兩個(gè)維度又分別體現(xiàn)著廠商所各自代表的產(chǎn)業(yè)生態(tài)鏈：一體化往往蘊(yùn)含著廠商在服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)硬件層面的技術(shù)實(shí)力和成熟產(chǎn)品的基礎(chǔ)上，通過(guò)與合作伙伴或者整合基于該硬件平臺(tái)之上的數(shù)據(jù)分析工具，實(shí)現(xiàn)大數(shù)據(jù)的“打包式”解決方案。專有化延續(xù)著數(shù)據(jù)庫(kù)廠商在該領(lǐng)域的獨(dú)特優(yōu)勢(shì)，并通過(guò)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的智能分析，通過(guò)授權(quán)硬件平臺(tái)或者單獨(dú)以數(shù)據(jù)倉(cāng)庫(kù)形式呈現(xiàn)給用戶。

“一體化”和“專有化”互相補(bǔ)充相得益彰，也是當(dāng)今大數(shù)據(jù)市場(chǎng)競(jìng)爭(zhēng)中，表現(xiàn)最為激烈也是最為直接的領(lǐng)域。相比之前談?wù)撨^(guò)的硬件平臺(tái)領(lǐng)域，專門(mén)針對(duì)大數(shù)據(jù)的解決方案在影響力上來(lái)的更加直接。而我們也發(fā)現(xiàn)，這種解決方案在目前國(guó)內(nèi)也涌現(xiàn)出了包括聯(lián)想和華為等一批優(yōu)秀廠商的產(chǎn)品，尤其是華為今年最新推出的UDS海量存儲(chǔ)系統(tǒng)、HVS高端存儲(chǔ)以及一體機(jī)等系列產(chǎn)品，專門(mén)針對(duì)大數(shù)據(jù)應(yīng)用特點(diǎn)提供解決方案。

大數(shù)據(jù)，顧名思義其核心是“數(shù)據(jù)”，如果說(shuō)基礎(chǔ)架構(gòu)和解決方案是針對(duì)大數(shù)據(jù)的“大”而提出的，那么“數(shù)據(jù)”則直接體現(xiàn)著的是大數(shù)據(jù)的精髓和價(jià)值所在。

利用“數(shù)據(jù)”包裹并進(jìn)行有價(jià)值的投送，就成為了目前我們最為常見(jiàn)的各種應(yīng)用和服務(wù)。君不見(jiàn)“天氣預(yù)報(bào)”、“行為分析”、“銷售統(tǒng)計(jì)”等等，都是利用海量數(shù)據(jù)進(jìn)行處理、分析、提煉并以服務(wù)打包的形式呈現(xiàn)給用戶。圍繞數(shù)據(jù)做文章，在產(chǎn)業(yè)鏈中是直接面向用戶并最終產(chǎn)生價(jià)值的一環(huán)，在大數(shù)據(jù)的整個(gè)生態(tài)系統(tǒng)中，也可以說(shuō)是屬于“金字塔”的頂層。

在大數(shù)據(jù)具體應(yīng)用和服務(wù)提供商方面，就目前來(lái)說(shuō)，主要有亞馬遜、谷歌、阿里巴巴、沃爾瑪?shù)染揞^和大數(shù)據(jù)服務(wù)公司。尤其是亞馬遜，它在2009年的時(shí)候就開(kāi)始推出了亞馬遜彈性MapReduce(Amazon Elastic MapReduce)。這是一項(xiàng)能夠迅速擴(kuò)展的Web服務(wù)，運(yùn)行在亞馬遜彈性計(jì)算云(Amazon EC2)和亞馬遜簡(jiǎn)單存儲(chǔ)服務(wù)(Amazon S3)上大數(shù)據(jù)服務(wù)平臺(tái)。與此同時(shí)，亞馬遜還提供了數(shù)據(jù)分析的服務(wù)，通過(guò)Karmasphere Analyst可視化工作區(qū)模塊，可實(shí)現(xiàn)數(shù)據(jù)分析和提取。

亞馬遜Amazon Elastic MapReduce服務(wù)套餐(圖片截自亞馬遜)

搜索引擎巨擘谷歌，則更是與海量數(shù)據(jù)打交道的“老手”了。谷歌針對(duì)大數(shù)據(jù)推出了BigQuery的Web服務(wù)，可實(shí)現(xiàn)在云端就對(duì)大數(shù)據(jù)進(jìn)行處理。該服務(wù)可為用戶提供高達(dá)70TP未經(jīng)壓縮的數(shù)據(jù)掃描，并快速提交分析結(jié)果。從而實(shí)現(xiàn)在沒(méi)有數(shù)據(jù)中心和數(shù)據(jù)倉(cāng)庫(kù)的情況下，用戶也可以通過(guò)該平臺(tái)來(lái)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。

谷歌BigQuery支持一鍵分析TB級(jí)數(shù)據(jù)(圖片截自谷歌)

作為中國(guó)最大的電子商務(wù)公司阿里巴巴，其實(shí)也在利用大數(shù)據(jù)為用戶提供各種服務(wù)，其服務(wù)內(nèi)容主要包括阿里信用貸款與淘寶數(shù)據(jù)魔方這兩部分業(yè)務(wù)。淘寶數(shù)據(jù)魔方是淘寶平臺(tái)的大數(shù)據(jù)應(yīng)用方案。通過(guò)這一服務(wù)，商家可以了解淘寶平臺(tái)上的行業(yè)宏觀情況、品牌市場(chǎng)狀況、消費(fèi)者行為情況等，并可以據(jù)此作出經(jīng)營(yíng)決策。

除此之外，華為、聯(lián)想、沃爾瑪也是或者即將是大數(shù)據(jù)的服務(wù)提供商。尤其是對(duì)于華為來(lái)說(shuō)，近幾年迅猛發(fā)展，已經(jīng)構(gòu)筑起完整的IT架構(gòu)平臺(tái)，推出了專門(mén)針對(duì)海量數(shù)據(jù)的存儲(chǔ)系統(tǒng)和高端存儲(chǔ)系統(tǒng)，也有一體機(jī)和IT網(wǎng)絡(luò)通信產(chǎn)品、方案。在不久的將來(lái)，華為勢(shì)必能擔(dān)當(dāng)起大數(shù)據(jù)服務(wù)商的重?fù)?dān)。

相比前面介紹的大數(shù)據(jù)解決方案，這里的服務(wù)內(nèi)容或者說(shuō)大數(shù)據(jù)方案，其實(shí)更是一種定制化、甚至可在云端提供大數(shù)據(jù)處理、分析并最終以視覺(jué)化界面呈現(xiàn)最終結(jié)果，從而為用戶的決策提供參考的一個(gè)服務(wù)流程。

在這個(gè)層面的競(jìng)爭(zhēng)，更多的是基于對(duì)市場(chǎng)需求進(jìn)行服務(wù)的競(jìng)爭(zhēng)，不過(guò)這種服務(wù)多以現(xiàn)有的架構(gòu)來(lái)執(zhí)行。雖然目前國(guó)內(nèi)涌現(xiàn)出不少基于大數(shù)據(jù)服務(wù)內(nèi)容的企業(yè)，但相比整個(gè)市場(chǎng)而言，大部分還是由國(guó)外的幾大巨頭和一些極具成長(zhǎng)活力的初創(chuàng)企業(yè)構(gòu)成。在我們欣喜地看到大數(shù)據(jù)這塊巨大蛋糕的同時(shí)，我們也要認(rèn)識(shí)到自己的差距，并充分以市場(chǎng)為導(dǎo)向，挖掘大數(shù)據(jù)的各種應(yīng)用需求，并抓住這些需求點(diǎn)搶占商機(jī)。

前面我們分別介紹了從底層的硬件平臺(tái)、基于軟硬件的解決方案和面向最終需求的應(yīng)用服務(wù)，其實(shí)我們回過(guò)頭來(lái)整體來(lái)看，大數(shù)據(jù)的出現(xiàn)并不是偶然的——大數(shù)據(jù)是因?yàn)槿嗽诮?jīng)濟(jì)社會(huì)中的各種行為特征和基于對(duì)世界的認(rèn)識(shí)和改造而產(chǎn)生的各式各類的符號(hào)。

然而，信息技術(shù)越發(fā)達(dá)，利用智能設(shè)備的人也越來(lái)越多，也就是有越來(lái)越多的PC、平板、手機(jī)等智能設(shè)備，而通過(guò)這些設(shè)備產(chǎn)生的數(shù)據(jù)和處理的數(shù)據(jù)，在整個(gè)經(jīng)濟(jì)社會(huì)中的比例會(huì)隨之增長(zhǎng)。根據(jù)統(tǒng)計(jì)數(shù)據(jù)，2015年的互聯(lián)設(shè)備數(shù)量將達(dá)到驚人的150億臺(tái)!也就是說(shuō)，全球平均人手2個(gè)智能互聯(lián)設(shè)備。而在這150億臺(tái)設(shè)備中，人機(jī)交互式的(比如PC、平板電腦、筆記本電腦、超極本等等)僅有30億臺(tái)，更多的是(120億臺(tái))機(jī)對(duì)機(jī)連接。

2015年將有150億臺(tái)互聯(lián)設(shè)備

在這種情況下，人機(jī)“大戰(zhàn)”的規(guī)模就更為客觀了。交通信號(hào)的對(duì)各個(gè)路道信息的采集、智能城市和社區(qū)的視頻監(jiān)控收集的信息、物流、氣象、科研等等海量數(shù)據(jù)，都在通過(guò)RFID電子標(biāo)簽和氣象衛(wèi)星、傳感器來(lái)收集數(shù)據(jù)，這些數(shù)據(jù)最終通過(guò)數(shù)據(jù)中心進(jìn)行數(shù)據(jù)分析、處理，將結(jié)果呈現(xiàn)給不同用戶。

大數(shù)據(jù)來(lái)源

而作為用戶來(lái)說(shuō)，在大數(shù)據(jù)的產(chǎn)生方面，主要體現(xiàn)在社交應(yīng)用(包括博客、微博、社交站點(diǎn)等等)。進(jìn)一步的，在人們的業(yè)務(wù)應(yīng)用中，也會(huì)涌現(xiàn)出一批批海量數(shù)據(jù)集，這些數(shù)據(jù)集有來(lái)自于商業(yè)目的的行為本身，也有來(lái)自教育、科研、公益等行為。因此，從大數(shù)據(jù)來(lái)源的角度來(lái)看，人、機(jī)、業(yè)務(wù)都是大數(shù)據(jù)的重要源頭。

自然而然的，人們很早就擔(dān)心的一個(gè)問(wèn)題“人機(jī)大戰(zhàn)”不可避免。當(dāng)然，這種“人機(jī)大戰(zhàn)”并不是人與機(jī)器設(shè)備之間的生死較量，而是在未來(lái)大數(shù)據(jù)市場(chǎng)上，誰(shuí)更占據(jù)主體、誰(shuí)對(duì)大數(shù)據(jù)的影響更大的問(wèn)題。這種問(wèn)題，勢(shì)必會(huì)導(dǎo)致“眼球經(jīng)濟(jì)”和注意力資源更加稀缺的出現(xiàn)。這樣下去的結(jié)果就是，全球的人類和互聯(lián)設(shè)備，都被淹沒(méi)在“大數(shù)據(jù)的海洋”中，“大數(shù)據(jù)的海洋”上方的“天氣”，并不是取決于“大數(shù)據(jù)”，而是取決于解決大數(shù)據(jù)問(wèn)題的“設(shè)備”——基于底層架構(gòu)和大數(shù)據(jù)分析處理平臺(tái)的設(shè)備。而“人機(jī)”PK將直接演變成大數(shù)據(jù)與這種“設(shè)備”的PK。它們之間力量和地位的對(duì)比，直接體現(xiàn)著人類社會(huì)的智能化程度的高與低。這種對(duì)比走向，儼然成為了一個(gè)時(shí)代的命脈。而目前來(lái)看，時(shí)代命脈之爭(zhēng)正不斷升級(jí)……

大數(shù)據(jù)與誰(shuí)共舞?你，準(zhǔn)備好了嗎?

zhaohang