不止是網(wǎng)上購物，幾乎我們的每一次行動，都在為大數(shù)據(jù)添磚加瓦

物聯(lián)網(wǎng)與移動終端：信息與物理世界進一步融合

在大數(shù)據(jù)時代，信息產(chǎn)業(yè)所產(chǎn)生和處理的信息與數(shù)據(jù)日益龐大，創(chuàng)造他們的不再是我們的電腦或是某些服務(wù)器，信息與數(shù)據(jù)被物理世界不斷的創(chuàng)造出來，并被物理世界和生活在物理世界中的我們所接收、處理與利用。這就是大數(shù)據(jù)時代的最大不同：他更貼近我們的物理世界，更貼近我們的真實生活。大數(shù)據(jù)，正是被我們的物理世界與真實生活所創(chuàng)造。

如果說，我們以前只能夠坐在電腦前或是身處數(shù)據(jù)中心，才能夠創(chuàng)造數(shù)據(jù)，那么，現(xiàn)在的世界已經(jīng)大為不同。一輛貨車、一部智能手機、一個POS終端或是一個小小的RFID標(biāo)簽，都蘊藏并不斷產(chǎn)生著數(shù)據(jù)，而與我們緊密相連的，就是日益發(fā)展的物聯(lián)網(wǎng)與移動終端。

先談?wù)勎锫?lián)網(wǎng)。這不是一個新的概念，最開始的理念是把一切生活相關(guān)的設(shè)備、物品或是流程，都連接在互聯(lián)網(wǎng)上，以“物”而不僅僅是“人”作為互聯(lián)網(wǎng)的節(jié)點，但隨著物聯(lián)網(wǎng)的不斷發(fā)展，我們發(fā)現(xiàn)了更大的機遇和挑戰(zhàn)。

信息的迅速膨脹遠遠超出人類自身的感知和信息處理能力，未來人們迫切建立在精密感知能力和海量信息處理能力之上的智能技術(shù)，這正是物聯(lián)網(wǎng)的發(fā)展方向。物聯(lián)網(wǎng)不再僅僅是一個概念、或者說不僅僅是一個發(fā)展理念，而正在演變成為政府的行動綱領(lǐng)，以及資本市場的投資方向。

物聯(lián)網(wǎng)是大數(shù)據(jù)的主要來源，而物聯(lián)網(wǎng)是智能城市-智能的物理世界的基礎(chǔ)。

物聯(lián)網(wǎng)領(lǐng)域的大數(shù)據(jù)符合大數(shù)據(jù)時代的三個重要特征：1、大量終端產(chǎn)生大量的數(shù)據(jù)；2、物聯(lián)網(wǎng)終端往往產(chǎn)生的半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)；3、物聯(lián)網(wǎng)的數(shù)據(jù)只有被分析才有真正的意義。

隨著物聯(lián)網(wǎng)的普及，越來越多的“物理”數(shù)據(jù)——來自設(shè)備和物理世界的數(shù)據(jù)——成為可用，像是危險基礎(chǔ)設(shè)施的監(jiān)控、環(huán)境感知、智能家居、樓宇信息與能耗、汽車與交通運輸設(shè)備、智能電表或是每個人都有的移動設(shè)備，加上越來越多的無線傳感網(wǎng)，物聯(lián)網(wǎng)的普及讓越來越多的數(shù)據(jù)接入到信息世界當(dāng)中，進一步緊密的聯(lián)系了信息世界與物理世界。

并由此，我們看到大量基于這些大數(shù)據(jù)的利用、大數(shù)據(jù)的分析的應(yīng)用在不斷涌現(xiàn)。我們通過這些物理世界信息的互聯(lián)與分析，能夠像上面說的一樣跟蹤貨物、了解交通信息、實現(xiàn)本地及社交服務(wù)、照顧家人的安全與健康、了解汽車的情況與駕駛狀況，甚至構(gòu)建更加智慧的城市。

可以看出，物聯(lián)網(wǎng)進一步的催生了智能城市，智能城市進一步催生了更大的數(shù)據(jù)集合。

在學(xué)術(shù)界，物聯(lián)網(wǎng)所帶來的大數(shù)據(jù)問題同樣引起了重視，據(jù)介紹，中科院自動化所把物聯(lián)網(wǎng)中的‘大數(shù)據(jù)’智能處理與分析技術(shù)作為研究所戰(zhàn)略發(fā)展方向之一，定位于研究‘大數(shù)據(jù)’關(guān)鍵問題，推動‘大數(shù)據(jù)’產(chǎn)業(yè)發(fā)展，并進行了長期、廣泛的基礎(chǔ)性研究。

而在移動終端方面，除了物聯(lián)網(wǎng)領(lǐng)域的那些如物流企業(yè)終端機、移動POS刷卡機之外，最重要的就是無處不在的智能手機。有調(diào)查顯示，中國智能手機用戶的月均數(shù)據(jù)網(wǎng)絡(luò)流量達到了95.5MB，而根據(jù)預(yù)測，到2016年移動互聯(lián)網(wǎng)的流量將比2011年增長18倍以上。而更為夸張的數(shù)據(jù)顯示，在3G應(yīng)用及移動互聯(lián)網(wǎng)成熟度更高的美國市場，智能手機用戶的數(shù)據(jù)網(wǎng)絡(luò)用量平均已經(jīng)超過每月400MB。

僅從數(shù)據(jù)上來看，你就會看到移動互聯(lián)網(wǎng)、移動終端所帶來的巨大的數(shù)據(jù)流量——我們很難在身邊找出一個沒有智能手機、不用手機上網(wǎng)的人——而每個人接近百兆的月均流量，可想而知在中國市場意味著什么。在數(shù)據(jù)流量激增的同時，卻又有更多的數(shù)據(jù)類應(yīng)用出現(xiàn)，進一步讓移動終端成為大數(shù)據(jù)浪潮的主流聲音。

據(jù)此前中國東方航空股份有限公司信息部總經(jīng)理嚴(yán)振紅向媒體表示，航空業(yè)現(xiàn)在大量利用互聯(lián)網(wǎng)，尤其是移動互聯(lián)網(wǎng)，像是東方航空這樣的信息成熟度較高的航空公司，在電子客票、網(wǎng)上值機、客戶體驗、VIP客戶服務(wù)以及常旅客等等方面都借助移動終端和移動互聯(lián)網(wǎng)。而在應(yīng)用方面，以東方航空為例，其已經(jīng)建立了移動應(yīng)用開發(fā)平臺，面向所有的移動終端平臺開發(fā)應(yīng)用，其Android版本的應(yīng)用已經(jīng)上線，并服務(wù)于東方航空每日穿梭在全球各地的乘客。

很顯然，移動終端不僅限于智能手機，據(jù)迅雷網(wǎng)絡(luò)技術(shù)有限公司無線事業(yè)部總經(jīng)理何意在8月4日的MacWorld2012數(shù)字世界亞洲博覽會上表示，迅雷有接近50%的用戶時iPad用戶——而不再是傳統(tǒng)的“PC用戶”——這些用戶不停地在分享視頻、創(chuàng)造視頻，算上所有的平板電腦的用戶，產(chǎn)生了大量的數(shù)據(jù)上傳和數(shù)據(jù)訪問，這也是移動互聯(lián)網(wǎng)對大數(shù)據(jù)時代產(chǎn)生的一種影響。

無論是智能手機還是平板電腦，無論是移動終端還是移動POS機，移動網(wǎng)絡(luò)所創(chuàng)造的數(shù)據(jù)量隨著這些設(shè)備在我們生活中所占比重的增加在不斷增加。而正是這些設(shè)備，幫助我們把信息世界、數(shù)據(jù)海洋與我們的生活聯(lián)系起來，讓原本屬于虛擬世界的信息、數(shù)據(jù)與物理世界更加融合，但這也創(chuàng)造了新的大數(shù)據(jù)時代特征與挑戰(zhàn)。

物流企業(yè)：最深刻的體會者

在物聯(lián)網(wǎng)與移動終端的結(jié)合上，物流企業(yè)可能是最有發(fā)言權(quán)的。一家規(guī)?；奈锪髌髽I(yè)，擁有大量的“傳感器”：RFID標(biāo)簽、貨車上的GPS定位與車況傳感器、各個倉庫及貨運中心的聯(lián)網(wǎng)設(shè)備等等這些都是物聯(lián)網(wǎng)的“物理設(shè)備”與產(chǎn)生數(shù)據(jù)的“傳感器”。

與此同時，每一個快遞員手中的POS刷卡機、移動終端，開放給用戶安裝在智能手機上下單、評價App（應(yīng)用）以及不斷為收貨/發(fā)貨方手機上傳遞實時信息，這些移動終端及移動技術(shù)的應(yīng)用，讓物流企業(yè)也同時擁有與移動終端相關(guān)的大量設(shè)備、服務(wù)與業(yè)務(wù)流程。

可以說，物流企業(yè)正是大數(shù)據(jù)時代下，受到物理網(wǎng)與移動終端影響最大的行業(yè)。而也正是在信息化越來越深入、數(shù)據(jù)與信息越來越重要的這個時代，IT已經(jīng)成為物流企業(yè)的核心競爭力與轉(zhuǎn)型基礎(chǔ)。

而由物聯(lián)設(shè)備、移動終端以及用戶創(chuàng)造的大數(shù)據(jù)，也正在影響著每一個物流企業(yè)的IT系統(tǒng)的發(fā)展，并繼而影響了物流企業(yè)的轉(zhuǎn)型計劃。

總的來說，大數(shù)據(jù)有四大挑戰(zhàn)，但不同的行業(yè)也有不同的大數(shù)據(jù)特征。

“2010年，我們建立統(tǒng)一旅客數(shù)據(jù)庫，保留旅客的偏好信息，隨著東方航空推進轉(zhuǎn)型，我們希望這個系統(tǒng)發(fā)揮巨大的作用。同時，不僅是我們自己的系統(tǒng)，更要是合作伙伴的系統(tǒng)、流程和信息，都要實現(xiàn)集成和交換。”嚴(yán)振紅表示，東方航空近幾年正在打造全新的戰(zhàn)略，朝著“綜合的服務(wù)提供商”的方向轉(zhuǎn)型：從以前的客運航空供應(yīng)商轉(zhuǎn)變?yōu)槁每头?wù)集成商，從貨運航空運輸商轉(zhuǎn)變?yōu)楹娇瘴锪鞣?wù)企業(yè)。

很顯然，這不僅僅將創(chuàng)造巨大的旅客信息數(shù)據(jù)庫，也意味著有大量的數(shù)據(jù)流動在東方航空及其合作伙伴的網(wǎng)絡(luò)上。而隨著客運與貨運同時向服務(wù)業(yè)轉(zhuǎn)型——正如上面所說——更好的利用IT，更好的利用業(yè)務(wù)流程中那些物聯(lián)設(shè)備、移動終端所產(chǎn)生的大數(shù)據(jù)，將對針對用戶的個性化的、細致周到的服務(wù)有著至關(guān)重要的作用。

而一些物流行業(yè)的先行者。國內(nèi)已經(jīng)有比較高端的物流公司，通過GPS ONE或GPS定位技術(shù)，針對攜帶定位手機的人員或配置專用終端的車輛，向客戶提供實時監(jiān)控調(diào)度、歷史軌跡查詢、語音導(dǎo)航、特殊人群跟蹤、位置信息查詢功能的全天候全覆蓋的個性化定位服務(wù)，這就是位置服務(wù)。

對于物流企業(yè)來說，基于精準(zhǔn)定位、高精度室內(nèi)定位和快速定位的三大優(yōu)勢，可以實時跟蹤物體最新狀態(tài)信息，如貨物運到哪里了、是否丟失等等。在家用汽車進入物聯(lián)網(wǎng)之后，甚至可以實時查看汽車的所在位置和油耗等運行狀態(tài)。

所有這些，所有這些流程中的移動設(shè)備與物聯(lián)設(shè)備，都產(chǎn)生了巨大的數(shù)據(jù)。而這些數(shù)據(jù)同樣符合大數(shù)據(jù)時代的三大特征：

1、數(shù)據(jù)量隨著企業(yè)的業(yè)務(wù)量與IT水平的發(fā)展不斷激增；
2、承遞物品簽收、客戶單據(jù)簽收的圖片，貨運卡車的實時行車視頻，這些都是非結(jié)構(gòu)化數(shù)據(jù)，也同樣在激增；
3、更好的分析這些數(shù)據(jù)，比如說某一個頻繁交付快遞的公司是否有時間特征，能夠更好的合理安排物流企業(yè)的資源，這也就是說，對數(shù)據(jù)的分析處在非常重要的位置。

物流行業(yè)是大數(shù)據(jù)的創(chuàng)造者，但卻可能是大數(shù)據(jù)的分析和應(yīng)用的最大受益者

這就是我們在大數(shù)據(jù)時代所要面臨的最大挑戰(zhàn)：我們需要無縫連接所有的數(shù)據(jù)，讓數(shù)據(jù)“流動”而不是被固定在某處；我們需要快速的分析數(shù)據(jù)，并將所有的數(shù)據(jù)共同加以考慮，讓數(shù)據(jù)“融合”而不是被分割在各處；我們需要迅速搭建大數(shù)據(jù)平臺并馬上著手分析數(shù)據(jù)的價值，讓數(shù)據(jù)“瞬捷”可用而不是靜候在某處。

治理大數(shù)據(jù)第一步：行之有效的基礎(chǔ)設(shè)施平臺

“羅馬不是一天建成的”大數(shù)據(jù)也不是一天、一周或是一個月就能夠解決的問題，總的來說，解決大數(shù)據(jù)的問題是一個長期的過程，需要對大數(shù)據(jù)的發(fā)現(xiàn)、流動、存儲、分析以及長期保存等各個方面加以考慮，這意味著從平臺建設(shè)的角度來說，需要考慮的“完整的、適合整個大數(shù)據(jù)生命周期”的軟硬件平臺。

從上面的情況我們不難看出，對于物聯(lián)網(wǎng)與移動終端——其實也適用于其他的行業(yè)應(yīng)用——大數(shù)據(jù)需要一個統(tǒng)一、融合以及無縫銜接的，平臺，企業(yè)需要無縫連接所有的數(shù)據(jù)，包括無線傳感器、移動終端等等不同數(shù)據(jù)源的數(shù)據(jù)，從而讓整個企業(yè)業(yè)務(wù)流程中的數(shù)據(jù)被統(tǒng)一存儲和分析。

另一方面，既然是大數(shù)據(jù)，其對服務(wù)器與存儲的性能壓力自然也變得更大，企業(yè)需要性能更強勁的服務(wù)器以及更快速的存儲系統(tǒng)，但與此同時，這并不意味著在大數(shù)據(jù)時代，我們能夠放松對能耗與空間的重視，否則隨著數(shù)據(jù)越來越“大”，難道我們必須無休止的去增加IT所需的電力和數(shù)據(jù)中心的空間？這顯然是一個不能接受的命題。

我們需要這樣的一個硬件平臺：高性能、無縫擴展、低能耗、開放以及極高的性價比優(yōu)勢——這正是IA架構(gòu)在過去三十年不斷給與業(yè)界的“禮物”：以英特爾為代表的x86（IA）架構(gòu)平臺，已經(jīng)洞察到了上述大數(shù)據(jù)來臨和發(fā)展的趨勢，并為此作好了充分的準(zhǔn)備。

IA架構(gòu)的計算能力自不必說——高性能意味著物流企業(yè)更快的制定運輸線路和更快速的運輸速度。

以英特爾至強E5系列處理器為例，其性能在每一代產(chǎn)品上，都能夠得到高達80%的提升，其性能水準(zhǔn)在全球高性能計算500強中得到充分的體現(xiàn)。而在提供如此高的性能的同時，至強E5處理器的能耗卻有50%的降低，這使得企業(yè)在建立規(guī)模化的大數(shù)據(jù)處理平臺——往往是上百臺的服務(wù)器——時，可以在數(shù)據(jù)中心原有的電力供應(yīng)下，提高超過一倍的計算能力。

對于大數(shù)據(jù)分析這一處理器密集型應(yīng)用來說，英特爾的超線程技術(shù)可以極大的提高系統(tǒng)性能。

而對于更為重要的無縫擴展，IA架構(gòu)的高可擴展性也早已被業(yè)界證實。事實上，正是IA架構(gòu)的高可擴展性，業(yè)界最著名的Hadoop大數(shù)據(jù)平臺才會以IA架構(gòu)為基礎(chǔ)，提出以IA架構(gòu)為硬件基礎(chǔ)的大數(shù)據(jù)軟硬件推薦模板。

無論是中心還是邊緣，只有IA架構(gòu)能夠?qū)崿F(xiàn)最佳的大數(shù)據(jù)平臺連續(xù)性

從另一個角度來看，IA架構(gòu)無縫、高效的擴展能力，能夠讓企業(yè)在不斷增長的大數(shù)據(jù)分析負載面前，有效的擴展計算平臺——請記住，因為英特爾E5處理器超過上一代50%的能耗降低與80%的性能提升——這不僅意味著性能的巨大提升，還意味著能耗水平甚至有可能會降低。

當(dāng)然，從存儲平臺上看，我們會看到相同的事情在發(fā)生?，F(xiàn)在，幾乎所有主流的企業(yè)存儲系統(tǒng)都是以英特爾x86處理器為核心的，各家主流供應(yīng)商也都采用了英特爾推薦的整體IA架構(gòu)設(shè)計中端甚至高端的存儲系統(tǒng)，這讓英特爾x86平臺獲得“無可比擬”的優(yōu)勢：當(dāng)你的數(shù)據(jù)中心的服務(wù)器、存儲都以英特爾x86平臺為核心，以英特爾的推薦架構(gòu)為平臺設(shè)計，這也就意味著你將獲得一個融合、統(tǒng)一以及更高性價比的數(shù)據(jù)中心。這顯然是應(yīng)對大數(shù)據(jù)，甚至是云計算時代，最有力的優(yōu)勢。

值得一提的是，對于商業(yè)智能來說，基于英特爾至強處理器的多路平臺還具備高性能、高能效、靈活擴展以及高性價比等優(yōu)勢——從雙路到四路、多路，英特爾為商業(yè)智能提供高度適合的計算平臺。

但硬件只是基礎(chǔ)，軟件才是上層建筑，對于業(yè)界主流的大數(shù)據(jù)平臺Hadoop來說，僅有英特爾至強處理器平臺顯然是不夠的，但對于企業(yè)來說，對攸關(guān)企業(yè)發(fā)展的大數(shù)據(jù)問題來說，一個開源的、無支持與服務(wù)的原生版本的Hadoop平臺，顯然不是一個好主意。更何況，國內(nèi)的Hadoop人才尤其是底層開發(fā)人才目前還處于空檔期。

讓Hadoop飛：英特爾Hadoop發(fā)行版

Hadoop 為處理海量處理系統(tǒng)提供了一個超越傳統(tǒng)存儲和數(shù)據(jù)庫技術(shù)的解決方案，已經(jīng)成為構(gòu)建海量數(shù)據(jù)構(gòu)架的主流選擇。但基于開源社區(qū)的 Hadoop 開源版本使企業(yè)用戶在使用時不得不自己解決系統(tǒng)一致性、安裝維護、管理監(jiān)控等，并且需要自己解決和修補開源版本中存在的軟件缺陷，這樣的要求使得企業(yè)用戶在使用 Hadoop 中遇到重重障礙。

針對企業(yè)用戶對 Hadoop 技術(shù)平臺的需要，英特爾 Hadoop 發(fā)行版產(chǎn)品提供了一個穩(wěn)定高效可管理的 Hadoop 發(fā)行版。英特爾 Hadoop 發(fā)行版經(jīng)過大量實際項目的在線使用驗證，免去了企業(yè)用戶的后顧之憂。英特爾還提供全面的產(chǎn)品技術(shù)支持和顧問服務(wù)，使得企業(yè)用戶在系統(tǒng)規(guī)劃、設(shè)計、實施和運行時都能得到專業(yè)及時的專業(yè)服務(wù)。

 
英特爾Hadoop發(fā)行版與開源版本的對比

對于企業(yè)來說，英特爾Hadoop發(fā)行版最明顯的功能增強在于提供跨數(shù)據(jù)中心的HBase數(shù)據(jù)庫虛擬大表功能，這意味著，企業(yè)能夠把不同數(shù)據(jù)中心——大型的或是小型的、甚至是集裝箱式的移動數(shù)據(jù)中心——內(nèi)的數(shù)據(jù)庫聯(lián)系在一起，再借助該發(fā)行版的HBase數(shù)據(jù)庫復(fù)制和備份功能，企業(yè)能夠?qū)⒎植荚诟鞯財?shù)據(jù)中心的數(shù)據(jù)實現(xiàn)統(tǒng)一的數(shù)據(jù)庫管理以及數(shù)據(jù)保護。毋庸置言，這對大數(shù)據(jù)下的企業(yè)整體數(shù)據(jù)解決方案、融合架構(gòu)有多么大的意義。

另一方面，英特爾基于開源框架針對英特爾平臺進行了一系列優(yōu)化工作，使得在英特爾平臺上實現(xiàn)Hadoop，比非英特爾發(fā)行版獲得性能的成倍增長，其處理能力達到“接近于實時”的處理效果——要知道，在英特爾Hadoop發(fā)行版中，改進后集群系統(tǒng)的 I/O 吞吐量能夠隨節(jié)點數(shù)量增加而線性擴展，這對于企業(yè)長期的大數(shù)據(jù)戰(zhàn)略必不可少。

對集群系統(tǒng)I/O吞吐量的改進，顯示出了英特爾Hadoop發(fā)行版的一項重要的不同，而這也正是我們在上文提到的，企業(yè)需要考慮的“完整的、適合整個大數(shù)據(jù)生命周期”的軟硬件平臺。英特爾借助自己在硬件平臺與軟件平臺上的“合力”，通過將Hadoop的軟件改進，結(jié)合英特爾的硬件部門，英特爾Hadoop發(fā)行版簡化了Hadoop的安裝和配置，可以根據(jù)用戶的硬件環(huán)境自動生成最優(yōu)化的集群配置，充分發(fā)揮集群的計算能力。而英特爾將為用戶提供的，是“全面的軟硬件解決方案設(shè)計與服務(wù)”。

 
從物聯(lián)網(wǎng)到智慧城市，英特爾開始為不同的行業(yè)創(chuàng)建不同的解決方案，智能交通解決方案是英特爾幫助智慧城市的第一步。

而更重要的是，英特爾Hadoop發(fā)行版是經(jīng)過測試和驗證的穩(wěn)定版本，在客戶生產(chǎn)環(huán)境成功部署運營，可以確?？蛻羯a(chǎn)環(huán)境 7×24 小時不間斷運行。輔之以英特爾通過云計算上的經(jīng)驗積累，提供的從項目規(guī)劃到實施各階段專業(yè)的咨詢服務(wù)，由此構(gòu)建的Hadoop分布式系統(tǒng)硬件平臺的擴展性與性能都更加優(yōu)異。

最后，我們把目光轉(zhuǎn)回到物聯(lián)網(wǎng)與移動終端，轉(zhuǎn)回到由這兩者所產(chǎn)生的另外一個話題，那就是“智慧城市”。通過物聯(lián)網(wǎng)和移動終端，通過更多的傳感器與數(shù)據(jù)，通過更快速的大數(shù)據(jù)分析與利用，我們所生活的物理世界——每一個城市——能夠獲得極大的改變。而英特爾Hadoop發(fā)行版也在朝著這個方向努力，其已經(jīng)推出了“海量數(shù)據(jù)智能交通解決方案”的設(shè)計藍本，這一方案將顯著提高我們對城市交通的管理和控制——對于大數(shù)據(jù)來說，這才是它真正的歸宿。

cuihao