根據(jù)IDC的“數(shù)字宇宙”報(bào)告,受管理的數(shù)據(jù)量將增長(zhǎng)50倍,而IT人員僅僅增長(zhǎng)1.5倍
數(shù)字宇宙中,有75%的信息由個(gè)人產(chǎn)生的,企業(yè)則要為數(shù)字宇宙中80%的信息承擔(dān)責(zé)任。隨著越來(lái)越多的嵌入式系統(tǒng)涌入數(shù)字宇宙中,“文件”的數(shù)量——或者“封裝”信息的容器——將要比信息本身的增長(zhǎng)速度更快。在未來(lái)5年,這些文件將增長(zhǎng)8倍,而可用于管理這些文件的IT人力資源僅是略有增加。
數(shù)字宇宙中,不足1/3的信息可以說(shuō)至少有最基本的安全或者保護(hù)措施,應(yīng)該受到保護(hù)的信息中只有一半真正得到了保護(hù)。個(gè)人生成——寫入文檔、照相、下載音樂(lè)等等——的信息量遠(yuǎn)遠(yuǎn)少于生成的、關(guān)于他們自己的信息量。
數(shù)字宇宙的增長(zhǎng)仍將超過(guò)存儲(chǔ)容量的增長(zhǎng)。但是要記住,每保存1GB內(nèi)容,就可以產(chǎn)生1PB甚至更多瞬時(shí)數(shù)據(jù),而這些我們通常是不存儲(chǔ)的(例如,我們只看不記錄的數(shù)字電視信號(hào),還有語(yǔ)音電話,通話過(guò)程中它在網(wǎng)絡(luò)主干中是數(shù)字形式的)。
因此,與我們的物理宇宙一樣,數(shù)字宇宙也是非常龐大的——500萬(wàn)億份文件中的1.8ZB數(shù)據(jù)——而且每?jī)赡攴环?shù)字宇宙中的信息位數(shù)多如物理宇宙中的恒星。
數(shù)字宇宙中充斥著存在時(shí)間不長(zhǎng)的數(shù)據(jù),但足以在這些數(shù)據(jù)消失之前讓我們的眼睛或者耳朵在捕捉到。這些數(shù)據(jù)暫時(shí)性的存在并不會(huì)削弱其價(jià)值,在其短暫生命中可有多種用途,例如拉動(dòng)消費(fèi)(增加網(wǎng)站流量的廣告收入)或?qū)崟r(shí)數(shù)據(jù)分析(以優(yōu)化現(xiàn)有操作和創(chuàng)造全新的市場(chǎng))。
什么是數(shù)字宇宙爆炸式增長(zhǎng)背后的力量?當(dāng)然,技術(shù)因素幫助將信息產(chǎn)生、獲取、管理和保存的成本推低至2005年的1/6。但是主要?jiǎng)恿s是來(lái)自于財(cái)力方面。自從2005年,企業(yè)在數(shù)字宇宙中的投資增長(zhǎng)了50%,花在了硬件、軟件、服務(wù)以及用于產(chǎn)生、管理和保存的人員上——以及從數(shù)字宇宙中獲得收入。
在信息社會(huì)中,信息就是金錢。關(guān)鍵是要通過(guò)從數(shù)字宇宙中提取出正確的信息來(lái)產(chǎn)生價(jià)值——從微觀層面類似于我們熟悉的普通CIO——似乎和物理宇宙一樣激蕩不安又難以預(yù)測(cè)。
事實(shí)上,這要?dú)w功于新的工具和技術(shù),以及新的IT和機(jī)構(gòu)實(shí)踐,我們可能正處于一個(gè)數(shù)字宇宙探索主要時(shí)期的關(guān)口。技術(shù)融合現(xiàn)在不僅改變了業(yè)務(wù)經(jīng)營(yíng)和管理的方式,還改變了我們工作和生活的方式。
新的獲取、搜索、發(fā)現(xiàn)和分析工具可以幫助企業(yè)機(jī)構(gòu)獲得對(duì)于他們非結(jié)構(gòu)化數(shù)據(jù)(占數(shù)字宇宙的90%以上)的洞察力。這些工具可以自動(dòng)生成關(guān)于數(shù)據(jù)的數(shù)據(jù),就像是幫助標(biāo)記Facebook照片的面部識(shí)別程序。關(guān)于數(shù)據(jù)的數(shù)據(jù)——也就是元數(shù)據(jù)——增長(zhǎng)的速度是整個(gè)數(shù)字宇宙的2倍。
業(yè)務(wù)智能工具越來(lái)越多地處理實(shí)時(shí)數(shù)據(jù),新的存儲(chǔ)管理工具用于削減數(shù)保存數(shù)據(jù)的成本,例如重復(fù)數(shù)據(jù)刪除、自動(dòng)分層和虛擬化等,并幫助我們決定到底保存哪些數(shù)據(jù),例如內(nèi)容管理解決方案。
逐漸成長(zhǎng)起來(lái)的整個(gè)行業(yè)幫助我們遵守關(guān)于企業(yè)信息的規(guī)則(法律、法規(guī)和條例),使我們能夠獲得構(gòu)建于存儲(chǔ)管理系統(tǒng)的法規(guī)遵從系統(tǒng)。
新的安全實(shí)踐以及工具可以幫助企業(yè)識(shí)別出需要保護(hù)的信息以及所需安全級(jí)別,然后使用特定的信息安全防護(hù)設(shè)備及軟件、欺詐管理系統(tǒng)、聲譽(yù)保護(hù)設(shè)備來(lái)確保信息安全。
相比傳統(tǒng)IT環(huán)境,云計(jì)算解決方案——公共云、私有云和混合云——為企業(yè)提供了新高度的規(guī)模經(jīng)濟(jì)、敏捷性和靈活性。從長(zhǎng)遠(yuǎn)來(lái)看,這將是是應(yīng)對(duì)數(shù)字宇宙復(fù)雜性的一個(gè)關(guān)鍵工具(見(jiàn)下表)。
云計(jì)算將實(shí)現(xiàn)把IT作為服務(wù)進(jìn)行消費(fèi)的方式。云計(jì)算與大數(shù)據(jù)現(xiàn)象促使企業(yè)機(jī)構(gòu)越來(lái)越多地將IT作為一種外部服務(wù)和內(nèi)部基礎(chǔ)架構(gòu)投資的方式進(jìn)行消費(fèi)。
注:縱坐標(biāo)為數(shù)據(jù)量,單位為EB(ExaBytes)
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
對(duì)數(shù)字宇宙“太空探索”的時(shí)期充滿挑戰(zhàn)。但是對(duì)于投身其中的“宇航員”——CIO和他們的員工——來(lái)說(shuō),它代表了一種獨(dú)特的、也許是職業(yè)生涯中唯一一次推動(dòng)企業(yè)增長(zhǎng)的機(jī)會(huì)。他們需要引導(dǎo)企業(yè)采用從采用并攫取數(shù)據(jù)價(jià)值的新信息技術(shù)和最佳實(shí)踐,以及創(chuàng)建新的規(guī)則和機(jī)構(gòu)設(shè)計(jì)。每個(gè)步驟都要求組織變革,不僅僅是幾臺(tái)新的電腦或者更多軟件。未來(lái)幾年,很多企業(yè)的成功將取決于CIO如何成功地根據(jù)數(shù)字宇宙現(xiàn)實(shí)進(jìn)行企業(yè)調(diào)整(見(jiàn)下表)。
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
云之旅
隨著數(shù)字宇宙不斷擴(kuò)大并且更加復(fù)雜,信息的處理、保存、管理、保護(hù)和棄置也將變得更為復(fù)雜。
想想看:未來(lái)十年中,全球服務(wù)器(虛擬服務(wù)器和物理服務(wù)器)的數(shù)量將增長(zhǎng)10倍,企業(yè)數(shù)據(jù)中心所管理的信息量將增長(zhǎng)50倍,數(shù)據(jù)中心必須處理的文件數(shù)量將至少增長(zhǎng)75倍。與此同時(shí),IT專業(yè)人員的數(shù)量也將增長(zhǎng)1.5倍。
因此,管理所有這些數(shù)據(jù)所需的技能、經(jīng)驗(yàn)和資源將變得更加稀缺、更加專業(yè)化,要求一個(gè)新的、靈活且可擴(kuò)展的IT基礎(chǔ)設(shè)施。今天,我們稱之為云計(jì)算。
雖然目前云計(jì)算在IT開支中所占比例不足2%,但是IDC預(yù)測(cè),到2015年接近20%的信息將被云計(jì)算服務(wù)提供商所接手——這意味著一個(gè)字節(jié)從發(fā)起段到最后被棄置的過(guò)程,將云中保存或者處理。也許高達(dá)10%都是保留在云中的。
虛擬化的普及推動(dòng)了向與架構(gòu)的遷移。去年是虛擬服務(wù)器出貨量超過(guò)物理服務(wù)器的第一年。IDC預(yù)測(cè),目前在服務(wù)器運(yùn)行的信息有10%也運(yùn)行在虛擬化系統(tǒng)中,而且這個(gè)比例到2015年將超過(guò)20%。目前一些大型環(huán)境的虛擬化系統(tǒng)比例甚至高達(dá)100%。
當(dāng)然,云服務(wù)分為幾種形式——公共云、私有云和混合云。對(duì)于那些想要提供自己云服務(wù)的企業(yè)機(jī)構(gòu)來(lái)說(shuō),他們要做的不僅僅是運(yùn)行虛擬服務(wù)器。他們還必須實(shí)現(xiàn)虛擬化存儲(chǔ)和網(wǎng)絡(luò)、自主配置以及自主服務(wù)。很少有企業(yè)能做到這些,因此私有云對(duì)于數(shù)字宇宙的影響現(xiàn)在還很?。ㄒ?jiàn)下圖)。但是到2015年,當(dāng)虛擬化基礎(chǔ)架構(gòu)越來(lái)越普及,增長(zhǎng)率將有所加速。
2015年數(shù)字宇宙于公共云
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
云采用的挑戰(zhàn)包括:
· 為切換到云所做數(shù)據(jù)方面的準(zhǔn)備
· 集成云/非云管理
· 服務(wù)等級(jí)協(xié)議于終止策略
· 安全、備份、歸檔和災(zāi)難控制策略
· 國(guó)家間的數(shù)據(jù)傳輸與遵從
· 機(jī)構(gòu)策略
大多數(shù)虛擬化項(xiàng)目能夠成功的部分原因是,CIO們已經(jīng)選擇出企業(yè)內(nèi)部各部分可能不要以分享的信息的數(shù)據(jù)。轉(zhuǎn)換到云計(jì)算,意味著改變現(xiàn)狀,這總是一件困難的事,即使有很好的理由。
大數(shù)據(jù)的大價(jià)值
大數(shù)據(jù)看起來(lái)似乎是一個(gè)突如其來(lái)的熱潮。但實(shí)際上,大數(shù)據(jù)并不是什么新概念,相反,它是逐漸成為主流并獲得越來(lái)越多關(guān)注的概念。大數(shù)據(jù)在廉價(jià)存儲(chǔ)、激增的傳感器和數(shù)據(jù)采集技術(shù)的推動(dòng)下得到了快速發(fā)展,通過(guò)云和虛擬化存儲(chǔ)基礎(chǔ)設(shè)施,創(chuàng)新軟件和分析工具的連接信息不斷增加。大數(shù)據(jù)不是一個(gè)“東西”,而是一個(gè)跨多個(gè)IT邊界的動(dòng)態(tài)/活動(dòng),IDC對(duì)大數(shù)據(jù)所做的定義如下:
大數(shù)據(jù)技術(shù)描述了新一代的技術(shù)和架構(gòu),旨在從各種海量的數(shù)據(jù)中,通過(guò)高速采集、發(fā)現(xiàn)和/或分析,提取出數(shù)據(jù)隱藏的商業(yè)價(jià)值。
大數(shù)據(jù)是數(shù)字宇宙的一個(gè)橫斷面,可能包括交易數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)和其它大得離譜的文件中的數(shù)據(jù),媒體/娛樂(lè)、醫(yī)療保健和視頻監(jiān)控是大數(shù)據(jù)新增長(zhǎng)領(lǐng)域的一些顯著例子,社會(huì)化媒體解決方案,如Facebook、Foursquare和Twitter都是最新的新數(shù)據(jù)源,實(shí)際上,它們已經(jīng)建立起由消費(fèi)者持續(xù)提供(有意或無(wú)意)有關(guān)他們自身的數(shù)據(jù)流的系統(tǒng),得益于成功網(wǎng)站的網(wǎng)絡(luò)效應(yīng),產(chǎn)生的總數(shù)據(jù)量呈線性快速增長(zhǎng)。
重要的是要明白,大數(shù)據(jù)不僅僅是關(guān)于保存或消耗的原始內(nèi)容,也包括它周圍的信息。智能手機(jī)是一個(gè)很好的例證,我們的移動(dòng)設(shè)備會(huì)產(chǎn)生很多附加數(shù)據(jù)源,包括地理位置、文本消息、瀏覽歷史以及運(yùn)動(dòng)或方向數(shù)據(jù)(如下圖所示)。
大數(shù)據(jù)并不是創(chuàng)建的內(nèi)容,也不是它消耗的內(nèi)容——而是圍繞它所有數(shù)據(jù)的分析。
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
采集和分析這些“漩渦”數(shù)據(jù)的確是大數(shù)據(jù)的機(jī)會(huì),但它也是數(shù)據(jù)中心管理人員噩夢(mèng)開始的地方。數(shù)據(jù)中心架構(gòu)和組織模型需要擴(kuò)展,因?yàn)榇髷?shù)據(jù)應(yīng)用程序遍及企業(yè)基礎(chǔ)設(shè)施的各個(gè)角落,集群環(huán)境,如大型Hadoop網(wǎng)格中使用的IT架構(gòu)和組織方式,與推動(dòng)大多數(shù)組織數(shù)據(jù)中心過(guò)渡戰(zhàn)略的融合和虛擬IT環(huán)境中的IT架構(gòu)和組織方式完全不同。
大數(shù)據(jù)將注入與采集和分析、結(jié)果/預(yù)測(cè)報(bào)告相關(guān)的高速需求,IT最好圍繞特定機(jī)會(huì)和/或功能進(jìn)行組織,而不僅僅是圍繞一套服務(wù)于傳統(tǒng)和新用途的共享服務(wù)組織,大多數(shù)IT學(xué)科——從基礎(chǔ)設(shè)施到應(yīng)用程序,再到治理——是一個(gè)綜合團(tuán)隊(duì)理想的組成部分,以某種有別于傳統(tǒng)企業(yè)IT方法的方法與大數(shù)據(jù)用戶緊密合作。
云提供商在大數(shù)據(jù)領(lǐng)域的方方面面將發(fā)揮關(guān)鍵作用,首先,他們是最重要的數(shù)據(jù)流和內(nèi)容收集者,其次,他們將是大數(shù)據(jù)系統(tǒng)最積極的使用者,第三,他們也給那些技術(shù)精通,但資源有限的組織提供了一種使用大數(shù)據(jù)的方式。例如,基于云的大數(shù)據(jù)平臺(tái)對(duì)小型工程和建筑公司來(lái)說(shuō)非常實(shí)用,他們不用構(gòu)建自己的大數(shù)據(jù)農(nóng)場(chǎng),就可以在短期內(nèi)訪問(wèn)大規(guī)模計(jì)算資源。
· 它是否提高了響應(yīng)及時(shí)性?
· 它是否提供了更有用的信息?
· 它是否提高了信息的精確度?
Netflix可以建議你下一部應(yīng)該租賃什么電影,在橋梁中嵌入傳感器動(dòng)態(tài)監(jiān)控和檢查實(shí)時(shí)壓力,長(zhǎng)期形成的腐蝕情況,零售商店分析數(shù)字視頻流,優(yōu)化產(chǎn)品陳列布局,在合適的地方顯示促銷信息來(lái)吸引你的注意,這些都是我們現(xiàn)實(shí)生活中涉及到大數(shù)據(jù)的鮮活案例。
大數(shù)據(jù)對(duì)CIO來(lái)說(shuō)代表大機(jī)會(huì)和大挑戰(zhàn),幾乎每個(gè)CIO都渴望讓IT對(duì)組織實(shí)現(xiàn)更大的價(jià)值,在大數(shù)據(jù)項(xiàng)目中,IT是前端和核心,通常在業(yè)務(wù)的邊界,存在許多業(yè)務(wù)擴(kuò)張或降低成本的機(jī)會(huì)。
大數(shù)據(jù)也帶來(lái)了一些挑戰(zhàn),正如前面提到的,大數(shù)據(jù)可能會(huì)造成當(dāng)前數(shù)據(jù)中心過(guò)渡計(jì)劃中斷,此外,大數(shù)據(jù)部署需要新的IT管理和應(yīng)用程序開發(fā)技能,具有這些技能的人在短期內(nèi)很可能是供不應(yīng)求的,但最大的挑戰(zhàn)是文化挑戰(zhàn),今天,許多大數(shù)據(jù)項(xiàng)目戲稱為“少年科學(xué)項(xiàng)目”,除非嚴(yán)密管理,這些小項(xiàng)目可能很快就變成下一個(gè)“曼哈頓項(xiàng)目”。
除了挑戰(zhàn)外,機(jī)會(huì)也比比皆是,大數(shù)據(jù)給CIO帶來(lái)了新的機(jī)會(huì),為業(yè)務(wù)部門或整個(gè)企業(yè)尋找更重要的戰(zhàn)略合作伙伴創(chuàng)造了合適的時(shí)機(jī)。
數(shù)字宇宙中的安全性
去年,我們第一次估算了數(shù)字宇宙中需要一定安全水平的信息量,可怕的現(xiàn)實(shí)是,需要保護(hù)的信息量增長(zhǎng)速度超出了我們的保護(hù)能力,因?yàn)閱T工越來(lái)越多地將移動(dòng)設(shè)備用于工作,消費(fèi)者故意(和非故意)共享的個(gè)人數(shù)據(jù)也越來(lái)越多,值得欣慰的是,公司發(fā)現(xiàn)了挖掘這些數(shù)據(jù)的新方法。
為了了解數(shù)字宇宙中安全的程度,我們將需要安全保護(hù)的信息分為以下5類,每個(gè)需要的安全保護(hù)水平都不一樣:
· 隱私性:如Youtube上傳視頻中的電子郵件地址
· 法規(guī)遵從:如在訴訟或受保留規(guī)則中可能被泄露的電子郵件
· 保管型:賬戶信息,它被破壞可能會(huì)導(dǎo)致或幫助身份信息被盜
· 機(jī)密型:原始創(chuàng)建者希望保護(hù)信息,如商業(yè)秘密,客戶名單,機(jī)密備忘錄等等
· 鎖定型:需要最高安全的信息,如金融交易,個(gè)人文件,醫(yī)療記錄,軍事情報(bào)等等
2010年,數(shù)字宇宙中28%的信息需要某種水平的安全保護(hù)(如下圖所示),注意這僅僅是需要安全保護(hù)的信息。
對(duì)信息安全的需求:在數(shù)字宇宙中所占百分比
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
日益增多的、需要安全保護(hù)的信息主要由兩個(gè)源頭驅(qū)動(dòng):企業(yè)(包括員工)和消費(fèi)者。
很多組織采用由用戶控制筆記本電腦,平板電腦和智能手機(jī)的策略,用戶可以將這些設(shè)備帶入公司工作或處理個(gè)人事務(wù),IT資源迅速變成私有和公共基礎(chǔ)設(shè)施的混合體,這些組織身上的壓力是要找出一種辦法,跨多對(duì)多關(guān)系管理安全和服從義務(wù)。
在復(fù)雜和高度流動(dòng)的環(huán)境中,信息使用、共享、歸檔和管理中的信任關(guān)系是關(guān)鍵,信任與信息的來(lái)源,過(guò)程和生成、采集和管理信息的計(jì)算機(jī)系統(tǒng)的完整性,以及可以接觸或訪問(wèn)信息的個(gè)人和商業(yè)實(shí)體的憑據(jù)和身份有著極大的關(guān)聯(lián)。
我們很高興看到圍繞信任的討論變得越來(lái)越熱。在線數(shù)據(jù)收集變得更侵入,數(shù)據(jù)挖掘分析和大數(shù)據(jù)使企業(yè)分析個(gè)體消費(fèi)者成為可能,不管是使用移動(dòng)設(shè)備應(yīng)用程序,還是積極參與社交網(wǎng)站,暴露的個(gè)人信息是越來(lái)越多,因此,越來(lái)越多的律師,教授和管理者呼吁修訂現(xiàn)行隱私和數(shù)據(jù)保護(hù)制度。
幾年前,我們引入了數(shù)字影子的概念(如下圖所示),這個(gè)影子每年的增長(zhǎng)速度非??欤覀兊臄?shù)字影子由我們可能認(rèn)為可公開,但我們寧愿保密的信息組成,正是這種數(shù)據(jù)不斷增長(zhǎng),大數(shù)據(jù)才獲得了機(jī)會(huì),幫助驅(qū)動(dòng)更多個(gè)性化服務(wù),更有效地管理連接,或創(chuàng)建有價(jià)值的新業(yè)務(wù)。
加速數(shù)字宇宙:數(shù)字陰影
來(lái)源:IDC數(shù)字宇宙研究,EMC贊助,2011年6月
那些管理自己私有云的組織,或那些提供公共云的組織,都必須找到辦法減少安全信息不必要的或意外曝光,員工和消費(fèi)者(個(gè)體)不是做任何事情的時(shí)候都是可信任的,相反,組織必須整合政策和程序,創(chuàng)建一個(gè)可信任的環(huán)境,下面具體的步驟:
· 企業(yè)必須了解整個(gè)過(guò)程的依賴關(guān)系和計(jì)算資源
· 企業(yè)需要能夠識(shí)別可能的策略沖突,以及分析新技術(shù)和過(guò)程的影響
· IT組織管理的網(wǎng)絡(luò)拓?fù)浜蛷S商關(guān)系越來(lái)越復(fù)雜,他們需要建立跨功能系統(tǒng)事件和變化的相互依賴關(guān)系,此外,他們需要跟蹤人、過(guò)程、信息和底層計(jì)算資源的依賴關(guān)系
· 企業(yè)必須證明他們一直符合他們的監(jiān)管和法律職責(zé)
移動(dòng)計(jì)算,IT消費(fèi)化,云計(jì)算,大數(shù)據(jù)和先進(jìn)的數(shù)據(jù)挖掘技術(shù),正在迫使許多組織從一個(gè)遵守的心態(tài)過(guò)渡到風(fēng)險(xiǎn)管理的心態(tài),風(fēng)險(xiǎn)管理框架允許組織裁剪它對(duì)信息、業(yè)務(wù)流程和業(yè)務(wù)關(guān)系臨界狀態(tài)的響應(yīng),因?yàn)橘Y源是有限的,一個(gè)綱領(lǐng)性的風(fēng)險(xiǎn)管理框架也允許組織調(diào)整資源的優(yōu)先級(jí),以便它能夠更快速地識(shí)別和響應(yīng)最關(guān)鍵的威脅。