|
主持人：尊敬的各位來賓，歡迎在百忙之中蒞臨2012年中國存儲峰會，我是主持人。今天下午本次分會場討論主題是大數(shù)據(jù)創(chuàng)新，在今天下午我們請到五位業(yè)內(nèi)專家分享他們的嘉賓。同時演講結束后進行抽獎活動。請在演講過程中調(diào)成靜音狀態(tài)，感謝你的參與。首先我們有請NetApp大中華區(qū)技術顧問張偉先生，演講主題是大數(shù)據(jù)的ABCNetApp大數(shù)據(jù)解決方案。 張偉：今天跟高興跟大家做一個交流，分析帶寬和大容量的解決方案。今天主要的內(nèi)容第一個大數(shù)據(jù)市場分析，第二個就是NetApp在大數(shù)據(jù)方面的方法和理念。我先介紹NetApp公司，是92年專門成立的做存儲，NetApp是公司一直關注與存儲的領域，目前來說是世界500強之一，比較專業(yè)的。NetApp提供產(chǎn)品組合，解決方案，另外一方面與業(yè)界領先的公司合作，提供廣泛的解決方案。在全球來看目前來說有大概1萬2千人左右，它在2000年左右進入中國，比如說在金融、電信、能源各行各業(yè)都是比較大的份額。在500強里面有77%的都是NetApp的客戶，這是一個基本的情況�？纯次覀兇髷�(shù)據(jù)的解決方案。 大數(shù)據(jù)怎么來的？為什么這兩年引起大家的興趣。我們看一下幾張圖案，一個是（英文）的圖案。對于傳統(tǒng)的郵件來說，每天我們發(fā)出多少郵件，每天有上千億封的郵件會在全球傳來傳去。另外這幾年新興的博客，比過傳統(tǒng)報紙一年的發(fā)行量。再有就是移動設備，就是說手機這種設備，它每天發(fā)送的信息量大家可以想象一下，每天實際上有43個PB級的數(shù)據(jù)量。再有就是比較著名的FaceBook每天更新量也是很大，這么大的數(shù)據(jù)量造成我們現(xiàn)在數(shù)據(jù)瓶頸的一個原因。 有人問我的信息化建設從90年代開始，為什么到現(xiàn)在突然大數(shù)據(jù)成為一個話題，一個難題，在企業(yè)內(nèi)部可能會碰到，是怎么回事？大家可以看一下，計算一下。我在2010有100PB，經(jīng)過6年大家1.1個GB，到2020年這個數(shù)據(jù)增長達到58倍這么一個水平，大家可以看一下前兩年是11倍，再過四年增長到50倍，實際上數(shù)據(jù)的發(fā)展越來越快的。大家以前經(jīng)常聽一個故事，把一張報紙來回折疊，折疊10次，折疊30次多厚，折疊30多次以后超過喜馬拉雅的高度。這是下面的圖表是做的一個調(diào)查統(tǒng)計，社交網(wǎng)站，移動設備，對我們傳統(tǒng)來說業(yè)務發(fā)展也是比較迅速的。以往的一些（英文）基礎設施增長也很迅速。對于這么大的數(shù)據(jù)量我們是如何解決的，它會有什么問題，我們具體看一下？ 在信息化建設的頭10年，20世紀90年代，大家沒有太注意這個問題，因為很多數(shù)據(jù)剛剛產(chǎn)生，這時候大家偏重于技術，應用的性能，這是我們IT部門多數(shù)把我們工作重心放在性能的解決，我們買一套存儲。在21世紀初IT發(fā)展比較迅猛及我們數(shù)據(jù)量產(chǎn)生比較多，這時候對于IT部門我們并不是簡單的關注性能，另外一個關注點是效率。我們?nèi)绾文軌蛞杂行У氖侄螌崿F(xiàn)事半功倍的效果，這是IT部門考慮的另外一個問題，效率。如何控制我的數(shù)據(jù)量增長沒有那么大，如何提高我存儲的服務器。 再有一個就是這10年，數(shù)據(jù)量比較大了，而成規(guī)模了，這種情況下，實際上對于IT部門來說就要注意我企業(yè)內(nèi)部有沒有產(chǎn)生大數(shù)據(jù)的業(yè)務，有沒有這種難題，傳統(tǒng)的架構能不能滿意我業(yè)務的要求，這時候大數(shù)據(jù)應運而生了，這是我們IT部門，很多客戶，很多服務廠商所要解決的一個問題。在這種架構下，大家希望提供一個靈活的架構，滿足企業(yè)內(nèi)部不同的需求。這個架構不會造成我操作的復雜性，這樣一個考慮。 我不知道大家以前有沒有統(tǒng)計現(xiàn)在傳輸?shù)臄?shù)據(jù)有多少，全球數(shù)據(jù)量達到了ZB這個級別，數(shù)據(jù)量非常大。隨著社交網(wǎng)站，云計算，這種智能設備的發(fā)展，數(shù)據(jù)量還會迅猛的發(fā)展，據(jù)估算到2020年達到2B級，這個80%都是非結構化的數(shù)據(jù)，一篇一篇的文章。所以對于大數(shù)據(jù)業(yè)務來說，大數(shù)據(jù)的解決方案，我們?nèi)绻鉀Q好這一部分的業(yè)務，基本上滿足我們自身內(nèi)部的大數(shù)據(jù)的難題。 大數(shù)據(jù)是不是只是針對某一個客戶某一個行業(yè)，就我們來看不是這樣，大數(shù)據(jù)是貫徹到所有的行業(yè)，比如說金融行業(yè)，可能涉及到信用卡的分析統(tǒng)計，對反洗錢的監(jiān)控。比如說交通做視頻監(jiān)控，監(jiān)控流量，對醫(yī)療保健我們有很多數(shù)字醫(yī)療設備，我們X光都是數(shù)字化了，這樣的大量信息也會造成數(shù)據(jù)的巨增。各行各業(yè)都有大數(shù)據(jù)的問題，事先沒有意識到這一點，你構造數(shù)據(jù)中心可能會遇到未來的一些瓶頸。 我們剛才說以OOPD方面為中心，這個特點是大量的小數(shù)據(jù)，對性能IOPS要求比較高。這個作為企業(yè)的核心應用。隨著大數(shù)據(jù)的發(fā)展，大家可以看一下對另外一個范疇，高帶寬，高性能訪問，這種分析業(yè)務，這時候也會產(chǎn)生很多的內(nèi)容。包括以往我們說的支持分析，常常對數(shù)據(jù)有快速的分析，大數(shù)據(jù)推動了這個業(yè)務，總體核心業(yè)務向非結構化的主體業(yè)務發(fā)展。大數(shù)據(jù)會帶來什么樣的影響？ 爆炸式的增本，第一個造成企業(yè)成本的增長，我需要存儲、備份，我在五年之前聽說過，那時候1T，那時候用一個備份軟件，把數(shù)據(jù)備份過去，從主存儲備份到磁帶上，這時候發(fā)展幾十TB，采取傳統(tǒng)手段是不是有效，在數(shù)據(jù)丟失之后，是不是可以恢復，讓我業(yè)務正常運行，這時候對于傳統(tǒng)的備份手段，存儲手段提出更高的要求。分析的數(shù)據(jù)還要寫完磁盤上，這樣大量的數(shù)據(jù)可能加載也變大。大家對這一塊也都缺少一定的經(jīng)驗。 大數(shù)據(jù)來說它是如何打破原有的體系架構，我們90年代建立的體系架構，2000年初建立的體系架構，能不能滿足我們大數(shù)據(jù)的要求。三方面看一下。第一大數(shù)據(jù)的復雜性。大數(shù)據(jù)以非結構化的為主，一般來說是實時性的，而且數(shù)據(jù)是相關的。在這種相關聯(lián)的數(shù)據(jù)里面，加上我們以往的包括TB業(yè)務，如何加上新數(shù)據(jù)分析系統(tǒng)滿足我數(shù)據(jù)分析要求，這是第一個難題。我們傳統(tǒng)的架構不適用。 第二主體的速度，不管是視頻這時候對于我存儲的性能要求也比較高。傳統(tǒng)的性能，傳統(tǒng)的價格，能不能滿足我性能的要求。 第三個就是量，就是體積。那么在這種情況下，數(shù)據(jù)量越來越大，如何能在線動態(tài)調(diào)整我的業(yè)務，我的空間，我的應用程序，使它能夠不影響我的業(yè)務，并且我能找到一個空間調(diào)整，這是對于體積來說，也是對于我們傳統(tǒng)架構的挑戰(zhàn)。 NetApp希望從這幾點解決上述的一個難題。第一個控制，我可以控制我這么大的數(shù)據(jù)量，增長緩慢一些，使我們效果提高一些，采取一些去重、壓縮功能。并且能夠突破到比傳統(tǒng)理念概念更大的規(guī)模。傳統(tǒng)上我們是16個G，NetApp有一些可以調(diào)整更大，幾百G甚至是TB的級別。操作的復雜性。通過這種手段。 就來就是洞察力，數(shù)據(jù)在磁盤上不是作為一個死數(shù)據(jù)。NetApp提出了自己的解決方案ABC。A是分析，第二B是帶寬的縮寫，第三C是容量。NetApp希望從這三個角度提出我們解決方案。在一些場合我們發(fā)現(xiàn)基本上逃不過這三個模式。有些希望我們對大數(shù)據(jù)分析，有些是產(chǎn)生帶寬。我們可以分別從這個角度混合使用。NetApp預測，這幾年大數(shù)據(jù)量越來越大，2012年可能是1.7，到2016年高帶寬大容量也會同比的增長。不管是對于這種方案供應商來說，都是比較大的機會。 那么NetApp在這塊主要是提供了這幾種解決方案，第二根據(jù)數(shù)據(jù)分析，極端大數(shù)據(jù)的高性能分析，把數(shù)據(jù)做出來找到帶寬。在線網(wǎng)站一些運營的公司都在采用，雅虎、騰訊、淘寶，提供一些有價值的信息過決策者，讓他們做出明確的決策。來自交管部門攝象頭的數(shù)據(jù)，這需要把它存儲在我的存儲上。有（英文）、（英文）解決方案。 圖片共享，這是一個傳統(tǒng)的（英文），這個隨著用戶人數(shù)的增長，發(fā)展的越來越快。再一個就是企業(yè)內(nèi)部的應用，我的監(jiān)督系統(tǒng)，我去銀行辦理手續(xù)，身份證件，圖片和監(jiān)督，我們的保險都會在這種范疇。再一個我們的（英文）分布式的存儲。（英文）是NetApp的一個軟件，我們把通常把放在一個站點的數(shù)據(jù)，可以給它分散到幾十個上百個的站點，這是一種架構，突破了我們傳統(tǒng)上只有一個數(shù)據(jù)中心的范疇。保證你在北京訪問一個數(shù)據(jù)，我飛到海南、美國還可以訪問相同的數(shù)據(jù)，同時這個數(shù)據(jù)我會在后臺放多份，這樣不管我位置在哪里，我都可以放相同的數(shù)據(jù)，會有自動的后臺同步，這樣的解決方案。 這是NetApp目前的市場，傳統(tǒng)是右邊綠色我們叫做共享的架構，我可以采用虛擬化的架構和方案。對于大數(shù)據(jù)的范疇主要是ABC三個范疇，NetApp是另外一個系列的產(chǎn)品E系列的產(chǎn)品，滿足ABC相關的解決方案，我們具體的來看一下。 傳統(tǒng)上NetApp是有大型的產(chǎn)品線，提供更高效能，更多的（英文），提供集成的數(shù)據(jù)方案，我們數(shù)據(jù)在傳統(tǒng)上我們需要（英文）軟件進行備份，B2B的存儲，也支持第三方的產(chǎn)商，比如說IBM的存儲。 再有就是E系列，有高中低的產(chǎn)品，特點主要是高密度高性能的大容量，滿足我ABC三個方面的要求。 在傳統(tǒng)上基本上是這種架構，我們說的在90年代2000年初，就是用一個獨特的存儲池，滿足某一類的存儲業(yè)務，做一些比如說PSS分析，數(shù)據(jù)要相互矛盾，在整個的架構里面。大家知道幾個GB的數(shù)據(jù)可以，達到TB級PB級，（英文）適合這種架構，我在存儲端是一個靈活的結構，我數(shù)據(jù)空間可以進行動態(tài)生長。本身存在熱點，這些熱點也會在我的存儲后臺同步交換，整個的過程中前端業(yè)務不會中斷的，這是NetApp的基本的勾勾。我們會采用（英文），提供光纖盤的性能，保證我增長空間沒有那么快，NetApp新的架構提高存儲的靈活率，滿足前端的要求。通過存儲效率的提高，降低管理成本，降低大數(shù)據(jù)增長的時候，對于我們成本的壓力。 第一個對于數(shù)據(jù)分析來說，一個人的消費模式，我在某些地方發(fā)生了這種詐騙，我是否接受它這種請求，這是我們需要（英文）系統(tǒng)。對于傳統(tǒng)的社交網(wǎng)站數(shù)據(jù)量非常大，這么大的數(shù)據(jù)量讀出來分析把結果寫回原來位置，這時候對存儲來說壓力比較大。NetApp一些傳統(tǒng)的（英文），結構化的統(tǒng)計，建立了一些優(yōu)勢，比如說（英文）的合作，做大數(shù)據(jù)的解決方案。在一些新興領域，我們傳統(tǒng)的F系列也可以滿足，同樣可以提供這種解決方案。在數(shù)據(jù)分析這個領域，一般來看我們覺得結點可能不斷的擴充，第一造成我流量的擴充，第二我希望這個性能同樣得到發(fā)展�；旧衔译S著我結點的增加，性能也是這種線的增長，這時候不管你數(shù)據(jù)量初始多大，一開始比較小，伴隨能量增長，這個性能也跟著提高。 NetApp自身也是利用了這個情況，我們有一個（英文）的網(wǎng)站，把我們存儲信息的通到后臺，檢查硬盤是不是有問題。在這個架構下面，NetApp對做分析，某些磁盤是不是比較大，傳統(tǒng)上這個數(shù)據(jù)量是240一條，在NetApp架構解決方案就可以得到一個結果，磁盤的分析。另外一個我們本身可能有問題鼓掌，NetApp通過方式去檢測，NetApp做了這種解決方案以后，18個小時可能得到結果，這對于我們用戶和我們自身來說都是有好處的。 再有一個剛才說的就是帶寬，這塊NetApp主要是從E系列，通過不同的產(chǎn)品提高高性能的要求，他可以提供6GB的帶寬，3GB的帶寬。通過這種方式基本上滿足我對大容量高性能的要求，這塊前端主要是有一個性能優(yōu)化的文件系統(tǒng)，這個（英文）有聯(lián)合的解決方案，是打包的解決方案，我們用可以直接拿它用。在這種高帶寬E系列，滿足我說的幾個方面，對于傳統(tǒng)視頻的要求，對地震處理的要求，對媒體的高性能要求都可以得到解決。 衛(wèi)星發(fā)圖片，在無人駕駛飛機進行拍照時候，這個都可以很高效的放到我們的磁盤上。 最后一個就是我們內(nèi)容，這塊通過我們傳統(tǒng)軟件可以實現(xiàn)了，可以提供傳統(tǒng)業(yè)務的滿足，新興的業(yè)務里面NetApp通過（英文）加我們E系列提供解決方案。在這個架構上面?zhèn)鹘y(tǒng)主要是提供文件的（英文）服務，要求有集成的數(shù)據(jù)保護，數(shù)據(jù)不需要在我網(wǎng)絡上像螞蟻搬家式的從這邊搬到那邊，這種對我們沒有任何好處。在我們真正需要的時候，很可能沒有辦法要求。我需要幾個TB這么大的空間，做業(yè)務的要求，比如說我醫(yī)院醫(yī)療系統(tǒng)可能需要（不清）。我的其他的文件，企業(yè)內(nèi)部的整個文件。下面是我們（英文）采用分布式的，自動到后臺，分散到我都個軟件，標準的云機構的解決方案，保證我數(shù)據(jù)自動的在任何一個地方都可以得到最新的訪問。 我們的基礎架構可以實現(xiàn)，可以保證我數(shù)據(jù)在里面上下移動，我一個磁盤不夠用，可以把業(yè)務分擔出去，把數(shù)據(jù)移來移去，把存儲瓶頸移開。我某個有存儲出問題需要維護怎么辦？可以把業(yè)務遷徙到其他存儲，修好之后再移回來。如果不能滿足我存儲，我可以增加幾個存儲，這時候我的增長是靈活動態(tài)，是這樣一個結構。 我們看一下分布式的架構怎么辦？這種（英文）的解決方案，把一個數(shù)據(jù)寫到我的一個（英文）的軟件控制的存儲上，把它復制一份兩份甚至更多份在后臺運行，這個備份很難完成，某一個磁盤，某一個設備故障的話，會自動的請別的站點，標準的（英文）、（英文）都是支持。在這個架構里面我不需要做備份恢復，我在任何一個站點都可以得到我最新的數(shù)據(jù)。我任何的個人系統(tǒng)都可以通過這種方式訪問。你需要數(shù)據(jù)把它復制到幾個位置都可以的。我們通過這種方式解決大數(shù)據(jù)量非結構化的存儲辦公。管理的數(shù)據(jù)基本上達到幾十個TB，都可以得到滿足，基于對象的一種解決方案，我們通過文件名，找到對應的地址，這種文件的架構，大數(shù)據(jù)的結構有問題，訪問效率太高了，像我們傳統(tǒng)的（英文），（英文）數(shù)據(jù)庫來說，縮影太大了，通過縮影訪問數(shù)據(jù)性能也會下夠，這個是存儲（英文），通過這種（英文）這種方式，不用管你后臺數(shù)據(jù)具體存在哪，（英文）就會快速訪問這樣的方法。 這種解決方案主要是用在私有云、公有云、數(shù)據(jù)媒體等這些上面。過一段時間它的圖片發(fā)生失真的問題，他們并不是數(shù)據(jù)丟失，就是失真了，采用這種方式，可以自動后臺做校驗。這種解決方案在一些公司，提供（英文）的技術，比如說（英文）他采用的是NetApp，這種云服務，主要是面臨醫(yī)療機構，常見的一些（英文），這時候企業(yè)內(nèi)部的數(shù)據(jù)跟外部的這種云機構商務數(shù)據(jù)吻合在一起我企業(yè)內(nèi)部的數(shù)據(jù)還是放在企業(yè)內(nèi)部管理，對于不重要的數(shù)據(jù)可以放在云儲藏里面去。把私有云公有云整合在一起，這種想法，這不是唯一的。這是跟比較有名的用戶廠商合作，也提供這種的解決方案。NetApp相關的解決方案跟他私有云公有云合并，我數(shù)據(jù)關鍵數(shù)據(jù)在線數(shù)據(jù)放在我公司內(nèi)部，對于長期數(shù)據(jù)，需要高性能運算的數(shù)據(jù)可以放到（英文），讓它運運行，運行之后再給我傳回來，是這樣一個架構，目前來說也是全球提供這種解決方案。 我今天簡單給大家介紹我NetApp針對大數(shù)據(jù)的解決方案，對于有些用戶來說，可能碰到相關的問題，大家可以考慮一下，通過三個角度找到相對應的解決方案，滿足我們的要求。通過這種方式可以降低我存儲復雜性，提高效率，這些業(yè)務一方面是（英文）自己做的，另外一方面跟我們業(yè)內(nèi)領先伙伴聯(lián)合推出來的，給可以幫助用戶提供解決模式，謝謝大家！ |
|
主持人：感謝朱海峰先生帶來的精彩演講，接下來我們有請富士通信息系統(tǒng)有限公司產(chǎn)品戰(zhàn)略事業(yè)部總監(jiān)邱弘先生，帶來未雨綢繆，迎接大數(shù)據(jù)時代的演講。 邱弘：大家下午好，很高興能在這里和大家進行討論大數(shù)據(jù)的相關話題，下面的時間我跟大家分享一下富士通在大數(shù)據(jù)方面的一些技術和經(jīng)驗，我今天演講主題是未雨綢繆迎接大數(shù)據(jù)時代，對于像云計算大數(shù)據(jù)的這些話題，我想大家可能比較熟悉了。之所以咱們大家關注和討論主要是它離我們越來越近，并且它的出現(xiàn)，對我們?nèi)粘Ｉ詈推髽I(yè)的商業(yè)行為，造成深遠的影響，所以它的到來需要我們對它有充分的認識和了解，做好相應的準備，逐步提升我們技術水平和能力。 大數(shù)據(jù)的出現(xiàn)和發(fā)展它將會使我們智能化社會成為一個驅動力。為什么這么說？就是我們現(xiàn)在日常的生活和行為，無時無刻都伴隨著數(shù)據(jù)，我們所有行動都可以產(chǎn)生數(shù)據(jù)，關鍵我們是不是隨時的關注它，把它的信息進行收集和處理分析。一旦我們把這些信息進行了收集分析之后，我們會從中發(fā)現(xiàn)對于我們有價值的數(shù)據(jù)和信息，從而可以指導我們?nèi)粘Ｉ畹男袨楹托袆印＿@方面我們可以舉個簡單的例子，我們上班的一個行為，早晨我們需要幾點鐘車門，坐什么交通工具，走什么路線，這些數(shù)據(jù)的產(chǎn)生都是因為我的行為所產(chǎn)生的。對于這些數(shù)據(jù)的收集分析之后，我們可以從中了解到，整個相關的行動的具體發(fā)生規(guī)律。這些信息的收集和沉淀可以作為一種知識反饋到我們社會。使我們能夠在這個信息當中，給我們帶來一些便利和高效。因此所以說我們企業(yè)如果對各種信息的收集整合分析處理，把它形成一種知識或者一種服務反饋到我們社會，這個循環(huán)過程當中，不斷的循環(huán)和豐富，對于我們會形成一個智能化的社會提供一個非常好的驅動。 我們說大數(shù)據(jù)的到來，到底離我們有多遠？或者到了什么程度？這里有兩張圖是ABC統(tǒng)計數(shù)據(jù)報告。我們2012年我們數(shù)據(jù)量達到了2.7個ZB，一個ZB相當于10的6次方的PB。這個數(shù)據(jù)量增長是一個爆炸式的增長，數(shù)據(jù)量非常巨大，我們原先處理的數(shù)據(jù)都是在GB等。這樣相應我們在數(shù)據(jù)處理技術和服務方面，在未來三年將近有40%的增長。因為這個成長空間是相當巨大的。通過技術手段，通過數(shù)據(jù)大數(shù)據(jù)的處理進行服務，需要我們不斷的創(chuàng)新。我們談到大數(shù)據(jù)需要對它認識和了解，作為大數(shù)據(jù)到底有什么特征？什么叫大數(shù)據(jù)？就是說能夠從經(jīng)濟高效，從大容量、結構當中獲取價值，產(chǎn)生新的價值。大數(shù)據(jù)可以分為四個V的特征。這個大家都理性了解，第一個V就是容量，它具有超高的容量，PB、到ZB、EB這種級別很多。第二個特征就是它具有很高的多樣性，數(shù)據(jù)類型，數(shù)據(jù)結構也好都是非常復雜，不像我們原先的數(shù)據(jù)都是數(shù)據(jù)庫，半結構數(shù)據(jù)，非結構數(shù)據(jù)。第三個V我們需要更快的處理速度。這些數(shù)據(jù)量大的產(chǎn)生，需要我們處理，另外需要處理我們相關的信息。前三個V說明大數(shù)據(jù)的特征。第四個V就是我們大數(shù)據(jù)實現(xiàn)的目的。通過我們技術手段的處理和支持，實現(xiàn)對大數(shù)據(jù)前三個V的處理和分析，來實現(xiàn)我們第四個V的價值。這個價值主要是體現(xiàn)在我們對我們企業(yè)商業(yè)行為，或者商業(yè)活動的決策支持。 作為大數(shù)據(jù)的技術，前面也談到大數(shù)據(jù)本身就是架構和技術。它的發(fā)展就是隨著我們數(shù)據(jù)不斷的發(fā)展變化，而逐漸發(fā)展創(chuàng)新出來的。原先這個數(shù)據(jù)技術，是數(shù)據(jù)量很小。需要通過我們技術的創(chuàng)新來實現(xiàn)對大數(shù)據(jù)的分析。我們可以看到隨著我們數(shù)據(jù)的高速增長，時效性不管的增強，我們數(shù)據(jù)庫，和結構化的數(shù)據(jù)已經(jīng)慢慢發(fā)展到數(shù)據(jù)容量爆炸式的增長，他的技術向復雜處理技術發(fā)展。并行的處理技術，它是利用存儲和文件系統(tǒng)的存儲技術，用來設計實現(xiàn)大規(guī)模的設備上實現(xiàn)應用。 再有一個我們復雜式的處理技術，這個技術主要是實現(xiàn)對左右的數(shù)據(jù)進行分析，中間的過程比較復雜，對數(shù)據(jù)的檢索，重新的更新，數(shù)據(jù)的轉化存儲分析計算，是特別復雜的過程。大數(shù)據(jù)的出現(xiàn)可以說為我們企業(yè)創(chuàng)造了一個新的商機。我們是否能夠抓住這個機遇，我們收集各種各樣的數(shù)據(jù)進行挖掘。從目前技術的發(fā)展和我們處理能力的提過，我們企業(yè)已經(jīng)有能力新商業(yè)模式的創(chuàng)新和發(fā)展。我們企業(yè)通過收集我們商業(yè)活動的各種信息，來從中發(fā)現(xiàn)有價值的信息資料。通過這些信息資料我們可以分析出我們?nèi)粘；顒拥念A測。預測我們一些事先能夠出現(xiàn)的結果，這樣可以指導我們商業(yè)行為。通過這些數(shù)據(jù)的指導性，和商業(yè)行為的信息，可以把它變成一種服務，指導我們企業(yè)或者我們用戶。通過這種循環(huán)我們可以實現(xiàn)新的商業(yè)模式，通過這種商業(yè)模式我們可以逐步的發(fā)現(xiàn)商業(yè)價值。 同樣可以用我們原先舉的例子，比如說我們以上班信息為例子，如果某個企業(yè)可以把這些信息收集進行統(tǒng)一的處理，這樣的話我們這些信息，以某種服務的形式，提供出來。作為我們用戶我們可以通過付費的方式，能夠在下次出行的時候，能夠準確了解，何時、走什么路線等這些信息，可以給我們帶來一個非常大的便利。包括我們企業(yè)也可以從中獲取它的價值。通過這個例子可以看到，這個數(shù)據(jù)收集分析利用的過程。對于大數(shù)據(jù)的實現(xiàn)，我們可以用簡單的模型做一個說明。大數(shù)據(jù)技術體現(xiàn)在一個大數(shù)據(jù)的收集，大數(shù)據(jù)的處理，大數(shù)據(jù)的能效。這是一個三三結構。最底層是我們架構層，主要是實現(xiàn)了我們能夠便于存取，或者是收集各種微型的數(shù)據(jù)中心，而且進行處理，搭建的一個基礎架構平臺。這種基礎架構平臺復雜和多樣需要一個彈性，靈活的基礎架構。在目前我們現(xiàn)在討論的云計算的基礎架構里是比較適合這個的，因為它靈活性和大規(guī)模的處理，非常適合我們對大數(shù)據(jù)處理的要求。 同時我們通過云計算的基礎架構，現(xiàn)在各種大數(shù)據(jù)的需求。第二層是我們處理層，主要是在合理的架構之上，我的算法條件流程，相關的軟件工具，實現(xiàn)對數(shù)據(jù)的處理。對于利用集中化的優(yōu)勢完成存儲。這個上面是我們展現(xiàn)層，展現(xiàn)騰主要是將我們處理的結果，以某種服務結構服務到我們?nèi)粘Ｉ钪�，使我們�(nèi)粘Ｉ罾靡恍┙Y果，從而使我們整個的發(fā)展，使我們社會向一個智能化的手段發(fā)展。IT作為一種服務。 富士通對于大數(shù)據(jù)的支持和服務，涵蓋了基礎架構層和主力層，在基礎架構層我們可以包含我們傳統(tǒng)性的架構和目前基于云計算的基礎架構。對于傳統(tǒng)的基礎架構我們知道，這些傳統(tǒng)基礎架構是我們企業(yè)原先比較成熟的應用系統(tǒng)。對于關鍵性的應用系統(tǒng)，我們可以通過對它進行不斷的改進和優(yōu)化，提升整個系統(tǒng)的服務。對于非關鍵性的應用系統(tǒng)我們可以做深度開發(fā)，充分發(fā)揮它的潛力價值，使它發(fā)揮更大的作用。 另外隨著我們業(yè)務不斷的發(fā)展和不斷的細化，我們可以把更多業(yè)務遷移到我們云計算基礎架構來，這樣更加便利和更加適合大數(shù)據(jù)發(fā)展的復雜需求。富士通在這方面有我們自己的產(chǎn)品和我們自己的解決方案，可以跟我們伙伴合作發(fā)展。 對于大數(shù)據(jù)處理主要是體現(xiàn)在軟件結構處理流程。大數(shù)據(jù)有三個V的特征，根據(jù)這三個V的特征我們可以進行一個規(guī)劃，使我們軟件、架構和三個V特征優(yōu)化。我們看到像手機終端或者前端的數(shù)據(jù)終端，以及收集數(shù)據(jù)設備產(chǎn)生的數(shù)據(jù)，這些數(shù)據(jù)需要我們實時收集和檢測。對于這些數(shù)據(jù)處理之后，有些數(shù)據(jù)可以直接利用，我們直接利用。對外另外一些需要進行再分析再處理的數(shù)據(jù)。第二類是我們交易類的數(shù)據(jù)，這些數(shù)據(jù)要求我們實時性比較高，需要我們高速計算的過程，通過這個結果進行匯總、分析加以綜合利用。 另外一部分是我們談到大規(guī)模的數(shù)據(jù)，這些數(shù)據(jù)我們可以通過一些像PC的工作。進行統(tǒng)一的處理分析。這些數(shù)據(jù)處理之后，進行綜合的利用。針對目前大數(shù)據(jù)不同的特征和處理流程的不同，有三個不同處理過程。一個就是復雜式的處理，另外一個交流式處理，再有就是我們運行分布式的處理。通過這幾個過程的處理，我們可以獲得相關有價值的信息和數(shù)據(jù)。對于我們的日常生活的行為，起到一個指導性的作用在這一方面，可視性、精準度等這方面好處都為我們企業(yè)提供創(chuàng)新型服務的模式，提供一個很好的基礎。 富士通技術創(chuàng)新主要是結合了我們自身的產(chǎn)品優(yōu)勢和相關的技術創(chuàng)新，實現(xiàn)對大數(shù)據(jù)高速的處理。這些創(chuàng)新主要是體現(xiàn)在對大數(shù)據(jù)三個不同處理過程來實現(xiàn)的。對于我們分布式的過程，我們采用富士通自己的分布式的軟件，通過這些軟件我們可高數(shù)據(jù)的并發(fā)度。采用這樣的架構性能可以提高2倍。復雜式的處理上我們采用了我們自己的搜索過濾軟件。這個軟件的使用可以大大提高我們數(shù)據(jù)的定位搜索，從而與第三方的軟件性能提升達到了提高。再一個處理過程就是我們極限交易處理，同樣是利用我們富士通有的技術，實現(xiàn)大并發(fā)量的數(shù)據(jù)訪問，由此來提高整個數(shù)據(jù)庫的并發(fā)量。而且可以解決數(shù)據(jù)庫高并發(fā)的瓶頸。采用這種技術可以使整個應用處理，比傳統(tǒng)的應用處理提高10倍的效率。 對于大數(shù)據(jù)的并發(fā)處理，前面我們談到了，采用我們軟件，我們軟件提供并行的軟件系統(tǒng)，實現(xiàn)系統(tǒng)集群管理，通過這個技術的集群管理，有高可靠性。通過我們分布式并行軟件系統(tǒng)，可以使我們應用直接訪問數(shù)據(jù)，直接交換。我們可以通過原先的Hadoop的這種處理結構，在原先標準上架構中應用數(shù)據(jù)的訪問，都要通過Hadoop的服務器。這樣的話將會對我們數(shù)據(jù)的性能產(chǎn)生影響。而采用我們自己的服務系統(tǒng)，應用系統(tǒng)可以直接訪問我們數(shù)據(jù)進行交換。同時還可以支持Hadoop的存儲架構。通過這種架構的實現(xiàn)，我們可以使數(shù)據(jù)傳輸?shù)臅r間提高80%。一旦也服務器出現(xiàn)故障，我們可以實現(xiàn)靈活切換，確保系統(tǒng)的可靠性。對于復雜式的改進采用我們私有的產(chǎn)品，這個產(chǎn)品主要是實現(xiàn)數(shù)據(jù)高速的增長。通過這個傳統(tǒng)大大提高我們的定位。在這個事故處理性能方面主要是靠是否有一個很好的檢索和處理引擎，有了這個高速的處理引擎之后，大大提升了整個系統(tǒng)平臺處理，管理的速度。富士通采用了自有知識產(chǎn)權的產(chǎn)品，它可以快速的進行定位檢索，經(jīng)過簡單的規(guī)則定義，對它進行定義的設定，可以來實現(xiàn)事物過濾。 另外我們通過高速的引擎，和我們公司自有的軟件為我們用戶搭建一個非常強大處理使用的平臺。富士通在極限交易處理這方面的改進，主要是采用富士通自有的技術，通過這種技術的使用，我們可以大大提升整個數(shù)據(jù)庫并發(fā)量。我們通過應用服務器和數(shù)據(jù)庫之間，采用增加緩沖服務器的方式，來實現(xiàn)數(shù)據(jù)的高度的分析。 通過原先的應用架構和目前改進的應用架構對比我們可以看到，原先的應用架構，服務器對數(shù)據(jù)的訪問，任何信息都要跟服務器進行打交道，服務器后臺變成了一個瓶頸，通過我們軟件改進，采用分布式的技術，能夠使整個的訪問，在我們（英文）這個層面進行響應，只有必要的時候我們（英文）數(shù)據(jù)打交道，這樣可以大大緩解數(shù)據(jù)庫的瓶頸，解決數(shù)據(jù)庫的并發(fā)量。所以通過這個架構的改進和提升，確保我們整個交易處理的速度，我們高可靠性，可擴展性。 前面談到大數(shù)據(jù)處理流程，處理方式，對于系統(tǒng)本身的處理設備的性能，對于某些復雜事物處理，高復雜性高運算的應用，需要我們有一個比較強大的處理設備，和統(tǒng)一的運行管理系統(tǒng)，富士通在去年年底發(fā)布了一款高性能的軟件京，是目前處理性能最快的高性能計算機，處理速度達到每秒鐘1京次，這是目前世界上最快的處理系統(tǒng)。像這些產(chǎn)品和技術，我們說都可以作為我們?nèi)蘸蟠髷?shù)據(jù)處理的一個堅強的后盾。 富士通對于大數(shù)據(jù)處理的一些需求，有很多的服務器架構的產(chǎn)品未來供大家選擇。富士通在服務器產(chǎn)品線是非常豐富，非常強的，有基于SMP高端服務器，也有像普通的這種低價的服務器，還有刀片服務器，還有滿足高性能計算云計算的要求，服務系統(tǒng)。在云計算和大數(shù)據(jù)時代變革的時候，對于存儲系統(tǒng)是非常關鍵的。存儲系統(tǒng)在原先很小級別是GB，存儲系統(tǒng)基本上是縱向架構的，隨著我們數(shù)據(jù)的增長和擴展，達到PB的數(shù)據(jù)量，這種擴展的架構系統(tǒng)不能滿足對數(shù)據(jù)的需求。同時需要我們分布式的處理和橫向的統(tǒng)計。因此我們看到存儲系統(tǒng)的發(fā)展和變化，慢慢演變成一個虛擬的系統(tǒng)。在存儲系統(tǒng)的文件需求過程當中，富士通通過GDS的系統(tǒng)，也有（英文）的虛擬系統(tǒng)，也有相關存儲軟件相配合，可以實現(xiàn)一個統(tǒng)一基于橫向擴展的統(tǒng)一數(shù)據(jù)系統(tǒng)。在備份的需求當中，也有（英文）系統(tǒng)。富士通通過這些技術的發(fā)展和創(chuàng)新，逐步適應云計算大數(shù)據(jù)的需求。 前面談到就是我們存儲設備在不斷的發(fā)展和優(yōu)化。其實這個過程我們可以發(fā)現(xiàn)，它其實從硬件存儲系統(tǒng)向軟件存儲系統(tǒng)轉變的過程。從存儲系統(tǒng)搭建的架構來看，原先的硬件存儲系統(tǒng)，包括我們存儲網(wǎng)管，虛擬網(wǎng)管設備等等搭建起了硬件架構，存儲系統(tǒng)。我們的增長變化，這種架構變得越來越靈活，逐漸的發(fā)展，現(xiàn)在是通過一些軟件，實現(xiàn)相同硬件存儲功能，配合我虛擬化存儲設備。 富士通可以通過VS虛擬存儲系統(tǒng)和相應軟件的趨同化功能配合來實現(xiàn)我們云存儲系統(tǒng)。它具有很好的靈活性擴展性，完全可以滿足我們目前大數(shù)據(jù)的存儲需求。富士通在存儲系統(tǒng)方面也有完善的產(chǎn)品線，有自己的磁帶庫，有自己磁盤作業(yè)，有相關的設備，存儲管理軟件等等。這些產(chǎn)品都可以為我們用戶提供存儲解決方案，可以滿足我們用戶不同的存儲需求。富士通作為三大IT供應商服務商之一，我們通過服務器存儲技術的創(chuàng)新發(fā)展優(yōu)化，為我們用戶提供各種各樣的解決方案，實現(xiàn)了在大數(shù)據(jù)方面的不同復雜需求。 目前我們說大數(shù)據(jù)現(xiàn)在已經(jīng)來臨，而且說它的出現(xiàn)對于我們來說，它是一個新的時代的開始，在這個大數(shù)據(jù)時代，各個行業(yè)可以在各種數(shù)據(jù)的收集利用和分析上，可以發(fā)現(xiàn)，它給我們帶來更大便利。比如說對我們?nèi)粘Ｉ钚袨閹砀鞣N便利。我們企業(yè)通過對各種行業(yè)事物收集信息分析處理，可以提供相應的信息服務，信息的提供。他們可以以我們很強大的云計算的基礎架構平臺為載體，可以實現(xiàn)各個行業(yè)的輸入的智能。通過各個行業(yè)不斷的發(fā)展和豐富，我們各個行業(yè)的智能化的完善，最終實現(xiàn)我們社會的便利。富士通在大數(shù)據(jù)探索方面，像利用我們優(yōu)勢，跟我們合作伙伴一塊合作，發(fā)揮各自優(yōu)勢，在目前這個挑戰(zhàn)機遇的時代，共同發(fā)現(xiàn)自身的價值，共同創(chuàng)造商業(yè)價值。我今天內(nèi)容講到這里，非常感謝大家！ |
|
主持人：感謝邱弘總監(jiān)帶來的精彩的演講。下面我們有請Spectra Logic大中國區(qū)總監(jiān)蘇濤先生，帶來大數(shù)據(jù)時代的海量數(shù)據(jù)存儲管理，有請。 蘇濤：大家好，今天非常榮幸有這一個機會，我是Spectra Logic公司的，有這個機會跟大家分享在大數(shù)據(jù)時代的海量數(shù)據(jù)存儲管理。今天下午我的報告給大家?guī)砀嘈乱�。大家講到大數(shù)據(jù)時代，各位業(yè)界同仁已經(jīng)介紹了很多大數(shù)據(jù)時代的技術發(fā)展。這四個V大家不止一次看到，我在講大數(shù)據(jù)時代的存儲管理之前，確實還要進一步的給大家曬一下我們這方面的理解和我們一些數(shù)據(jù)。這四個V里面大家都會去，第一個了解到，是大的容量，大數(shù)據(jù)都是大容量，在大數(shù)據(jù)大容量方面，我們國內(nèi)做信息化建設，大家都知道在中國最大投入是數(shù)據(jù)。我拿一些我們在全球這個領域，在信息化建設這方面這個數(shù)據(jù)量怎么來的。首先大家看到的美國，現(xiàn)在大家都知道一個信息，美國到2020年真正要實現(xiàn)無紙化辦公。這個是劃時代的標志，這個紙張中國人發(fā)明，到現(xiàn)在已經(jīng)兩千年的歷史了。今天美國人說了我們到2020年完全無紙化。看看加拿大，2017年不保存任何紙制的文件接收了。澳大利亞同樣在2012年也提出了數(shù)字化紙張的戰(zhàn)略，在咱們中國政府09年開始專門發(fā)布了中辦國辦發(fā)布了電子文件管理的辦法，啟動中國真正電子文件的數(shù)據(jù)化，應該說所有信息數(shù)據(jù)數(shù)字化的一個過程。從這個看應該說所有社會的推動力，政府整個推動數(shù)字化的過程。從911以后，帶來了一個存儲行業(yè)的浪潮。特別對于做數(shù)據(jù)保護數(shù)據(jù)存儲的公司來說，帶來了很多商業(yè)的機會。 大家可以看到這是在美國相應的一些法規(guī)，涉及到保存的年限，對數(shù)據(jù)保存年限在不斷的加長，數(shù)據(jù)量有60%的增長。同時在國際上我們分享一個統(tǒng)計的數(shù)據(jù)，這里是財富500強企業(yè)的一個統(tǒng)計數(shù)據(jù)，大家發(fā)現(xiàn)他們數(shù)據(jù)有50%以上的數(shù)據(jù)保存在五年之上，可能28%的數(shù)據(jù)保存20年以上，由于長期保存的需求，帶來了我們數(shù)據(jù)量累計的增長。同時基于我們這個數(shù)據(jù)產(chǎn)生的來源，應該說數(shù)據(jù)應用，IT技術的變遷帶來了數(shù)據(jù)量的變化。之前大家講到IT行業(yè)，最支柱產(chǎn)業(yè)是電信、金融，在今天我們說大數(shù)據(jù)時代來臨，我們從西方歐美國家看，大數(shù)據(jù)產(chǎn)生有一塊在高性能計算，這塊在國內(nèi)目前數(shù)量比較小，未來是一個方向，涵蓋了所有我們制造業(yè)、衛(wèi)生醫(yī)療、包括金融、零售業(yè)，我們能源的產(chǎn)業(yè)。通過高性能計算和我們云計算相關處理我們信息數(shù)據(jù)，同時帶來海量的數(shù)據(jù)。 跟大家每一個人切身相關的，就是我們現(xiàn)在的副媒體時代，我們帶來了海量的數(shù)據(jù)，每個人都能夠接觸到，大家開車人感受到，以前很少被攝象頭拍下來�，F(xiàn)在發(fā)現(xiàn)城市到處是攝象頭，我們在視頻監(jiān)控這個領域，不光是中國，全球都是一個很大市場，帶來了數(shù)據(jù)的增長。到底是什么級別？應該說在2010年的時候，大家說世界進入了數(shù)字時代。標志性的數(shù)據(jù)，每年產(chǎn)生的數(shù)據(jù)量超過一個ZB級別，這是非常龐大的數(shù)據(jù)。有一個比較，就是說在全人類在1999年之前，全人類所有產(chǎn)生數(shù)據(jù)信息量只有11EB，0.011個，但是我們現(xiàn)在在2010年一年產(chǎn)生了一個ZB的數(shù)據(jù)。這個圖表大家經(jīng)�？吹剑@是基于我們EST2010年做的預測的分析。大家看到這個數(shù)據(jù)的量是一個級數(shù)的增長。這里頭分享一個數(shù)字大家更直觀了，這是美國的做了一個統(tǒng)計，在美國平均每個手持設備存儲的照片，大家沒有想過，大家每個人拿智能手機，統(tǒng)計結果平均08年的時候，每個人有177張，到2011年有255張，預測2015每個人平均照片是300，光是這一項大家看到這個數(shù)據(jù)量在不斷的增長。 這是一個美國的高性能的實驗室，在2012年實施的一個高能性的項目。這個項目里面它使用380個PB的存儲，只有在頭兩年里頭的存儲量。大家看到最前面的四排柜子，是四個磁帶過程，存儲量是380個PB，里面使用了幾百個起動器實現(xiàn)這個存儲。在大數(shù)據(jù)時代實際上還有文件的特性發(fā)生了很大的改變，在傳統(tǒng)的時候我們，大量是結構化的數(shù)據(jù)，在數(shù)據(jù)庫里面。今天很多人講我們半結構化，多結構化的數(shù)據(jù)，大量非結構化的數(shù)據(jù)，傳統(tǒng)的交易數(shù)據(jù)，電子郵件，表單，今天我們不了解很少接觸的格式，包括日至和網(wǎng)頁。說到網(wǎng)頁分享一個數(shù)據(jù)給大家，中國目前有5億多的網(wǎng)民，在互聯(lián)網(wǎng)的中心做一個統(tǒng)計，每個人平均一天點擊20次網(wǎng)頁，我們一天有100億網(wǎng)頁的點擊。大家可想而知這個數(shù)據(jù)量。另外一方面就是地理信息，導航有很大地理信息，前兩年比較熱門詞物聯(lián)網(wǎng)。物聯(lián)網(wǎng)有很多傳感器的信息，包括一些感知芯片的信息。這些年近兩年社交媒體，微博、微信各種社交媒體的產(chǎn)生，產(chǎn)生大量的非結構化數(shù)據(jù)，數(shù)據(jù)類型跟傳統(tǒng)IT產(chǎn)生本質(zhì)的變化。價值多方面，大數(shù)據(jù)時代，真正價值產(chǎn)生經(jīng)過大數(shù)據(jù)應用以后帶來價值。這些數(shù)據(jù)本身的價值不是很高的，在我們存儲大量海量的數(shù)據(jù)，每年產(chǎn)生（英文）的數(shù)據(jù)，大量是碎片數(shù)據(jù)，大量數(shù)據(jù)我們其實并沒有那么多的價值。這些大量的數(shù)據(jù)由于數(shù)據(jù)生命周期的延長，帶來我們數(shù)據(jù)量累增，這個大量數(shù)據(jù)很多數(shù)據(jù)訪問量很低。我們視頻大家27小時錄像，真正有多少錄像數(shù)據(jù)用到，可能就是幾分鐘的時間，發(fā)生交通事故或者發(fā)生犯罪行為的時候才會使用。 這方面我們在幾年前我們，像（英文）生命周期管理的概念，當時炒的很熱就是解決這些問題。應用發(fā)生很大變化？不是簡單的應用管理和查詢。在大數(shù)據(jù)我們要利用數(shù)據(jù)分析的手段，可視化的分析，包括我們做數(shù)據(jù)挖掘，包括我們有很多語義引擎，智能感知，預測的分析，都是帶來對我們處理速度的要求。關于速度這個詞，大數(shù)據(jù)來說不光是處理速度，這個數(shù)據(jù)創(chuàng)造，高它更新，遷徙，移動的速度，處理速度等。這里面提到速度我分享兩張圖片，大家軍事愛好者知道這個圖片，這是殲20的引擎，大家看到這個速度的變化。這個大家有沒有人見過，這個美國最新?lián)舫贆C，做到90分鐘超過半個地球。這個速度超乎我們想象的。講到四個V大家發(fā)現(xiàn)我們解決大數(shù)據(jù)時代的應用，我們存儲方面怎么滿足大數(shù)據(jù)時代的要求？從容量、多樣性、價值、內(nèi)容，我們生命中期管理能力，我們涉及遷移，很多磁盤廠商基于磁盤系統(tǒng)也做了遷移。當它到海量，我們把訪問低的我們分析降低成本。同時快速處理我們使用越來越先進的快速處理設備，今天我們現(xiàn)在在隔壁的一個會場介紹新一代的存儲，芯片的存儲。 大家發(fā)現(xiàn)這些不同技術解決的是不同問題，在存儲管理上我們怎么整合？這應該說在我們大數(shù)據(jù)時代，對于存儲管理還是一個最大的挑戰(zhàn)。這里介紹我們管理解決方案之前，我們跟大家分析，今天大家所接受到的存儲。各位最熟悉就是磁盤存儲，我告訴大家一個消息，我們每個人，包括個人電腦，包括我們企業(yè)磁盤存儲上的問題。所有磁盤現(xiàn)在存儲容量里頭有70%的空間實際上浪費。這里面是40%不活躍，包括10%幾的空間我們分配沒有用，甚至一些碎片數(shù)據(jù)占用我大量磁盤空間。我們現(xiàn)在IT建設里面存儲建了非常重要的份額。大家看到一個數(shù)據(jù)，我們一美元的IT投資里面，有30美元到70美元的投資進行存儲，這個趨勢不斷往更高的比例發(fā)展。 這里我們可以看到，我們花很昂貴的投入，存儲了大量無用的數(shù)據(jù)，這就是現(xiàn)狀。再一個說到存儲行業(yè)很重要的一個數(shù)據(jù)備份。這兩個詞可能不太好，一個（英文），一個（英文）。在備份領域我們數(shù)據(jù)的分析，一類數(shù)據(jù)寫了時候很少讀取，一類寫了以后從來不會被讀取。我們把整個系統(tǒng)整個文件做（英文），這個（英文）的過程中，我們把大量的（英文、（英文）的數(shù)據(jù)進行數(shù)據(jù)備份。我們可能一個月做一個備份，一周做一個全備份就是52份數(shù)據(jù)，這里面大量的數(shù)據(jù)不是非常關鍵的數(shù)據(jù)。因此我們做備份的時候，為了備份少量的關鍵數(shù)據(jù)，采用了大量的投資，硬件軟件備份了并不是關鍵的數(shù)據(jù)。 基于剛才說的這些現(xiàn)狀我們現(xiàn)在需要怎么做？我們必須要改變，不改變的話，意味著我們投資非常不值，在改變方面我們目前各個廠商在做，同時我們也在探討的幾個方面。一個方面就是今天我后面著重介紹的一個活動歸檔的技術。把傳統(tǒng)靜態(tài)的歸檔讓它更加有效，能夠更好再一個系統(tǒng)里面獨立的處理好關于容量和速度的問題。另外一個在云技術里面大量的虛擬化技術，通過虛擬化的技術把我們不同的存儲介質(zhì)更好利用起來，對用戶來說看到統(tǒng)一的存儲池。通過一個新興的技術，把現(xiàn)有介質(zhì)更好利用，我們引進新的介質(zhì)。在我們大數(shù)據(jù)時代來說，我們通過我們新的技術一些架構和理念，應該給用戶解決問題的方法。這里我們主要給大家介紹活動歸檔的技術。 活動歸檔實際上出發(fā)點就是要給用戶，給大家提供一個新成本，經(jīng)濟實惠的解決方案，同時保證你所有的數(shù)據(jù)都是可靠在線訪問。這個解決方案是廉價是經(jīng)濟的。同時通過活動歸檔的技術，保證我們數(shù)據(jù)存儲在不同介質(zhì)里面。數(shù)據(jù)的創(chuàng)建者，會做很多的數(shù)據(jù)處理，通過中間接口層，我們虛擬化層，管理層，最后最下端是非常靈活，給用戶提供一個非常好的解決方案。這種解決方案里面實際上應該說我們傳統(tǒng)的數(shù)據(jù)存儲整個路徑，我們看到我們前端有很多應用，下面有操作系統(tǒng)，還有文件系統(tǒng)，還有卷案系統(tǒng)，我們磁盤也做虛擬化，數(shù)據(jù)通過一個渠道到我們存儲體。活動歸檔這個領域我們做到我們高性能的磁盤系統(tǒng)，我們低性能磁盤系統(tǒng)，我們廉價的存儲介質(zhì)，都給進行統(tǒng)一的虛擬化，讓用戶存儲的功能更加的靈活，用戶的成本更加的降低。 也就是說我們實現(xiàn)把我們文件系統(tǒng)進行一個擴展，把我們所有的介質(zhì)，變成統(tǒng)一的系統(tǒng)，給用戶提供靈活的存儲空間。這兩邊有兩種比較流行的模式，一種是（英文）的活動歸檔，我們主存儲是獨立的，住存儲是傳統(tǒng)高性能磁盤系統(tǒng)，中間我們有活動歸檔的管理。后端是虛擬化的存儲池，這個是近時間存儲，我們離線存儲設備等提供一個歸檔的環(huán)境。這樣用戶來說更加簡便靈活，管理上更加統(tǒng)一，我們集成所有介質(zhì)，在統(tǒng)一的存儲里面。 我們前端有磁盤的存儲，為了保護我們這些數(shù)據(jù)，我們后端會有專門數(shù)據(jù)保護的系統(tǒng)，包括做（英文），做（英文），這在2000年有實現(xiàn)的，隨著技術的發(fā)展大家發(fā)現(xiàn)，我們有（英文）的硬盤產(chǎn)生。后端同樣我們是用傳統(tǒng)的備份技術，磁帶技術、磁盤技術的備份，做離線的保護。隨著技術的發(fā)展實際上我們可以把磁帶設備引入到前端的應用。磁帶技術50年前發(fā)明就是在線的存儲，隨著技術發(fā)展現(xiàn)在磁帶技術也在發(fā)展，我們很多用戶作為在線使用。在線部分我們有不同存儲，數(shù)據(jù)保護里面我們還有一套相應存儲設備，這種情況下大家都是分立系統(tǒng)進行存儲。 我們今天有一個更好的方案，我們整合所有不同的存儲介質(zhì)，統(tǒng)一的進行調(diào)度管理。讓用戶在存儲方面投資是最小化的。這是我們活動歸檔大致的一個模型，我們實現(xiàn)的一個模型。這里頭的關鍵點實際上就是靈活性。就是它能夠同時整個用戶關于性能和容量的需求。這里面有幾個應用的實例，大家看看這個我們怎么做的。第一個做數(shù)據(jù)備份，今天數(shù)據(jù)量不斷的增加，我們的備份任務越來越繁重，現(xiàn)在有磁盤備份，ATR解決速度問題，時間方法問題。傳統(tǒng)方法不斷提升硬件設備，我們把非關鍵數(shù)據(jù)進行數(shù)據(jù)遷移，我們只針對我們核心業(yè)務進行備份，這樣可以提高我們備份速度。 同時對這種性能要求很高的用戶，屬于高速訪問的用戶，我們以前實現(xiàn)高速訪問，我們大量購買新的設備，我們用最先進的磁盤提升這個性能。存儲使用率達到一定的時候，性能是逐漸下降的�，F(xiàn)在我們同樣有這樣方法，我們通過活動歸檔技術，提升本身原主存儲的性能。對于空間不足的問題一樣，我們不斷的購買磁盤，這個磁盤到PB級以上是非常昂貴的。我們在活動歸檔根據(jù)用戶的價值，在不同成本介質(zhì)里面動態(tài)實時進行遷移，讓用戶盡可能少的買這種昂貴的存儲設備。活動歸檔這個技術，我們不光在內(nèi)容、數(shù)據(jù)方面，在數(shù)據(jù)完整性，數(shù)據(jù)可查詢，可檢索的方面，還有開放的模式，這些方面我們都有考量，把這些技術進行整合，這樣產(chǎn)生的活動歸檔，能夠更加滿足客戶對存儲的需求。 （英文）作為活動歸檔的倡導者，我們2010年我們整合我們合作伙伴的一些廠商，包括主機廠商，戴爾等，很多做歸檔軟件遷移軟件的公司，我們大家共同成立了活動歸檔的聯(lián)盟。這個聯(lián)盟做什么事情？首先一個事情就是教育用戶和市場。我做的報告也是這部分的工作，讓大家了解到我們有完全全新的理念和技術，能夠解決用戶存儲的問題。另外我們通過這些廠商的整合，我們做最佳的實踐，在我們用戶實現(xiàn)活動歸檔的架構，給用戶帶來價值，證明活動歸檔有意義。給用戶更好選擇產(chǎn)品和解決方案的時候，有一個很好的基礎。 剛才給大家講的主要是應對我們大數(shù)據(jù)時代活動歸檔，能夠給大家?guī)淼囊环N全新的理念。說到這種存儲，因為存儲最關鍵離不開存儲的介質(zhì)，下面的時間我簡單給大家分享一下在活動歸檔環(huán)境下我們存儲介質(zhì)的理解。存儲介質(zhì)每個人都在用。在今天蘋果電腦里面甚至連硬盤都沒有基于SID的，這種介質(zhì)在不斷的發(fā)展，在企業(yè)級里面，企業(yè)級應用就是兩種主要的介質(zhì)，一種是磁盤一種是磁帶。說到這方面大家可以分享一些特性。速度方面有優(yōu)勢，在隨機訪問確實有很強優(yōu)勢。我們真正企業(yè)級的應用，都是磁盤的割裂，達到1.0GB以上。磁帶這方面大家了解不多，今天LTO第六代技術，目前的技術，400兆每秒的速度。這個不報告我們?nèi)肆C房的成本，這是設備成本。一個企業(yè)級的磁盤系統(tǒng)，每GB是7到20美金。成本在每GB在15美分的成本。 這方面不同的存儲介質(zhì)的差異是很大的。同時在存儲力度能耗方面，這是我們一個的實際用戶，同時有8個TB存儲設備。右邊是磁帶系統(tǒng)，這是一萬槽的磁帶，整整8個TB。磁帶系統(tǒng)的能耗是小千瓦，一個磁盤系統(tǒng)的能耗等于2500千瓦的水平，這個差距非常大，從整個電源能耗經(jīng)濟性，大家通過這個更清晰，每年預計有30的增長。這個環(huán)境下如果我們采用磁帶系統(tǒng)的成本。第五年每年成本6千多美金磁盤是16萬美金的成本。這個不夠極端。我們看看數(shù)據(jù)的長期保存，我們大數(shù)據(jù)保存周期的增長，12年以后怎么樣？經(jīng)過12年的保存，一個用戶有1個TB，這個差異很大。一個磁帶系統(tǒng)保存12年，成本只有1萬7千美金，如果磁盤系統(tǒng)在電源能耗花費就要400多萬美金。 剛才大說了磁盤性能很少，很多用戶都知道，這個磁帶有一個問題，這個磁帶非常不可靠�？煽啃苑矫嫖覀兡靡恍⿺�(shù)據(jù)跟大家分享，我希望大家看到一些更新的信息。這里面大家看到磁盤系統(tǒng)有很多差異，我們用的桌面是14次方字節(jié)的碼率，我們平均產(chǎn)生一個應用錯誤。當我們企業(yè)級的磁盤，有一個級數(shù)的增長。這個上面看到兩種磁帶介質(zhì)，目前最主流的（英文）技術，達到10的17次方，19次方故障的性能。 我們看這張圖，每個錯誤，沒寫多少TB產(chǎn)生一個錯誤，我們看到（英文）磁盤系統(tǒng)，11個TB就可能產(chǎn)生錯誤。我們企業(yè)的光纖磁盤，100多個磁盤產(chǎn)生一個錯誤。磁帶上TB才產(chǎn)生一個錯誤。磁帶合理的使用方式下，有很好的可靠性的保障。剛才因為大家會說了，你是做磁帶庫的，你說磁帶庫好。實際上這個經(jīng)驗應該說整個業(yè)界，大家可能仔細的看會發(fā)現(xiàn)，在今天左右的IT的巨頭，大的廠商，IBM、包括EMC，EMC還和Spectra Logic簽了合同。在2010年取得很大突破，他們每平方英寸保存290億。預計不久的將來，我們會擁有每單盤容量25個TB，這個通過實驗室驗證。大家看到以后磁盤也會快速發(fā)展，我們磁帶技術也會快速發(fā)展，以更高級數(shù)方式在發(fā)展。磁帶滅亡這個事情五年人就說了，現(xiàn)在為止所有廠商沒有拋棄它，可能也是這個原因。 今天我們發(fā)布了LTO6，現(xiàn)在LTO的發(fā)展，兩到三年推出一代，第7代可能達到16個TB，第8代接近于35TB的存儲容量。這正好是很好的存儲介質(zhì)，對于海量數(shù)據(jù)來說。不光是容量的問題，磁帶技術，這些年的發(fā)展，也是翻天覆地的，從介質(zhì)技術到使用器的技術，我們采用更好的驅動器的技術，在可靠性有極大提升，解決了磁帶可靠性的問題。作為磁帶的Spectra Logic廠商，我們在數(shù)據(jù)安全性方面做了量的工作，在介質(zhì)生命周期，驅動器的生命周期。通過這些管理技術，使我們數(shù)據(jù)保存在磁帶介質(zhì)上，可靠性得到保障。 我們磁帶設備包括我們基于這種活動歸檔的技術，在海量數(shù)據(jù)存儲方面的實踐應用。這是美國國家能源中心有13PB的存儲，這里面大量采用的磁帶技術。其中有30%到40%數(shù)據(jù)用于讀的，對磁帶歸檔了解大家知道，深度歸檔，大量磁帶天天做的工作是寫，不斷的寫，讀的頻率非常低。美國能源中心里面，大家看到它的磁帶存儲讀的頻率非常高。在這里面通過采用磁帶存儲，把整個成本降到整體磁盤的5%。它提出它的主存儲，這個就是磁帶，我們不需要2級，不是作為2級數(shù)據(jù)拷貝的數(shù)據(jù)，作為總存儲。我們作為負責任廠商來說，我們也不推薦大家僅僅采用主存儲的方式，我們不建議大家基于磁帶保存只保存一個副本，這個對于任何存儲都非�？膳碌�，為什么今天所有在線系統(tǒng)都要做數(shù)據(jù)保護的原因。 這是（英文），大家可能在很多電視看到（英文）頻道非常精彩的題目，這需要構建全球多站點的數(shù)據(jù)歸檔，數(shù)據(jù)量達到30PB，采用了我們多臺的（英文）設備，通過活動歸檔的系統(tǒng)，后端有磁盤緩存。CHS是美國社區(qū)衛(wèi)生醫(yī)療的系統(tǒng)，類似于咱們國家做醫(yī)改搞得健康檔案的平臺，已經(jīng)建成的平臺，29個州在使用。希望就是說我們建造安全歸檔存儲，醫(yī)療數(shù)據(jù)在美國法案保存30年以上，采用的方式，也是采用了很大的前端，很大磁盤的態(tài)勢，提高在線可控在線的訪問，通過管理的平臺，后端整合進去磁帶的存儲，到在線存儲離線存儲整合在一個平臺上。 這邊是美國前五大的銀行機構，它的數(shù)據(jù)也非常大，20個TB，同樣采用了活動歸檔的系統(tǒng)平臺，采用了磁盤作為前端高速的緩存，后端是一個非常大型的（英文）的磁帶庫，進行海量數(shù)據(jù)的保存。 大家通過分享，看到的這些案例，我們講到分機存儲技術，活動歸檔技術在今天有很多實踐。后面有點時間做一些廣告，給大家介紹一下Spectra Logic的公司。很多朋友大家以前沒有聽說過Spectra Logic，Spectra Logic是非常技術型的公司，有30多年的歷史。向用戶提供海量數(shù)據(jù)可靠保存的解決方案。我們在前十大數(shù)據(jù)中心，有八家采用了Spectra Logic的數(shù)據(jù)存儲解決方案。 看我們的目標實際上通過我們技術革新、創(chuàng)新，給用戶提供低碳化，企業(yè)級的磁帶存儲產(chǎn)品，滿足用戶綠色數(shù)據(jù)中心的需求。讓用戶存儲海量數(shù)據(jù)，更高密度，占用更小空間，更可靠的能耗。達到大數(shù)據(jù)應用不可回避的一個問題。這是我們頂級的（英文）的磁帶庫，我們單套磁帶庫達到24萬盤的容量。單臺我們可以達到2萬盤以上。大家看到（英文）那個用戶，他僅僅是380個TB非常巨大了，只是用了我們四臺機連的方式，我們最多可以有12連的機連，提供更大的容量。 因為Spectra Logic我們一直做技術創(chuàng)新，應該說在過去的10年里面，不斷的基于磁帶技術的創(chuàng)新，我們得到了很多業(yè)界的認可，得到了大量的獎項，都是基于技術方面的獎項。給大家分享兩個，專門針對大數(shù)據(jù)時代，DCIG專門做了一個大數(shù)據(jù)的指南，這個單獨有一項針對磁帶庫的，Spectra Logic在單機、雙機這兩項評價里面都獲得了第一名的成績。涵蓋了大量的分析數(shù)據(jù)，大家有興趣可以提供大家詳細的分享報告。意味著在大數(shù)據(jù)時代數(shù)據(jù)存儲方面Spectra Logic有很好的產(chǎn)品非常適合用戶，解決大數(shù)據(jù)存儲的問題。另外一個獎項是這周拿到資料，這是我們Storage雜志每年針對不同的IT技術，存儲技術進行評測，這是12月份剛剛發(fā)布的成果，針對企業(yè)級終端磁帶庫市場做了詳細的分析，我們Spectra Logic在終端磁帶庫，企業(yè)級磁帶庫兩項里面都獲得了第一名的成就。這個評測是非常權威的，涵蓋了整個的產(chǎn)品銷售競爭力，包括產(chǎn)品質(zhì)量，包括產(chǎn)品功能，包括產(chǎn)品的可靠性，還有我們售后服務支持的能力，是一個綜合的評測，應該說Spectra Logic獲得了很好的成績。 另外這是我們兩個比較大型的客戶，這是一些案例，產(chǎn)品在這里不過多介紹。一個是（英文），是美國宇航局這個有大量的數(shù)據(jù)，在早期做開始做火星探測，機遇者、勇敢者號探測采集的數(shù)據(jù)都是用Spectra Logic的磁帶庫，在大量的存儲空間的同時，減少了GDP占的。另外一個更近一些，這是我們鄰居，韓國的氣象中心，現(xiàn)在至少是亞太，全球可能也是排在前面，最大規(guī)模的氣象中心，有很高性能的機器。我們整個數(shù)據(jù)備份，采用我們Spectra Logic（英文）的產(chǎn)品。在前面我們可以看到用了幾百個IBM的T140的起動機。應該說Spectra Logic目前在離線存儲，或者說磁帶存儲這個領域，在企業(yè)界領域走在非常前沿的位置。 剛才這些介紹占用大家很多的時間。最后總結一下，我今天想跟大家分享向大家介紹活動歸檔的技術，通過活動歸檔技術給大家在數(shù)據(jù)存儲量，成本非常靈活的管理，給大家整個大數(shù)據(jù)時代的存儲，帶來更加全新的理念，希望大家有興趣的話，我們會后大家都可以進行進一步的交流。在最后再次感謝大家！ |
|
主持人：下面有請?zhí)旖蛑锌扑{鯨信息技術有限公司產(chǎn)品經(jīng)理劉振晗先生，演講題目是大數(shù)據(jù)應用下的存儲挑戰(zhàn)。 劉振晗：謝謝大家非常高興在這里代表中科藍鯨的存儲挑戰(zhàn)。當前全球信息總量，每兩年增長一倍，面對爆炸式的增長，我們采取什么方式應對，這部分重要性和價值越來越高，每個企業(yè)都無法容忍這個數(shù)據(jù)的丟失和損害。如何將資源進行有效的應用，這是擺在我們面前的挑戰(zhàn)和促進。中科藍鯨希望采用一些新的技術。為客戶提供節(jié)省投資，提高存儲系統(tǒng)效率，同時可以節(jié)省投資的這么一個解決方案。 在這個過程里面我們面臨一些制約因素，比如說如何去為客戶減少它的項目投資，包括如何保證他以前的原有投資，在系統(tǒng)升級過程中如何保證系統(tǒng)可靠性，不會影響系統(tǒng)正常硬性。如何在系統(tǒng)運行之后，盡量減少對維護人員的影響。包括如何維持基礎架構不做過多改變，這些都是我們需要解決的問題。我們希望把大數(shù)據(jù)分為兩個主要的方向，一個傳統(tǒng)音視頻領域非結構化數(shù)據(jù)，另外是一些傳統(tǒng)的非結構化數(shù)據(jù)。一個數(shù)字媒體行業(yè)，另外一部分就是視頻監(jiān)控的領域，主要是用于平安城市、社會城市、數(shù)字城市、智慧公安等等的這些領域。其他非結構化的數(shù)據(jù)，主要是集中勘探數(shù)據(jù)計算的分析，石油地質(zhì)的勘探，需要通過地震波偵測地質(zhì)的不同性質(zhì)，這個地震波以圖象方式反饋上來，每個地震波需要大量圖片組成，而一個圖片大概容量是幾G十幾G甚至更高。其他方面比如說高性能計算，遙感信息處理，檔案設計，互聯(lián)網(wǎng)網(wǎng)站應用，海量圖片應用諸多領域。我們首先對大數(shù)據(jù)的獲取。最后大數(shù)據(jù)的處理，通過信息分析希望信息產(chǎn)生價值。 這個數(shù)據(jù)的獲取從平臺終端的角度來分，我們可以發(fā)現(xiàn)從PC包括手機包括大量的傳感器，包括傳統(tǒng)數(shù)字媒體的攝像機、錄音機，都可以產(chǎn)生大量的數(shù)據(jù)，從領域上來分，包括互聯(lián)網(wǎng)，包括其他的相關很多領域，都會產(chǎn)生大量的數(shù)據(jù)。存儲大數(shù)據(jù)主要是通過不同的存儲廠商，為客戶提供不同的硬件和軟件的支持。大數(shù)據(jù)的處理希望把海量的信息量價值比較低的這么一些數(shù)據(jù)，通過能夠數(shù)據(jù)挖掘，數(shù)據(jù)分析等一些技術，提取出對用戶更有價值和更珍貴的數(shù)據(jù)。 中科藍鯨在這樣一個形式下面，具備什么企業(yè)價值。一部分是產(chǎn)品技術，一部分是產(chǎn)品策略，一部分是認證。產(chǎn)品技術上中科藍鯨具備業(yè)界領先的技術共享技術。面向客戶運用創(chuàng)新的技術。中科藍鯨具備十多年的數(shù)據(jù)保護和數(shù)據(jù)存儲管理經(jīng)驗。可以提供先進成熟的解決方案。在用戶驗證方面，在異架存儲管理方案，市場占領領先的優(yōu)勢。 我們把中科藍鯨存儲解決方案實力劃分為四層。第一層存儲的解決方案，為企業(yè)提供基礎存儲結構的部署。第二層存儲管理的方案。為企業(yè)提供信息數(shù)據(jù)生命周期管理的方案。再上面一層存儲方案的一面。為企業(yè)信息系統(tǒng)提供顧問的系統(tǒng)。 中科藍鯨大數(shù)據(jù)解決方案理念，可以被流媒體大數(shù)據(jù)為主高速度方案，集成數(shù)據(jù)歸檔解決方案。另外一個實現(xiàn)數(shù)據(jù)共享。第二大部分主要是擴展能力。中科藍鯨的方案具備強大的系統(tǒng)擴展性，同時從傳統(tǒng)的結構化數(shù)據(jù)到未來非結構化大數(shù)據(jù)可以提供多重管理手段，這個后面有詳細的介紹。同時主力于未來客戶私有云的部署。 第三部分它具有高價值的收益。主要體現(xiàn)在異架部署企業(yè)級軟件設備，另外實現(xiàn)面向業(yè)務的數(shù)據(jù)分級，存儲管理，有效整合企業(yè)已有的資源，保護用戶的已有投資。 第二部分給大家介紹一下傳統(tǒng)音視頻行業(yè)大數(shù)據(jù)的解決方案。當前以廣電為主的數(shù)字媒體行業(yè)，數(shù)據(jù)特征有如下變化方式，主要三個方面。一個業(yè)務數(shù)字化，一個節(jié)目高清化，第三電臺網(wǎng)絡化。業(yè)務數(shù)字化主要是產(chǎn)生大量的數(shù)字化數(shù)據(jù)，節(jié)目高清化，產(chǎn)生大量音視頻文件同時，隨著清晰度的增壓，這些音視頻文件本身尺寸也會極大的獲得提升。為不同客戶端提供共享的支持。 下面舉幾個實際的例子，上述的冰河時代，這些電影都是在這個平臺上進行編輯和制作，編輯對存儲能量有巨大的需求。如果是2K的數(shù)字電影，每禎是13到20兆P的大小，4K的數(shù)據(jù)電影每楨達到50兆B，在整個影片的編輯里面，全部的數(shù)據(jù)達到數(shù)百平米。2K數(shù)字電影需要400兆每秒，4K需要帶寬1.2G/秒。面對數(shù)字媒體行業(yè)提出新的需求，中科藍鯨設計了如下的解決方案。地層的存儲設備以在線存儲，靜線存儲，離線存儲不同的分級方式提供訪問。上層可以進行數(shù)據(jù)遷移，存儲訪問，存儲服務器的配置。再上一層傳統(tǒng)數(shù)字媒體行業(yè)的業(yè)務，包括服務器的機群。再上一層就是我們總結為采集、編輯播出的業(yè)務流程。整個所有業(yè)務流程和管理系統(tǒng)，都可以通過中科藍鯨大數(shù)據(jù)解決方案滿足它的需求。這個方案優(yōu)勢主要體現(xiàn)在這幾個方面。一個可以為整個業(yè)務流程提供高速度的數(shù)據(jù)通路訪問，另外一個提供異構平臺的訪問。對（英文）提供統(tǒng)一的訪問支持。這些異構客戶端訪問同樣一個資源，我用一個（英文）的客戶端把我筆記本采集到的視頻上傳到 我們業(yè)務平臺，另外一個編輯對這個目錄里面對視頻文件進行編輯，包括剪切，配音字幕后期制作。另外一個辦公室領導對視頻內(nèi)容檢查，看看有沒有不符合需求的情況。最后通過另外發(fā)布的過程，對外播出。這就需要我們中科藍鯨為整個系統(tǒng)業(yè)務，體夠一個共享的訪問模式。 不同客戶端以不同的平臺，看到是同樣一個用戶的空間。再一個為了節(jié)省用戶的投資，包括前面也說過，由于業(yè)務比較復雜，所以不同業(yè)務部門對存儲的性能帶寬，還有存儲能量有不同的需求。所以說我們也為用戶設計分級的概念。上面介紹了數(shù)字媒體行業(yè)的解決方案。 接下來介紹視頻監(jiān)控行業(yè)數(shù)據(jù)增長對數(shù)據(jù)存儲提供的需求。滿足PB級的存儲，這個不管是攝象頭的數(shù)量在不斷的提升，監(jiān)控數(shù)據(jù)的類型也是越來越多，同時對這個監(jiān)控清晰度也越來越高，系統(tǒng)中存放的時間長度，也是希望越來越長，新時代的發(fā)展對容量有巨大要求。同時對帶寬有巨大要求，需要滿足高并發(fā)實時讀取能力，較高的傳輸能力。把不必要的數(shù)據(jù)直接的過濾掉，這一方面進一步增加了對存儲系統(tǒng)的負載。 再下一部分需要存儲系統(tǒng)有良好的擴展性，這樣有效對數(shù)據(jù)量飛速增長，對存儲空間不斷擴大的需求。 再一部分對穩(wěn)定性的需求，需要保證數(shù)據(jù)的可靠性，再一個保證連續(xù)性。我存進去的數(shù)據(jù)不能隨便丟，如果需要的話，數(shù)據(jù)丟失承擔政治思想。要保證視頻監(jiān)控錄入的連續(xù)性。這需要存儲系統(tǒng)能夠提供穩(wěn)定性、安全性，同時提供相對低廉的成本。那么針對上述的需求，中科藍鯨視頻監(jiān)控行業(yè)大數(shù)據(jù)解決方案設計如下。地層通過服務器的架構（英文）整合通過設備虛擬化技術，提供（英文）的訪問。上面我們通過文件系統(tǒng)，對存儲空間進行一個虛擬化，這樣就便于前端所有的應用，能夠訪問到整個系統(tǒng)的（英文）的。同時在這個原數(shù)據(jù)服務器，采取了（英文）高可靠的模式，這么做的模式可以提高系統(tǒng)的環(huán)境。整個方案的優(yōu)勢，在于一個是可以滿足高系統(tǒng)錄像的性能需求，同時滿足高性能回放的需求。我們設備這一層做了一些改動，包括有一些國家專利的支持。我們對LOS做了整形的基礎，通過對設備這一層內(nèi)存，調(diào)度進行一些修改。 同時還具備智能分析平臺聯(lián)動的功能，這個是中科藍鯨為視頻監(jiān)控行業(yè)提供的大數(shù)據(jù)解決方案。 最后給大家介紹一下其他非結構化的大數(shù)據(jù)解決方案。隨著中科藍鯨這個產(chǎn)品在廣電視頻監(jiān)控獲得不錯的成績，中科藍鯨推出了（英文），以異構視頻為主的領域向更大數(shù)據(jù)。非傳統(tǒng)音視頻行業(yè)，雨情監(jiān)控，軍工等領域。具有海量分散存儲，處理分析算法復雜等等的特點。這個主要是比較一下傳統(tǒng)存儲的挑戰(zhàn)，還有中科藍鯨的一個應對方案。ITC的數(shù)據(jù)表明，非結構化數(shù)據(jù)的增長遠遠超過傳統(tǒng)結構化的數(shù)據(jù)，這個從圖里大家得到一個直觀的數(shù)據(jù)。海量非結構化數(shù)據(jù)成為困擾越來越多企業(yè)的難題。傳統(tǒng)的數(shù)據(jù)處理不能滿足它的需求。（英文）內(nèi)部的挖掘方式，基本上觸及到了性能偏好，性能帶寬關鍵指標無法隨著容量的增加而增大了。所以我們得出個結論，（英文）已經(jīng)不適合非結構化視頻存儲的需求。中科藍鯨（英文）為有效應對大數(shù)據(jù)提供了解決方案。 這個方案有下面幾個特性。首先是單套系統(tǒng)可以支持多種的訪問模式。可以用于多重的網(wǎng)絡，可以提供光纖網(wǎng)絡，還可以提供兩種網(wǎng)絡并行的網(wǎng)絡，（英文），在包括STP等一些協(xié)議的支持。私有協(xié)議的支持，中科藍鯨自有的PWX系統(tǒng)的支持。這個跟大家說過全局統(tǒng)一命名空間。對虛擬化的整合，包括從用戶看到是一個統(tǒng)一的命名空間，不像傳統(tǒng)的（英文），需要訪問不同存儲服務器節(jié)點數(shù)據(jù)的時候，需要到不同目錄上，這個直接可以把這個多個存儲服務器的空間，做一個統(tǒng)一的管理，做這個統(tǒng)一管理的好處，一個前面說的共享，另外在客戶端這一層實現(xiàn)負載均衡和故障切換。 中科藍鯨推出的（英文）的方案，就是（英文）集群訪端的方案。當（英文）不能滿足性能需要的時候，我們可以對它進行橫向擴展，以（英文）集群方式提供服務，隨著性能的增加，提供一個線形的提升。（英文）可以自動將負載遷移到新加入的網(wǎng)管節(jié)點，這個內(nèi)容不需要人工干預和更改原來的系統(tǒng)配置�？梢曰谶\營和IP地址訪問負載均衡。 再給大家介紹一下業(yè)務連續(xù)性和數(shù)據(jù)可靠性。這是要求對我們非常過的一點。這個是諸多方案中的一種，數(shù)據(jù)可以在不同物理設備間做靜態(tài)的訪問模式，根據(jù)業(yè)務需求，或者根據(jù)客戶不同要求，成本需求，對原始界和數(shù)據(jù)界進行提升，我們對比較重要的數(shù)據(jù)進行靜像保護。后端存儲的系統(tǒng)可以以最高等級提供連續(xù)服務的方式，同時基于文件的機制，通過一個請求，同步寫在兩個盤陣上的方式，確保數(shù)據(jù)的高度一致性。容量的擴展可以通過縱向進行容量的擴展。當這個性能單排（英文）節(jié)點性能不能滿足整個業(yè)務系統(tǒng)，我們可以通過存儲橫向擴展的群柜，（英文）機群可以通過橫向擴展，這樣實現(xiàn)整個系統(tǒng)縱向橫向的擴展，更大滿足用戶對性能容量擴展的需求。 接下來介紹一下基于策略的數(shù)據(jù)歸檔與生命周期的管理。中科藍鯨主要提供在線存儲、靜九先存儲、離線存儲三種方式的存儲�？梢宰寯�(shù)據(jù)在不同級別中，可以減少數(shù)據(jù)分級的管理。 中科藍鯨可以提供多樣化的數(shù)據(jù)保護策略，主要是分為歸檔，歸檔指文件被遷移到二級存儲，一級存儲中顯示被遷移的鏈根，數(shù)據(jù)在一級存儲中仍然存在，二級存儲中備份一份。以設備立舊為目的，快速將這個數(shù)據(jù)從一級存儲轉移到二級存儲。刪除指數(shù)據(jù)生命周期結束的時候，進行刪除，可以用于刪除不需要的文件類型。 還有其他非結構化大數(shù)據(jù)的解決方案，最后進行一個總結。非結構大數(shù)據(jù)解決方案主要是以高效的BWSS，網(wǎng)絡分布式分散系統(tǒng)作為架構依托，通過IP網(wǎng)絡，光纖網(wǎng)絡，共存的模式對外提供訪問，這種訪問可以以客戶端存儲設備支鏈方式提供，也可以推過（英文）集群方式對外提供訪問。同時可以通過數(shù)據(jù)歸檔和數(shù)據(jù)化遷移的方式，對整個數(shù)據(jù)庫里面的數(shù)據(jù)進行分級訪問，對數(shù)據(jù)生命周期，提供不同策略手段的管理方式。最后這個方案的優(yōu)勢總結一下，在于（英文）集群提供高帶寬的訪問，可以與（英文）支鏈方式進行訪問，可以與異構平臺訪問，同時提供數(shù)據(jù)的分析管理。 最后中科藍鯨愿意與各位一起努力，為深受大數(shù)據(jù)管理困擾的企業(yè)進行服務，提供他們享受大數(shù)據(jù)的正能量，正價值，謝謝大家！ |