標(biāo)識(shí)了屬性的XML格式的文檔，增刪改查都很方便
相對(duì)應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)就是沒什么格式的數(shù)據(jù)，比如一段在線聊天記錄，比如一張圖片，比如一個(gè)文檔，這就是非結(jié)構(gòu)化數(shù)據(jù)，人或許很輕易看得懂，但機(jī)器就覺得很混亂。如果說結(jié)構(gòu)化數(shù)據(jù)是大小統(tǒng)一形狀規(guī)則的集裝箱的話，那么非結(jié)構(gòu)化數(shù)據(jù)就好比積木，大小不一，沒什么固定格式，沒什么規(guī)律可循，帶來的問題是想找特定的內(nèi)容速度會(huì)很慢，進(jìn)行格式轉(zhuǎn)化就很麻煩，而且量非常大，需要在大的空間內(nèi)存放這些數(shù)據(jù)。
如果把裝結(jié)構(gòu)化數(shù)據(jù)的容器比作精巧的糖果盒的話，裝非結(jié)構(gòu)化數(shù)據(jù)的容器就好比大水桶（恰巧對(duì)象存儲(chǔ)的一個(gè)重要概念就是Bucket）。
企業(yè)環(huán)境里，這種麻煩的非結(jié)構(gòu)化數(shù)據(jù)非常多，IDC說，會(huì)越來越多，未來的企業(yè)里，80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)需要對(duì)現(xiàn)有存儲(chǔ)架構(gòu)作調(diào)整，于是，為互聯(lián)網(wǎng)應(yīng)用而生的對(duì)象存儲(chǔ)也開始用在企業(yè)環(huán)境中，用對(duì)象存儲(chǔ)解決擴(kuò)展性、管理性、訪問性、經(jīng)濟(jì)性等方面的要求。
從我們?nèi)粘９ぷ魃钪械牧?xí)慣也能明顯感受到，非結(jié)構(gòu)化數(shù)據(jù)的量明顯高于架構(gòu)化數(shù)據(jù)。你或許也聽說過企業(yè)級(jí)市場上的對(duì)象存儲(chǔ)，但到底哪些場景需要用到非結(jié)構(gòu)化數(shù)據(jù)呢？
企業(yè)用對(duì)象存儲(chǔ)的九大場景
日前，在一次關(guān)于QingStor對(duì)象存儲(chǔ)的媒體溝通會(huì)上，青云QingCloud資深產(chǎn)品經(jīng)理 李威介紹了許多需要對(duì)象存儲(chǔ)的場景以及一些實(shí)際落地的對(duì)象存儲(chǔ)案例。
一個(gè)場景是電商、互聯(lián)網(wǎng)金融、在線教育等行業(yè)的Web和移動(dòng)應(yīng)用，架構(gòu)里有數(shù)據(jù)庫、應(yīng)用服務(wù)器、負(fù)載均衡的應(yīng)用，另外還需要存儲(chǔ)比如商品圖片，互聯(lián)網(wǎng)金融行業(yè)的用戶證件照，在線交易視頻等文件等，需要存儲(chǔ)，此前的做法是搭建文件服務(wù)器，文件服務(wù)器的擴(kuò)展性、并發(fā)性都有問題，這時(shí)候就需要用到對(duì)象存儲(chǔ)。
第二個(gè)場景是企業(yè)網(wǎng)盤，其后端就是對(duì)象存儲(chǔ)。企業(yè)網(wǎng)盤不是偽命題，以青云為例，遍布各地的各個(gè)部門文檔都在用企業(yè)網(wǎng)盤，分享和管理文件，企業(yè)網(wǎng)盤可以非常容易地分享給特定的個(gè)人，群組或部門。企業(yè)網(wǎng)盤是單獨(dú)的市場，與個(gè)人網(wǎng)盤有很大區(qū)別，企業(yè)對(duì)訪問權(quán)限認(rèn)證的管理更細(xì)致，數(shù)據(jù)管理要求更高。
第三個(gè)場景是靜態(tài)網(wǎng)站托管，比如企業(yè)網(wǎng)站。靜態(tài)網(wǎng)站可以直接托管在對(duì)象存儲(chǔ)里，對(duì)接CDN加速異地訪問體驗(yàn)。小規(guī)模的網(wǎng)站需要更新時(shí)，把文件更新到對(duì)象存儲(chǔ)相應(yīng)的目錄里就可以了，筆者所在的存儲(chǔ)在線網(wǎng)站上存儲(chǔ)圖片技術(shù)就是對(duì)象存儲(chǔ)技術(shù)。
第四個(gè)場景是做大數(shù)據(jù)分析的存儲(chǔ)空間。大數(shù)據(jù)分析首先要解決數(shù)據(jù)存儲(chǔ)的問題，許多企業(yè)尤其是傳統(tǒng)行業(yè)，都只是把數(shù)據(jù)存起來但不知道怎么用。此前的存儲(chǔ)架構(gòu)對(duì)外部訪問不友好，做大數(shù)據(jù)分析還要解決數(shù)據(jù)訪問的問題，而對(duì)象存儲(chǔ)能很好地支持大數(shù)據(jù)系統(tǒng)，在做比如輿情分析、互聯(lián)網(wǎng)金融風(fēng)控、BI報(bào)表、3D建模，都能提供幫助，幫助用戶做數(shù)據(jù)分析。
第五個(gè)場景IaaS/PaaS服務(wù)。企業(yè)云化一定會(huì)用到對(duì)象存儲(chǔ)，青云認(rèn)為對(duì)象存儲(chǔ)是一個(gè)存儲(chǔ)引擎，覆蓋IaaS到SaaS的各個(gè)層面，比如IaaS的鏡像備份、數(shù)據(jù)庫日志備份都能用對(duì)象存儲(chǔ)，對(duì)象存儲(chǔ)還能用做同城或者異地災(zāi)備，還能用來存放Docker鏡像等。
第六個(gè)場景是圖片處理。進(jìn)行簡單的翻轉(zhuǎn)、剪裁等操作，高級(jí)點(diǎn)的還有圖片鑒黃功能，其中，鑒黃功能就是一種第三方服務(wù)，這顯示出青云的對(duì)象存儲(chǔ)還能方便地接入第三方的處理能力，支持這中能力的是事件驅(qū)動(dòng)框架。從根本的技術(shù)上來講，我們也可以將這種方式視作對(duì)象存儲(chǔ)的一種靈活性，靈活的訪問到存儲(chǔ)的數(shù)據(jù)然后做加工處理。
第七個(gè)場景是視頻云。許多行業(yè)客戶包括電力行業(yè)、交通行業(yè)、建筑行業(yè)，都有大量的視頻，存儲(chǔ)需求很大，傳統(tǒng)存儲(chǔ)成本造價(jià)太高，存儲(chǔ)后的檢索、點(diǎn)播能力較差，對(duì)象存儲(chǔ)在這一領(lǐng)域也有很大應(yīng)用空間。
第八個(gè)場景是備份歸檔，傳統(tǒng)的存儲(chǔ)也會(huì)做備份歸檔，把企業(yè)的郵件、日志通過備份工具備份出來，對(duì)象存儲(chǔ)在這一部分與歸檔存儲(chǔ)工具有部分重合，不過，對(duì)象存儲(chǔ)的訪問能力要比傳統(tǒng)的備份系統(tǒng)要好的多。
第九個(gè)場景是數(shù)據(jù)遷移。用戶可以從一個(gè)對(duì)象存儲(chǔ)遷移到另外一個(gè)對(duì)象存儲(chǔ)節(jié)點(diǎn)區(qū)域，以青云對(duì)象存儲(chǔ)節(jié)點(diǎn)為例，可以在上海區(qū)和北京區(qū)兩個(gè)節(jié)點(diǎn)之間相互遷移，作為遠(yuǎn)程備份滿足企業(yè)同城或者異地災(zāi)備的需求。
這些需求的帶動(dòng)下市場發(fā)生著顯著的變化，IDC的數(shù)據(jù)顯示，企業(yè)級(jí)數(shù)據(jù)中的80%是非結(jié)構(gòu)化數(shù)據(jù)，而75%將會(huì)存儲(chǔ)到對(duì)象存儲(chǔ)之上。青云QingStor對(duì)象存儲(chǔ)研發(fā)總監(jiān)楊錦濤認(rèn)為，企業(yè)對(duì)象存儲(chǔ)市場是藍(lán)海市場。因?yàn)閷?duì)象存儲(chǔ)在企業(yè)級(jí)存儲(chǔ)市場中相對(duì)較新，競爭程度相對(duì)較低。
在與客戶實(shí)際交流中發(fā)現(xiàn)，對(duì)象存儲(chǔ)正在為企業(yè)所接受，而且青云也有多落地案例。
青云的對(duì)象存儲(chǔ)咋樣？
青云的對(duì)象存儲(chǔ)產(chǎn)品是一個(gè)針對(duì)海量非架構(gòu)化數(shù)據(jù)的企業(yè)級(jí)分布式存儲(chǔ)平臺(tái)，有軟硬一體的私有化部署模式，也支持公有云和混合云方式使用，支持包括Http，RESTFul API，NFS，F(xiàn)TP，當(dāng)然還有業(yè)界標(biāo)準(zhǔn)的S3等方式訪問，基于對(duì)象存儲(chǔ)，青云提供了API和SDK來支持上面提到的九大場景。
對(duì)象存儲(chǔ)平臺(tái)中，一個(gè)很重要的技術(shù)是事件驅(qū)動(dòng)框架，有了事件驅(qū)動(dòng)框架之后對(duì)象存儲(chǔ)可以接入各種各樣的數(shù)據(jù)處理服務(wù)，青云把事件驅(qū)動(dòng)框架包裝在對(duì)象存儲(chǔ)產(chǎn)品里后，開創(chuàng)性地以私有云的形式交付，有了多種應(yīng)用功能之后的對(duì)象存儲(chǔ)平臺(tái)就不單單是數(shù)據(jù)平臺(tái)了，應(yīng)該叫數(shù)據(jù)服務(wù)平臺(tái)。
青立方是青云的硬件方案
青云QingCloud QingStor對(duì)象存儲(chǔ)研發(fā)總監(jiān) 楊錦濤介紹了對(duì)象存儲(chǔ)的部署案例。
國內(nèi)某大省的交通集團(tuán)要做高速網(wǎng)絡(luò)的精確計(jì)費(fèi)，在各高速路口對(duì)車輛進(jìn)行拍照收集信息，每天車流量是200萬輛，每天產(chǎn)生照片400萬張，照片就存在QingStor對(duì)象存儲(chǔ)的公有云上，然后做數(shù)據(jù)處理、分析和圖像做識(shí)別，識(shí)別出車牌及駕駛?cè)藛T的信息，識(shí)別結(jié)果用于計(jì)費(fèi)，也可為公安及其它機(jī)構(gòu)所用。
國內(nèi)數(shù)一數(shù)二的保險(xiǎn)公司要做一個(gè)統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)湖，用于存儲(chǔ)遍布全國的分公司產(chǎn)出的各種數(shù)據(jù)，將數(shù)據(jù)集中起來進(jìn)行統(tǒng)一分配、管理，利用大數(shù)據(jù)技術(shù)挖掘價(jià)值，這家大型公司有多個(gè)場景都改用對(duì)象存儲(chǔ)了：
一個(gè)是把原來存在公有云上的數(shù)據(jù)遷移到私有云對(duì)象存儲(chǔ)環(huán)境；
一個(gè)用QingStor對(duì)象存儲(chǔ)取代原來的NAS，保單數(shù)據(jù)，歸檔郵件、OA系統(tǒng)后端的存儲(chǔ)、備份和日志等數(shù)據(jù)全部通過存儲(chǔ)網(wǎng)關(guān)對(duì)接到QingStor對(duì)象存儲(chǔ)；
用QingStor對(duì)象存儲(chǔ)的企業(yè)網(wǎng)盤替代原來的FTP文件分享；
用到Elasticsearch（專門的搜索平臺(tái)）對(duì)歸檔的郵件進(jìn)行搜索（基于事件驅(qū)動(dòng)框架做的）
用對(duì)象存儲(chǔ)支持保險(xiǎn)行業(yè)特有的雙錄視頻，國家政策要求保險(xiǎn)業(yè)務(wù)員在辦理保險(xiǎn)的時(shí)候，需要錄視頻，而且這些視頻需要長期保留，而且需要查詢和取證；
用對(duì)象存儲(chǔ)支持Hadoop、Spark開源項(xiàng)目做大數(shù)據(jù)分析；
某國內(nèi)著名酒廠有遍布全國的分店，全國有幾十萬個(gè)終端，每天會(huì)產(chǎn)生幾百萬張圖片和陳列柜的短視頻。青云用對(duì)象存儲(chǔ)首先存儲(chǔ)這些數(shù)據(jù)，然后再做裁剪縮放和音視頻的傳碼等操作。
某工業(yè)物聯(lián)網(wǎng)行業(yè)用戶要做端到端的大數(shù)據(jù)分析平臺(tái)，業(yè)務(wù)場景包括：實(shí)時(shí)的數(shù)據(jù)分析、BI統(tǒng)計(jì)分析、全量歷史大數(shù)據(jù)分析。案例中的客戶全國范圍內(nèi)有18個(gè)工廠，每個(gè)工廠有5000個(gè)數(shù)據(jù)采集點(diǎn)，每天傳輸63GB，18 個(gè)工廠每年產(chǎn)出405TB數(shù)據(jù)。
工業(yè)物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)相對(duì)碎片化，除了對(duì)象存儲(chǔ)以外還需要許多別的技術(shù)，比如數(shù)據(jù)采集用到了杭州小莉科技的EMQ，數(shù)據(jù)分析用HashData的數(shù)據(jù)倉庫，數(shù)據(jù)傳輸用Kafka，日志收集用Logstash。對(duì)象存儲(chǔ)可以很好的對(duì)接和支持這些服務(wù)。
以上就是青云對(duì)象存儲(chǔ)的一些實(shí)際應(yīng)用情況。
結(jié)語
從市場觀察來看，對(duì)象存儲(chǔ)在企業(yè)級(jí)市場仍處于開始階段，更多的對(duì)象存儲(chǔ)還只在公有云服務(wù)商的云端，青云首先是一家公有云服務(wù)商，同時(shí)也是極少數(shù)把對(duì)象存儲(chǔ)做到企業(yè)級(jí)內(nèi)部的服務(wù)商。
青云腳踩公有云和私有云的兩條船帶來獨(dú)特優(yōu)勢，用一個(gè)界面管理云，對(duì)于混合云環(huán)境的企業(yè)用戶有很大吸引力。對(duì)公有云廠商來說，對(duì)企業(yè)級(jí)存儲(chǔ)市場服務(wù)欠缺了解，缺少服務(wù)能力，對(duì)于企業(yè)級(jí)存儲(chǔ)市場的玩家來說，又缺少在對(duì)象存儲(chǔ)市場的積累，而且沒有公有云作對(duì)接，少數(shù)投入對(duì)象存儲(chǔ)的外國企業(yè)也因?yàn)樽灾骺煽氐脑蛎媾R諸多問題，市場給青云這樣比較新的服務(wù)商留有很大機(jī)會(huì)。
