杉巖數(shù)據(jù)“最大”的標(biāo)簽是對(duì)象存儲(chǔ),邱尚高表示,從市場(chǎng)角度而言,當(dāng)前分布式文件存儲(chǔ)的市場(chǎng)更大,但從場(chǎng)景應(yīng)用角度方面而言,以5G、大數(shù)據(jù)、人工智能為代表的新興技術(shù)深入行業(yè)應(yīng)用,智能在“端、邊、云”延伸,數(shù)據(jù)的種類和數(shù)量越來越多,企業(yè)對(duì)數(shù)據(jù)價(jià)值的訴求也更趨強(qiáng)烈,對(duì)象存儲(chǔ)因互聯(lián)網(wǎng)而生,面對(duì)海量數(shù)據(jù)場(chǎng)景具備天然優(yōu)勢(shì),逐漸成為大數(shù)據(jù)時(shí)代存儲(chǔ)界的后起之秀。
觀中國SDS市場(chǎng):對(duì)象存儲(chǔ)或?qū)⑻娲募鎯?chǔ)
對(duì)象存儲(chǔ),業(yè)內(nèi)稱之為第三大存儲(chǔ)類型,其綜合了NAS和SAN的優(yōu)點(diǎn),同時(shí)具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢(shì),提供了高可靠性、跨平臺(tái)性以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。
在對(duì)象存儲(chǔ)與文件存儲(chǔ)的對(duì)比中,特別是在大量文件的并發(fā)性能方面,對(duì)象存儲(chǔ)比文件存儲(chǔ)要強(qiáng)的多,同時(shí),在系統(tǒng)中存入大量文件后的性能穩(wěn)定性方面,對(duì)象存儲(chǔ)的表現(xiàn)也比文件存儲(chǔ)要強(qiáng)的多。
從技術(shù)角度看,由于文件存儲(chǔ)要維護(hù)龐大且復(fù)雜的文件目錄,當(dāng)文件數(shù)越來越多,目錄越來越復(fù)雜,文件存儲(chǔ)的性能就越差。而對(duì)象存儲(chǔ)的可擴(kuò)展性比文件存儲(chǔ)要好的多,對(duì)象存儲(chǔ)把文件存在單一命名空間下,采用哈希的查找方式來找文件,效率和性能要高很多,文件數(shù)再多也幾乎不影響性能。
邱尚高表示,對(duì)象存儲(chǔ)將文件管理規(guī)模提升了100倍以上,為大數(shù)據(jù)海量智能存儲(chǔ)提供底座。對(duì)象存儲(chǔ)與文件存儲(chǔ)相比,在新技術(shù)的支持上更有優(yōu)勢(shì),如容器的支持場(chǎng)景,面對(duì)容器大規(guī)模的劇增,成百上千的POD啟動(dòng)時(shí)執(zhí)行掛載操作(屬重型操作)對(duì)存儲(chǔ)性能提出更高的要求,甚至出現(xiàn)掛載失敗的現(xiàn)象;而使用對(duì)象存儲(chǔ),POD啟動(dòng)無需掛載存儲(chǔ),只有在業(yè)務(wù)訪問文件時(shí),才會(huì)跟存儲(chǔ)建立連接,所以在POD批量創(chuàng)建/啟動(dòng)變得輕松自如。
當(dāng)然,對(duì)象存儲(chǔ)并非能完全取代文件存儲(chǔ),源于一些特定場(chǎng)景的因素,如HPC場(chǎng)景、個(gè)人辦公文件共享場(chǎng)景、老舊業(yè)務(wù)系統(tǒng),但也非絕對(duì),未來企業(yè)網(wǎng)盤將替換個(gè)人辦公文件共享場(chǎng)景,而企業(yè)網(wǎng)盤的關(guān)鍵技術(shù)為對(duì)象存儲(chǔ)。
讀第一陣營:探秘杉巖對(duì)象存儲(chǔ)的場(chǎng)景化能力
在云計(jì)算領(lǐng)域,公有云服務(wù)商都不約而同支持對(duì)象存儲(chǔ),對(duì)象存儲(chǔ)為公有云提供技術(shù)基礎(chǔ),為數(shù)據(jù)上云注入技術(shù)力量,通過對(duì)象存儲(chǔ)提供數(shù)據(jù)分發(fā)、備份、分析等數(shù)據(jù)存儲(chǔ)服務(wù),提供在互聯(lián)網(wǎng)任何位置的數(shù)據(jù)存儲(chǔ)和訪問服務(wù),提供空間租賃服務(wù)等等。對(duì)象存儲(chǔ)的應(yīng)用,能使云上創(chuàng)新順利嫁接到企業(yè)私有云環(huán)境中,從技術(shù)生態(tài)來看,對(duì)象存儲(chǔ)對(duì)于企業(yè)IT架構(gòu)轉(zhuǎn)型至關(guān)重要。
對(duì)企業(yè)來說,對(duì)象存儲(chǔ)能解決用戶使用公有云資源的需求,想搭建混合云架構(gòu)的需求,想構(gòu)建數(shù)據(jù)湖來容納各種數(shù)據(jù)類型的需求,想做大數(shù)據(jù)分析挖掘數(shù)據(jù)價(jià)值,想用人工智能賦能業(yè)務(wù)創(chuàng)新,想使用容器以及云原生技術(shù)架構(gòu)加速業(yè)務(wù)創(chuàng)新的需求…….在諸多場(chǎng)景中,對(duì)象存儲(chǔ)的都能發(fā)揮什么的價(jià)值呢?
針對(duì)諸多應(yīng)用場(chǎng)景,邱尚高從技術(shù)角度解釋了對(duì)象存儲(chǔ)的場(chǎng)景化能力。
場(chǎng)景一:數(shù)據(jù)湖場(chǎng)景
談及數(shù)據(jù)湖場(chǎng)景,邱尚高表示,對(duì)象存儲(chǔ)作為整個(gè)數(shù)據(jù)湖架構(gòu)的核心要素,承載著企業(yè)近乎全部的數(shù)據(jù)資產(chǎn)。數(shù)據(jù)湖需要存儲(chǔ)萬億級(jí)別的文件數(shù)、EB級(jí)別的容量,且數(shù)據(jù)類型不同、資源對(duì)接區(qū)域不同、應(yīng)用場(chǎng)景類型不同,數(shù)據(jù)存儲(chǔ)的壓力非常大。對(duì)象存儲(chǔ)采用彈性的分布式架構(gòu),靈活對(duì)接各類應(yīng)用,可匯聚不同類型、不同大小的數(shù)據(jù)資源(包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),大文件、小文件)。
首先,對(duì)象存儲(chǔ)的擴(kuò)展性保證了能存下大量數(shù)據(jù);其次,對(duì)象存儲(chǔ)的靈活性既能支持傳統(tǒng)應(yīng)用,也能支持云原生應(yīng)用;再者,由于與云端采用了一致的對(duì)象存儲(chǔ)標(biāo)準(zhǔn),幫助企業(yè)構(gòu)建了混合云架構(gòu)的數(shù)據(jù)底座,幫助企業(yè)將公有云的能力延展到企業(yè)內(nèi)部。
數(shù)據(jù)湖雖未大范圍部署,但優(yōu)勢(shì)顯而易見,前景廣闊。邱尚高認(rèn)為,數(shù)據(jù)湖是一個(gè)循序漸進(jìn)的概念,企業(yè)不會(huì)為了建數(shù)據(jù)湖而建,數(shù)據(jù)湖是一張藍(lán)圖,數(shù)據(jù)湖是需要一步步推動(dòng)的結(jié)果。對(duì)象存儲(chǔ)的采用,為未來一步步搭建數(shù)據(jù)湖打下了基礎(chǔ)。
場(chǎng)景二:大數(shù)據(jù)場(chǎng)景
在談到大數(shù)據(jù)場(chǎng)景時(shí),邱尚高談到了大數(shù)據(jù)存算分離的趨勢(shì),究其原因,是在于原來的Hadoop方案升級(jí)擴(kuò)展不夠靈活,計(jì)算和存儲(chǔ)必須同時(shí)進(jìn)行,操作難度和運(yùn)維成本是問題。而有了存算分離后,可以用對(duì)象存儲(chǔ)替代HDFS,讓對(duì)象存儲(chǔ)和Hadoop獨(dú)立擴(kuò)容和升級(jí),減少了Hadoop新版本升級(jí)的障礙。
同時(shí),由于對(duì)象存儲(chǔ)采用的是EC糾刪碼和冷熱分層技術(shù)來提升磁盤利用率,相比原來HDFS三副本的設(shè)定,成本效益非常明顯。而且,相對(duì)于只適合大文件的HDFS,對(duì)象存儲(chǔ)對(duì)小文件也更友好。
場(chǎng)景三:AI/ML場(chǎng)景
在AL/ML場(chǎng)景中,數(shù)據(jù)準(zhǔn)備階段和訓(xùn)練階段對(duì)存儲(chǔ)的需求各不同,杉巖數(shù)據(jù)對(duì)象存儲(chǔ)方案用一套架構(gòu)滿足了該場(chǎng)景的需求。比如,數(shù)據(jù)準(zhǔn)備階段可能會(huì)有大量的圖片和標(biāo)簽數(shù)據(jù),如果都存在文件存儲(chǔ)上,NAS的圖片檢索壓力會(huì)很大,如果引入NoSQL,那么架構(gòu)會(huì)更復(fù)雜。
在訓(xùn)練階段,NAS文件存儲(chǔ)在面對(duì)海量小文件時(shí)的性能壓力可能會(huì)成為瓶頸。此外,由于數(shù)據(jù)準(zhǔn)備階段和訓(xùn)練階段的對(duì)應(yīng)不同的存儲(chǔ)設(shè)備,需要進(jìn)行數(shù)據(jù)遷移拷貝的操作,費(fèi)時(shí)費(fèi)力耗空間。有了對(duì)象存儲(chǔ)之后,這些問題全都迎刃而解了。
杉巖數(shù)據(jù)的對(duì)象存儲(chǔ)提供AI/ML場(chǎng)景的全生命周期管理,全過程在一套存儲(chǔ)上完成,無需進(jìn)行任何數(shù)據(jù)復(fù)制拷貝操作。在數(shù)據(jù)準(zhǔn)備階段,可以用標(biāo)簽來直接檢索圖片。在訓(xùn)練階段,對(duì)象存儲(chǔ)高性能文件網(wǎng)關(guān)能解決海量小文件存儲(chǔ)性能的問題。
場(chǎng)景四:智能化、自動(dòng)化的數(shù)據(jù)處理場(chǎng)景
很多數(shù)據(jù)都是先處理后存儲(chǔ),杉巖數(shù)據(jù)對(duì)象存儲(chǔ)依托智能數(shù)據(jù)處理引擎,將數(shù)據(jù)處理能力下沉到存儲(chǔ)系統(tǒng)內(nèi)部?;诓呗杂|發(fā),自動(dòng)完成圖片轉(zhuǎn)碼、視頻抽幀、OCR識(shí)別等處理任務(wù)。以智能制造為例,杉巖MOS已經(jīng)幫助UTAC(聯(lián)測(cè)優(yōu)特半導(dǎo)體)提升智能質(zhì)檢效率,通過生命周期管理策略設(shè)定,在MOS內(nèi)部完成質(zhì)檢圖片的存儲(chǔ)、格式轉(zhuǎn)換、冷熱分層和過期自動(dòng)刪除,節(jié)省80%存儲(chǔ)空間,大幅降低成本并簡(jiǎn)化了業(yè)務(wù)流程。
杉巖數(shù)據(jù)的對(duì)象存儲(chǔ)能自動(dòng)將BMP圖片轉(zhuǎn)化為高壓縮率的JPG圖片,將數(shù)據(jù)壓縮為原來的四分之一,極大地節(jié)省了存儲(chǔ)空間。與此同時(shí),它還提供了自動(dòng)化的分層和策略化管理,充分利用分布式處理的能力,減少了主機(jī)和存儲(chǔ)間的數(shù)據(jù)搬運(yùn),提高了系統(tǒng)運(yùn)行效率。
此外,邱尚高還提到了對(duì)象存儲(chǔ)平臺(tái)在原生云OLAP場(chǎng)景上,在IPFS場(chǎng)景方面的優(yōu)勢(shì)。特別是在將OLAP數(shù)據(jù)庫的查詢條件卸載到存儲(chǔ),針對(duì)IPFS的時(shí)空證明專有接口方面所表現(xiàn)出來的性能優(yōu)勢(shì)令人印象深刻。以上多個(gè)場(chǎng)景中,都展示出了對(duì)象存儲(chǔ)與上層應(yīng)用垂直優(yōu)化時(shí),相比傳統(tǒng)存儲(chǔ)的軟硬件垂直優(yōu)化的優(yōu)勢(shì),在關(guān)鍵性能方面更能達(dá)到數(shù)量級(jí)的提升。
從邱尚高的介紹中能感受到,對(duì)象存儲(chǔ)作為基礎(chǔ)架構(gòu)領(lǐng)域最具發(fā)展前景的存儲(chǔ)類型,在許多新的場(chǎng)景中都得到了應(yīng)用,這與對(duì)象存儲(chǔ)本身的靈活可編程的特性有很大關(guān)系,當(dāng)許多創(chuàng)新都圍繞對(duì)象存儲(chǔ)展開的話,選擇對(duì)象存儲(chǔ)就為未來更多新技術(shù)做好了準(zhǔn)備。
展望未來:對(duì)象存儲(chǔ)如同八九點(diǎn)鐘的太陽“嶄露鋒芒”
對(duì)象存儲(chǔ),談起來容易,實(shí)現(xiàn)起來并非輕而易舉,在技術(shù)特性、軟件功能上需要不斷打磨。作為國內(nèi)對(duì)象存儲(chǔ)市場(chǎng)份額位列第二的杉巖數(shù)據(jù),在新技術(shù)、新功能、新性能、新應(yīng)用上不斷加大投入,研發(fā)投入已達(dá)數(shù)億元,這種對(duì)產(chǎn)品的“單磕”,使得杉巖數(shù)據(jù)在對(duì)象存儲(chǔ)的技術(shù)創(chuàng)新方面獨(dú)具優(yōu)勢(shì)。
前不久,杉巖數(shù)據(jù)2 EB超大規(guī)模數(shù)據(jù)中心存儲(chǔ)項(xiàng)目引起了圈內(nèi)人士的廣泛關(guān)注,這是對(duì)杉巖數(shù)據(jù)技術(shù)能力和實(shí)踐能力的認(rèn)同,也是市場(chǎng)對(duì)于對(duì)象存儲(chǔ)的 認(rèn)可。
IDC預(yù)測(cè),未來5年,對(duì)象存儲(chǔ)在中國SDS市場(chǎng)的增長(zhǎng)率將達(dá)到制高點(diǎn),5G+AIoT時(shí)代,智能存儲(chǔ)應(yīng)用場(chǎng)景越來越豐富,數(shù)據(jù)增長(zhǎng)規(guī)模如“洪流”般兇猛,對(duì)象存儲(chǔ)優(yōu)勢(shì)將進(jìn)一步放大。
邱尚高表示,現(xiàn)階段對(duì)象存儲(chǔ)使用率高的行業(yè)有金融科技、醫(yī)療影像、制造業(yè)、智慧交通等,許多行業(yè)處在向?qū)ο蟠鎯?chǔ)切換的過程中。一些備份軟件、企業(yè)網(wǎng)盤、大數(shù)據(jù)分析應(yīng)用中把S3作為標(biāo)準(zhǔn)接口,在一定程度上,對(duì)象存儲(chǔ)已打開局面。
杉巖數(shù)據(jù)專注于對(duì)象存儲(chǔ),而非投入更多精力深耕文件存儲(chǔ),邱尚高表示,杉巖數(shù)據(jù)的關(guān)鍵業(yè)務(wù)仍以對(duì)象存儲(chǔ)為核心,以新一代智能分布式存儲(chǔ)技術(shù)為依托,致力于打造云計(jì)算、人工智能、物聯(lián)網(wǎng)等領(lǐng)域的數(shù)據(jù)存儲(chǔ)基石,不忘初衷方得始終。對(duì)象存儲(chǔ)正值攀登的好時(shí)期,如同八九點(diǎn)鐘的太陽,讓我們一同迎接朝霞。
另外,從市場(chǎng)競(jìng)爭(zhēng)及發(fā)展的方向看,杉巖數(shù)據(jù)正處在快速發(fā)展階段,作為中國存儲(chǔ)市場(chǎng)的新勢(shì)力,將繼續(xù)加強(qiáng)生態(tài)建設(shè),以更大的力量為用戶提供“對(duì)象”服務(wù),打造更完善的私有云、混合云智能存儲(chǔ)服務(wù)。