隨著業(yè)務(wù)的快速發(fā)展、公司人員規(guī)模不斷擴(kuò)大，企業(yè)內(nèi)部產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)量也在高速增長(zhǎng)，文檔管理系統(tǒng)承擔(dān)著越來(lái)越大的壓力。目前，廣汽豐田文檔管理系統(tǒng)采用的是輕量級(jí)的容器架構(gòu)，可實(shí)現(xiàn)快速發(fā)布和故障切換，為文檔管理系統(tǒng)的快速迭代和穩(wěn)定運(yùn)行提供了保障。

然而當(dāng)前文檔管理系統(tǒng)擁有千萬(wàn)級(jí)的文件量且保持高速增長(zhǎng)，底層所使用的集中式NAS存儲(chǔ)與當(dāng)前應(yīng)用架構(gòu)的矛盾日益突出：隨著數(shù)據(jù)量的增長(zhǎng)及業(yè)務(wù)的實(shí)時(shí)響應(yīng)需求，NAS性能無(wú)法滿足文檔管理系統(tǒng)的要求;新增NAS卷的規(guī)劃及頻繁的變更操作，使IT運(yùn)維變得更加復(fù)雜，增加IT故障風(fēng)險(xiǎn);面對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)，NAS磁盤(pán)數(shù)量的擴(kuò)容受限，而采購(gòu)全新NAS設(shè)備成本高昂。

因此，廣汽豐田IT部門(mén)負(fù)責(zé)人決定選納更適合當(dāng)前業(yè)務(wù)需求的方案。考慮到面對(duì)萬(wàn)億級(jí)文件的存儲(chǔ)，亞馬遜、阿里云等公有云廠商普遍采用對(duì)象存儲(chǔ)技術(shù)方案，從2006年亞馬遜發(fā)布S3對(duì)象存儲(chǔ)至今已經(jīng)在互聯(lián)網(wǎng)行業(yè)應(yīng)用超過(guò)十年，是經(jīng)過(guò)實(shí)踐所證明的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的最佳方案。而到底哪種對(duì)象存儲(chǔ)方案才更適合廣汽豐田的文檔管理系統(tǒng)，大致需要滿足如下需求：

1. 去中心化：無(wú)中心節(jié)點(diǎn)，排除單點(diǎn)故障;

2. 分布式架構(gòu)：易擴(kuò)展，高可靠;

3. 海量數(shù)據(jù)性能：在海量文件場(chǎng)景下，文件數(shù)量增加，訪問(wèn)性能保持穩(wěn)定;

4. x86服務(wù)器：控制成本，易更新，不被硬件廠商綁定;

5. 便捷運(yùn)維：軟硬件統(tǒng)一監(jiān)控，智能告警。

經(jīng)過(guò)多重考察、選型，最終廣汽豐田選擇部署杉巖海量對(duì)象存儲(chǔ)(SandStone MOS)解決方案。杉巖海量對(duì)象存儲(chǔ)采用去中心化、分布式架構(gòu)，以軟件形式部署在通用x86服務(wù)器上，支持百億級(jí)文件及EB級(jí)容量存儲(chǔ)。同時(shí)，具備高效的數(shù)據(jù)檢索、智能化標(biāo)簽和數(shù)據(jù)分析能力，可以幫助廣汽豐田輕松應(yīng)對(duì)大數(shù)據(jù)和云時(shí)代的存儲(chǔ)挑戰(zhàn)。究其技術(shù)優(yōu)勢(shì)，主要有如下幾點(diǎn)：

輕松擴(kuò)展，高效訪問(wèn)

杉巖海量對(duì)象存儲(chǔ)構(gòu)建在通用的x86服務(wù)器上，采用去中心化全分布式架構(gòu)，單集群可擴(kuò)展至EB級(jí)規(guī)模。同時(shí)，杉巖對(duì)象存儲(chǔ)產(chǎn)品利用先進(jìn)的分布式哈希算法技術(shù)，通過(guò)哈希計(jì)算代替?zhèn)鹘y(tǒng)文件系統(tǒng)的樹(shù)形索引，使得在單一命名空間下，可管理的文件數(shù)量達(dá)到百億級(jí)別，輕松突破傳統(tǒng)NAS數(shù)千萬(wàn)文件的瓶頸;另外，利用獨(dú)有的緩存技術(shù)對(duì)數(shù)據(jù)訪問(wèn)進(jìn)行加速，保證在海量數(shù)據(jù)下依舊保持穩(wěn)定高效的訪問(wèn)性能。

通用架構(gòu)，更新無(wú)憂

杉巖海量對(duì)象存儲(chǔ)采用“x86通用硬件+軟件”的分布式解耦架構(gòu)，單個(gè)硬件更新維護(hù)不會(huì)影響到整個(gè)系統(tǒng)的正常運(yùn)行。杉巖數(shù)據(jù)首創(chuàng)的分布式存儲(chǔ)數(shù)據(jù)盤(pán)漫游功能，可以幫助用戶漸進(jìn)式的進(jìn)行硬件更新，在業(yè)務(wù)持續(xù)運(yùn)行下，實(shí)現(xiàn)硬件的更新?lián)Q代。

統(tǒng)一管理，輕松運(yùn)維

杉巖海量對(duì)象存儲(chǔ)管理系統(tǒng)，統(tǒng)一監(jiān)控、管理存儲(chǔ)集群及所有服務(wù)器，故障自愈、自動(dòng)巡檢、自動(dòng)換盤(pán)等功能可盡量減少運(yùn)維人員的工作。單一命名空間下百億級(jí)文件的支持，一個(gè)存儲(chǔ)空間即可滿足應(yīng)用的全部需求，無(wú)需像傳統(tǒng)NAS進(jìn)行反復(fù)的擴(kuò)容及變更，減小運(yùn)維壓力。

智能標(biāo)簽，快速檢索

杉巖海量對(duì)象存儲(chǔ)支持文件標(biāo)簽，并且具備標(biāo)簽檢索功能，單個(gè)文件支持?jǐn)?shù)百個(gè)標(biāo)簽，用戶可將文件相關(guān)的元數(shù)據(jù)作為文件標(biāo)簽與數(shù)據(jù)一同存儲(chǔ)與存儲(chǔ)系統(tǒng)中，利用存儲(chǔ)系統(tǒng)中的搜索引擎，實(shí)現(xiàn)文件的多維度搜索功能。另外，存儲(chǔ)系統(tǒng)中搜索引擎同樣采用分布式架構(gòu)，保證在海量數(shù)據(jù)下的檢索性能以及搜索引擎的高可靠性。

完美契合，無(wú)限前景

彈性、去中心化的杉巖海量對(duì)象存儲(chǔ)，與文檔管理系統(tǒng)的輕量級(jí)架構(gòu)完美契合。廣汽豐田文檔管理系統(tǒng)經(jīng)過(guò)短期的接口改造，成功對(duì)接S3接口，并將全部數(shù)據(jù)遷移至杉巖海量對(duì)象存儲(chǔ)平臺(tái)上。杉巖海量對(duì)象存儲(chǔ)S3接口的無(wú)狀態(tài)連接方式，與Docker環(huán)境中運(yùn)行的無(wú)狀態(tài)服務(wù)，共同搭建了彈性、無(wú)瓶頸、易擴(kuò)展的系統(tǒng)架構(gòu)。

過(guò)去，廣汽豐田文檔管理系統(tǒng)采用某知名廠商的中端NAS存儲(chǔ)，在文件數(shù)達(dá)到3000多萬(wàn)的情況下，平均業(yè)務(wù)訪問(wèn)時(shí)延在500-800ms，且隨著文件數(shù)量的上升，訪問(wèn)時(shí)延也有上升的趨勢(shì)。2017年至今，杉巖海量對(duì)象存儲(chǔ)已經(jīng)為廣汽豐田數(shù)千名員工穩(wěn)定服務(wù)近一年時(shí)間，每天有近150萬(wàn)個(gè)請(qǐng)求發(fā)往存儲(chǔ)，文件數(shù)量由原來(lái)的3000多萬(wàn)增長(zhǎng)至8000多萬(wàn)，業(yè)務(wù)訪問(wèn)時(shí)延始終保持在100ms以內(nèi)，并且文件數(shù)量的增多不會(huì)影響訪問(wèn)性能。

廣汽豐田文檔系統(tǒng)架構(gòu)示意圖

廣汽豐田的IT部門(mén)使用杉巖海量對(duì)象存儲(chǔ)后，不再需要擔(dān)心業(yè)務(wù)及數(shù)據(jù)的增長(zhǎng)給存儲(chǔ)帶來(lái)的壓力，統(tǒng)一命名空間下百億級(jí)文件數(shù)量的支持，大大減少了存儲(chǔ)的變更操作和IT運(yùn)維故障。同時(shí)，智能監(jiān)控告警及自動(dòng)巡檢也為運(yùn)維人員節(jié)省了大量的時(shí)間和精力。相信隨著大數(shù)據(jù)積累工作的完成和人工智能技術(shù)的引入，杉巖海量對(duì)象存儲(chǔ)將發(fā)揮更大價(jià)值，為廣汽豐田的業(yè)務(wù)發(fā)展提供更大的助力。

sunk