林培峰:我們對(duì)分布式存儲(chǔ)的定義是能夠兼顧傳統(tǒng)存儲(chǔ)和軟件定義架構(gòu),傳統(tǒng)存儲(chǔ)大家都清楚,它的應(yīng)用包括備份、虛擬化、歸檔,我這邊沒(méi)有列出數(shù)據(jù)庫(kù),這種交易型的應(yīng)用,為什么?因?yàn)槟壳胺植际酱鎯?chǔ)是無(wú)法、也是不太適合去應(yīng)用在這個(gè)場(chǎng)景的。軟件定義存儲(chǔ)所有的存儲(chǔ)交易,所有存的信息都用軟件去做。軟件的延遲其實(shí)是比較高的,有報(bào)道稱分布式存儲(chǔ)軟件方面最低延遲到0.5-1毫秒,我們的場(chǎng)景沒(méi)有列出數(shù)據(jù)庫(kù)。軟件定義這個(gè)方面架構(gòu)包括容器、虛擬化、大數(shù)據(jù)、備份。其實(shí)和傳統(tǒng)都不太一樣,包括運(yùn)維到數(shù)據(jù)的調(diào)用有很多通過(guò)API,通過(guò)S3接口,包括運(yùn)維、腳本、API,所以接下來(lái)給大家分享一下我們SUSE分布式存儲(chǔ)的一些真正落地的場(chǎng)景。
分布式存儲(chǔ)落地場(chǎng)景
第一個(gè)很常見(jiàn)的場(chǎng)景,一個(gè)分布式存儲(chǔ)承載整個(gè)企業(yè)虛擬化和虛擬云的存儲(chǔ)架構(gòu),包括VMware、KVM等虛擬化都是用傳統(tǒng)存儲(chǔ),現(xiàn)在更多的是用分布式存儲(chǔ)去成長(zhǎng)。這里邊用到的協(xié)議塊存儲(chǔ)是最多的,比如ISCSI,包括Ceph自帶的RBD的協(xié)議是最多的。在這上面我們SUSE還做了跟各個(gè)廠家的虛擬化的兼容,包括 VMware、華為Fusionphere的兼容,這個(gè)兼容在我們部署里面去接特別是接華為的虛擬化,其實(shí)是用普通的ISCSI接過(guò)去是有問(wèn)題的,我們還做了很多兼容性的測(cè)試和開(kāi)放。這個(gè)是很常見(jiàn)的場(chǎng)景。這個(gè)就是我們?cè)谀呈∫苿?dòng)做的混合云平臺(tái)企業(yè)級(jí)的存儲(chǔ)解決方案。我們一個(gè)存儲(chǔ)就給他們承接了華為的虛擬化還有VMware虛擬化的存儲(chǔ)需求,基本上這里面通過(guò)ISCSI。
另外一個(gè)場(chǎng)景就是我們給某個(gè)銀行所做的容器云的存儲(chǔ),這也是分布式存儲(chǔ)一個(gè)很常見(jiàn)的場(chǎng)景,一個(gè)企業(yè)上容器選擇存儲(chǔ)的時(shí)候,很大一部分選擇分布式存儲(chǔ),其中基于基于Ceph分布式存儲(chǔ),對(duì)這個(gè)K8S支持是很完美的,不管用塊存儲(chǔ)RBD,還是用文件存儲(chǔ)都是很完美支持K8S,我們這個(gè)客戶上面跑的數(shù)據(jù)分析、人工智能、機(jī)器學(xué)習(xí)的應(yīng)用都很好的承載起來(lái),這個(gè)就是容器云的存儲(chǔ)。
另外一個(gè)很常見(jiàn)——文件存儲(chǔ),文件存儲(chǔ)很重要的幾個(gè)協(xié)議,在里面對(duì)于我們SUSE的分布式存儲(chǔ)都有很好的支持,這里面我們還擴(kuò)展了 CephFS ,還有我們正要做的基于Windows,對(duì)RBD的支持。如果大家對(duì)Ceph有所了解都知道RBD是塊存儲(chǔ),只能用Linux,其實(shí)如果是Windows去用的話只能通過(guò)CephFS或ISCSI,RBD其實(shí)不太好用,我們下一步做這個(gè)事情,下一個(gè)版本發(fā)布出來(lái)。我們有很多客戶包括某個(gè)做汽車安全座椅的,還有某個(gè)半導(dǎo)體企業(yè)的,反正他們業(yè)務(wù)跑Linux里邊,原來(lái)用的是NFS去跑他的備份業(yè)務(wù),備份數(shù)據(jù)跑在這里面,現(xiàn)在改成CephFS,我們部署了不到三個(gè)月,存儲(chǔ)利用率提高了,這是實(shí)實(shí)在在文件服務(wù)器,而且舊應(yīng)用用的最多,我們都能很好地支持他們的業(yè)務(wù)。
另一個(gè)是我們給某銀行做的錄音系統(tǒng),他們錄音系統(tǒng)NAS原來(lái)用APP,現(xiàn)在改成了是用Ceph的分布式文件系統(tǒng)。我們SUSE Ceph的文件系統(tǒng)提供了,因?yàn)閭鹘y(tǒng)就用NFS無(wú)法牽過(guò)來(lái),我們很好提供NFS,現(xiàn)在已經(jīng)跑了有一年了。實(shí)實(shí)在在用了一年,用分布式存儲(chǔ)Ceph很好地替換原有的NAS存儲(chǔ),特別傳統(tǒng)的存儲(chǔ)。
一個(gè)很大量的視頻監(jiān)控對(duì)存儲(chǔ)容量的要求很高。對(duì)帶寬的要求也很高,對(duì)IOPS要求不高,這一塊對(duì)視頻監(jiān)控的場(chǎng)景分布式存儲(chǔ)是很適合的。因?yàn)榉植际酱鎯?chǔ)DIY,買來(lái)X86服務(wù)器插上硬盤把軟件安上就得到一個(gè)存儲(chǔ),只要性能滿足上面的應(yīng)用需求就可以了。視頻監(jiān)控這種應(yīng)用對(duì)容量的要求很高,對(duì)帶寬的要求是一般高,對(duì)IOPS要求不高,所以很適合這方面的應(yīng)用。今年投資了可能100TB的容量的存儲(chǔ)我明年根據(jù)業(yè)務(wù)的需求再去采購(gòu)X86,根據(jù)每年不同需求而橫向擴(kuò)展,很好保護(hù)企業(yè)成本,而且這里邊還可以采用糾刪碼技術(shù),更好地提高存儲(chǔ)效率。如果用副本的話,現(xiàn)在默認(rèn)用三副本,只能30%多,所以視頻監(jiān)控領(lǐng)域,糾刪碼技術(shù)利用越來(lái)越多的。
還有一個(gè)很重要的場(chǎng)景就是數(shù)據(jù)備份的云存儲(chǔ)。在這方面我們做了很多工作,因?yàn)閭浞葸@個(gè)場(chǎng)合特別適合用分布式存儲(chǔ),而且備份其實(shí)我們需要跟很多的備份軟件去做兼容性認(rèn)證。這個(gè)是我們SUSE所做的工作。我們覺(jué)得大家可能國(guó)內(nèi)很多廠家他們只是說(shuō)這是什么備份,他們無(wú)法去拿出這種兼容性認(rèn)證,我們和國(guó)際國(guó)內(nèi)的很多備份廠家去做兼容性認(rèn)證,很好支持他們不同的接口,包括NFS,ISCSI,包括S3這個(gè)接口,而且現(xiàn)在備份存儲(chǔ),備份存儲(chǔ)大部分的備份文件,越來(lái)越多用S3接口。通過(guò)S3接口、備份文件去重功能壓縮功能,更好地利用存儲(chǔ)空間。
另外一個(gè)場(chǎng)景是越來(lái)越多的客戶所考慮的,就是大數(shù)據(jù)分析,數(shù)據(jù)放在分布式存儲(chǔ)里面,大數(shù)據(jù)這個(gè)軟件包括Hadoop、Spark怎么樣很好地調(diào)用出來(lái),我們和專門做大數(shù)據(jù)廠家的合作伙伴做了一個(gè)測(cè)試。如果用S3的接口上Spark去調(diào)用的接口和HDFS性能相比是相當(dāng)?shù)?。但是用S3接口更好的利用分布式存儲(chǔ)的優(yōu)勢(shì),彈性擴(kuò)展、彈性計(jì)算,而且S3接口更好的保存億級(jí)海量的文件。所以在這一塊,我們認(rèn)為分布式存儲(chǔ)下一個(gè)很好的場(chǎng)景就是大數(shù)據(jù)分析。
在數(shù)據(jù)可靠性里面我們還做了一個(gè)實(shí)實(shí)在在的案例,這個(gè)里面列了寶馬,在三棟樓宇,每棟樓宇保存一份數(shù)據(jù),三棟樓宇是利用了分布式存儲(chǔ)的跨園區(qū)的技術(shù)。這個(gè)是實(shí)實(shí)在在解決他們對(duì)于容災(zāi)方面的安全的需求,所以在這里邊我們把他當(dāng)成一個(gè)場(chǎng)景列出來(lái),考慮多故障率安全數(shù)據(jù)中心,去保存數(shù)據(jù)需求的時(shí)候,可以想到分布式存儲(chǔ)有這個(gè)功能的,是適合這個(gè)場(chǎng)景的。
我們也有實(shí)實(shí)在在的案例來(lái)講怎樣存儲(chǔ)海量的小文件,如果以前用這種NAS去存海量小文件,有客戶說(shuō),一個(gè)目錄有百萬(wàn)級(jí)文件的時(shí)候,查詢很慢,我們通過(guò)S3的接口通過(guò)對(duì)象存儲(chǔ)保存海量小文件,解決億級(jí)海量小文件訪問(wèn)慢的問(wèn)題。越來(lái)越多用戶存海量小文件的時(shí)候選擇對(duì)象存儲(chǔ)。遇到有海量小文件去保存的時(shí)候,用對(duì)象存儲(chǔ)是一個(gè)很好的解決方案。
這個(gè)就是我們給某省遠(yuǎn)程醫(yī)療云做省級(jí)的醫(yī)療存儲(chǔ),存儲(chǔ)醫(yī)療產(chǎn)生的視頻、語(yǔ)音還有電子的病例、電子音像數(shù)據(jù)保存起來(lái)。
SUSE扛起開(kāi)源大旗
說(shuō)完分布式存儲(chǔ)一些應(yīng)用場(chǎng)景,SUSE是最大的獨(dú)立的開(kāi)源軟件廠家,在分布式存儲(chǔ)這面投了很多研發(fā)和工作,現(xiàn)在發(fā)布到第八個(gè)版本,全部都基于 Ceph,Ceph測(cè)序里面前二十名最大貢獻(xiàn)者其中有8名來(lái)自SUSE。
怎么樣做到安全可控?我們認(rèn)為把所有的源代碼能夠完完全全開(kāi)放出來(lái),不怕別人抄襲,不怕別人查看,就是安全可控,SUSE所有軟件都是開(kāi)源,任何人都可以從官方網(wǎng)站去下載、編譯。整個(gè)Ceph現(xiàn)在的管理的界面全都是SUSE貢獻(xiàn)出來(lái)。與2017財(cái)年相比,SUSE在2018財(cái)年的Ceph客戶數(shù)增加了一倍以上
SUSE的分布式存儲(chǔ)核心開(kāi)發(fā)重點(diǎn)在四個(gè)方面:易管理性、可用性,與各種操作系統(tǒng)的互操作性,以及性能。我們會(huì)很開(kāi)放的去和合作伙伴合作。SUSE所有技術(shù)都是目前業(yè)內(nèi)主流的開(kāi)源技術(shù),會(huì)定期給大家去講技術(shù)課堂。
(以上內(nèi)容基于演講實(shí)錄整理,如有紕漏,敬請(qǐng)指正。)