中文網(wǎng) 發(fā)表于:14年08月19日 10:35 [綜述] DOIT.com.cn
七牛云存儲如何把服務器成本降到32.5%?答案是:拋棄“三副本存儲方案”,我們往下看看,其道理何在呢?
在經(jīng)歷2013年年底,云基礎服務商之間開始競相降價的價格戰(zhàn)后,該市場留存的頭部玩家已經(jīng)逐漸嘗到了甜頭——包括云主機服務商QingCloud、UCloud,云存儲服務商七牛在內的創(chuàng)業(yè)公司,相繼在今年拿到數(shù)千萬美元的融資。這讓我想起在八個月前,金山云的CEO王育林曾在接受PingWest采訪時說:“如果不是百億級以上的市場,金山就不會專門成立子公司去做它。”
在拿到寬帶資本、經(jīng)緯中國、啟明創(chuàng)投的C輪千萬美元投資后,七牛云存儲的創(chuàng)始人許式偉表示:“接下來,七牛要和產(chǎn)業(yè)上下游更多的公司相互協(xié)作,在技術上實現(xiàn)對接。”
從創(chuàng)業(yè)之初,七牛就和那些大體量的云基礎服務提供商區(qū)別開來——只專注于非結構化數(shù)據(jù)存儲內容,目前有超過10萬的用戶基數(shù),覆蓋在線教育、電商、旅游、圖片社交等領域。據(jù)許式偉介紹,在七牛的客戶群中,有許多用戶一邊用阿里云、騰訊云的云主機服務,一邊使用七牛的云存儲。這表明,七牛與這些大公司的服務在競爭之外,也是可以協(xié)作的。
為了保證數(shù)據(jù)可靠性,同時盡量降低成本,七牛在6月發(fā)布的2.0版產(chǎn)品中加入了糾刪碼算術冗余技術。為了便于理解,我們通過一種比較具象的比方來解釋:傳統(tǒng)的存儲方法中,假設備份數(shù)據(jù)X、Y,在不同的硬盤中各自備份三份副本,這時數(shù)據(jù)的冗余度為3。據(jù)許式偉的介紹,七牛的存儲方法的冗余度做到在1.4左右。這時候,你也許會問,為什么數(shù)據(jù)副本變少了,但存儲可靠性卻沒有降低呢?
實際上,七牛2.0的數(shù)據(jù)備份,是分別備份一份X、一份Y,再備份類似X+Y,X²+Y²這樣的冗余數(shù)據(jù)。那么,即便Y的數(shù)據(jù)丟失,就可以通過已知X+Y和X數(shù)據(jù),去恢復Y的數(shù)據(jù)。七牛2.0的糾刪碼(EC) 采用的是28+4,也就是把文件切分為28份,然后再根據(jù)這28份數(shù)據(jù)計算出4份冗余數(shù)據(jù)(比如X+Y),最后把這32份數(shù)據(jù)存儲在32臺不同的機器上。
這種新式的存儲方式相比經(jīng)典三副本冗余方案,需要的服務器只需要后者的32.5%,大大降低了成本,最高同時損壞四個硬盤數(shù)據(jù)也不會丟失,提高了硬件的容災能力。
此外,相較于傳統(tǒng)的單機數(shù)據(jù)恢復,七牛采取了多組服務器的存儲集群修復。也就說,一臺服務器上的數(shù)據(jù)損失,能夠通過剩余存儲集群能力共同為其恢復數(shù)據(jù),且集群規(guī)模越大,效率越高。許式偉認為這些“技術壁壘”,使得他并不畏懼來自競爭對手的價格戰(zhàn)——“首先我們存儲的成本低,即便把價格降下來,我們也會有輕微的利潤;而我們并不完全靠價格取勝,還包括增值服務。”
在基礎技術之上,七牛為一些開發(fā)者的共性需求做一些優(yōu)化服務,在存儲的基礎上加入了一些PaaS應用,比如圖片存儲中的縮略圖、自定義尺寸、防盜鏈等。在2013年年底,七牛團隊發(fā)現(xiàn)客戶對音頻、視頻內容的存儲需求比例開始增加后,開始為視頻數(shù)據(jù)存儲,提供了十余種可供調用的API接口——包括視頻格式轉碼、視頻水印、視頻幀提取、數(shù)據(jù)分析等功能。
盡管,目前視頻客戶需求的比例還不算太高,但許式偉認為,隨著視頻類應用和服務的興起,這會成為一種趨勢。目前,包括視頻監(jiān)控設備供應商?低、短視頻應用美拍、在線教育平臺開課吧,都已經(jīng)是七牛云儲存的案例用戶。