杉巖MOS提供了靈活的EC配置方式以滿足不同應用場景。杉巖MOS支持EC22+2的存儲策略,相較于HDFS的三副本策略,采用EC22+2存儲策略的存儲空間利用率提升了175%。
默認的糾刪碼是按照節(jié)點來分配數據的,例如EC4+2需要配置6個節(jié)點,但亞節(jié)點糾刪可按照硬盤來分配數據,例如EC4+2:1,則是把3個節(jié)點當6個節(jié)點用,每個節(jié)點選擇2塊硬盤,整個集群選擇6塊不同的硬盤來存放4+2總計6個分片數據。如下圖所示:

因此,EC4+2:1相比EC2+1,雖然能容忍節(jié)點故障數量仍然是1個,但它可以允許2個節(jié)點分別有1塊硬盤故障(總計2塊硬盤故障)而數據不丟失。而實際情況下,硬盤故障的概率是遠遠低于整個節(jié)點故障的,所以EC4+2:1還是非??煽康?,在空間利用率上也遠高于三副本。
配置建議:
在滿足性能及可靠性要求下配置適當的EC策略。
在滿足性能要求下,節(jié)點數量少于EC塊數量,可以配置亞節(jié)點糾刪。
2. 無感知橫縱雙向擴容,降低人力時間成本
杉巖MOS不僅支持節(jié)點的橫向擴展,還可支持縱向擴展。當后期業(yè)務容量不足時,可在線擴容節(jié)點磁盤或者節(jié)點。杉巖MOS基于多故障域的擴容,配合存儲策略,向應用屏蔽了底層存儲的變更細節(jié),能夠在業(yè)務無感知的情況下,實現業(yè)務的擴容,避免了傳統(tǒng)存儲變更時,需要業(yè)務系統(tǒng)同時變更的情況,大大減少了運維人員及業(yè)務人員的工作量,降低人力時間成本。
配置建議:
將新擴容的節(jié)點/磁盤獨立成一個故障域,避免數據的遷移,建議選擇當前集群業(yè)務較少或無業(yè)務時間段操作,以防影響業(yè)務性能。
結合生命周期轉移技術,將某個故障域的數據自動轉移到另一個故障域中,實現數據的分層存儲。
杉巖MOS特色特性解讀
3. 重刪及壓縮,節(jié)省存儲空間及帶寬
隨著企業(yè)業(yè)務的不斷增長,需要存儲的數據越來越多。與此同時,企業(yè)可能面臨如下問題:
歷史數據中可能存在大量的冗余數據。冗余數據的增長消耗了非必要的存儲資源,導致存儲資源浪費,存儲成本也隨之增加。
存儲容量的增加帶來了維護管理的復雜,增加了運維成本及其他成本。
杉巖MOS支持數據重刪、壓縮(包括對象壓縮及數據的傳輸壓縮)兩種功能。重刪功能通過刪除杉巖MOS中的冗余數據塊,減少冗余數據在站點內占用的物理存儲容量,從而滿足日益增長的數據存儲需求。壓縮功能可在數據存儲時對數據桶進行壓縮,以及在多站點的場景下,將數據壓縮后再傳輸,節(jié)省存儲容量及帶寬。
配置建議:
在文件共享訪問等場景,建議開啟重刪和壓縮。
在備份場景下,推薦啟用數據壓縮功能。
多站點同步場景下,建議開啟數據傳輸壓縮。
注意事項:重刪和壓縮過程會占用CPU資源,所以重刪壓縮的數據越多,對系統(tǒng)性能的影響越大。
4. 數據分級存儲,降低歸檔成本
藍光存儲為客戶提供低成本、高可靠、長周期、大容量的冷數據存儲服務,適用于海量、訪問頻次低的非結構化數據的存檔和管理。
數據的訪問頻率通常會隨著時間的推移由熱轉冷,龐大的冷數據鮮少被再次調用,若繼續(xù)存在對象存儲中,成本非常高。杉巖MOS支持對數據進行全生命周期管理,支持冷熱數據介質分層遷移。基于成本考慮,可將冷數據自動歸檔至公有云或藍光存儲,實現大容量、低成本、長期保存數據。
配置建議:
重要數據建議備份至公有云。
結合生命周期策略,將冷數據歸檔至公有云或藍光存儲中。
5. 生命周期清除,降低存儲成本
杉巖MOS支持數據生命周期管理,用戶可通過設定數據生命周期管理策略,定期自動清理無用數據,釋放存儲空間。
配置建議:
針對無用數據,建議設置生命周期過期刪除策略,定期刪除無用數據。
統(tǒng)一設置桶的生命周期執(zhí)行時間,可以將執(zhí)行時間設置在數據流量較低的時間段,降低生命周期執(zhí)行對業(yè)務的影響。
6. 傳統(tǒng)SAN納管,降低采購成本
杉巖MOS支持通過將客戶舊有的IP/FC-SAN設備掛載到MOS存儲節(jié)點,通過運維界面一鍵配置,將SAN設備虛擬成MOS的存儲池,將其云化為對象存儲設備,保護客戶歷史投資,降低采購成本。

7. NAS/S3異構技術,降低管理成本
在企業(yè)用戶從使用傳統(tǒng)的文件存儲到使用對象存儲的應用改造過程中,主要有以下幾個步驟:
業(yè)務系統(tǒng)代碼改造——數據遷移——數據校驗——業(yè)務系統(tǒng)停機升級——增量數據遷移與校驗——正式上線。
上述過程中,工作量最大的往往不是業(yè)務系統(tǒng)的代碼改造,而在于數據的遷移與校驗。在數據遷移的過程中,涉及到數據的傳輸,文件數量及內容的校驗,每一項工作都會消耗大量的時間與人力,為業(yè)務的割接上線帶來了許多阻力。
NAS/S3異構技術,實際上就是對象存儲系統(tǒng)對原有NAS/S3進行納管,從而能夠通過對象存儲接口(S3)訪問到NAS/S3中的數據,而無需數據遷移。在業(yè)務上線的過程中,省去了數據遷移與校驗的過程,大大縮短了業(yè)務上線的時間窗口,實現業(yè)務系統(tǒng)的快速切換與上線。
在經濟趨緩的背景下,如何節(jié)省企業(yè)存儲成本,已經成為優(yōu)化企業(yè)IT開支的重要環(huán)節(jié)。杉巖MOS憑借優(yōu)異的產品性能和功能特性,例如重刪及壓縮、數據分級存儲、生命周期清除、傳統(tǒng)NAS納管和NAS/S3異構技術,在幫助企業(yè)提高存儲空間利用率、保護歷史投資、節(jié)省存儲空間和采購成本等方面有著獨特的價值優(yōu)勢。
深耕分布式存儲科技創(chuàng)新,杉巖數據幫助企業(yè)夯實數據底座、挖掘數據價值、釋放數據潛能,助力企業(yè)“降本增效”,從容應對大數據挑戰(zhàn)!