這張公有云存儲的全景示意圖,主要圍繞中心公有云拓展介紹、傳統(tǒng)數(shù)據(jù)中心、混合云等周邊場景,公有云平臺主要從IaaS、PaaS、SaaS三層來看。
在IaaS層,通常提供品類豐富的存儲服務,如典型的塊、文件、對象存儲,同時也會提供HDFS、日志存儲、備份等產(chǎn)品,其中每種存儲通常提供三種以上的不同服務等級的子產(chǎn)品,如塊存儲分為重量型、均衡型、高性能型和超高性能型,滿足不同性能的要求,存儲呈現(xiàn)出從IaaS型服務項PaaS型服務的轉型趨勢,大量的云存儲將作為PaaS一部分被間接消費,對存儲的管理已經(jīng)被PaaS平臺內(nèi)部負責,因此會降低對存儲的管理需求。
PaaS層最普遍的是品類豐富的數(shù)據(jù)庫服務,相比PaaS型存儲,SaaS服務進一步弱化了用戶對存儲的感知,從全球SaaS市場占比來看,國外SaaS市場超過IaaS加PaaS之合,未來可能成為最重要的消費方式。
在傳統(tǒng)數(shù)據(jù)中心,客戶越來越多的希望將具備超大規(guī)模、低成本特點的公有云存儲作為災備歸檔良好的選擇,用于替代老舊的磁帶存儲,通過云存儲網(wǎng)關或者數(shù)據(jù)傳輸服務實現(xiàn)這一要求,進一步公有云廠商直接為客戶提供全套定制的私有云服務,并連通公有云,形成混合云方案,典型的如混合云備份,混合云災備,實現(xiàn)數(shù)據(jù)的跨區(qū)域存儲,混合云存儲陣列提供了一種遠程訪問中心公有云存儲的方式,通過本地緩存、壓縮、加密,配合云專線,能夠實現(xiàn)一定性能下的超大訪問需求。
有時候我們會聽說數(shù)據(jù)引力這一概念,如果數(shù)據(jù)在靠近用戶或者數(shù)據(jù)產(chǎn)生的地方進行存儲和處理,能夠滿足低時延、大帶寬的需要,則催生了邊緣云存儲。很多時候數(shù)據(jù)是不能刪除的,需要保存較長時間甚至是永久存儲,但是計算資源存在突發(fā)的需要,傳統(tǒng)數(shù)據(jù)中心、混合云、邊緣云三種場景均可以在需要時利用公有云的超的規(guī)模和多種類型的算例滿足突發(fā)的需求,自身只需提供一定量的日常需要。
因為數(shù)據(jù)分散在本地、邊緣運、公有云等多處,甚至是多家公有云廠商數(shù)據(jù)的統(tǒng)一管理需求在增加,即面向管理面的軟件定義存儲也迎來了新的機會。
面向應用是云計算3.0云原生階段的基本要求,以對象存儲為例說明軟件定義存儲是如何面向應用進行優(yōu)化,以提供綜合解決方案,簡化應用的開發(fā),助力業(yè)務敏捷。
作為非結構化數(shù)據(jù)存儲的理想方式,對象存儲提供了多樣的數(shù)據(jù)處理功能,如圖片水印、壓縮和轉換等等,視頻禎截取,各種類型的文檔預覽和流媒體等等,另外結合CDN、SD-WAN可以實現(xiàn)訪問的加速,通過臨時授權認證可以支持大量移動端訪問的需求,如短視頻、直播等場景。
談論存儲,性能是無法避開的話題,隨著高速存儲介質和高速網(wǎng)絡的發(fā)展,軟件定義存儲實現(xiàn)高性能已經(jīng)是水到渠成的事情,內(nèi)存及存儲有效拉近了DRAM和SSD的差距,NVMeSSD實現(xiàn)了高性能的同時,成本也在不斷降低,OpenChannel SSD給開發(fā)者提供了更多的想象空間,尤其在性能方面,NVMe-OF技術實現(xiàn)了高速存儲遠程訪問的低延時,當然這些技術的應用需要對現(xiàn)有的操作系統(tǒng)和軟件站進行大量的優(yōu)化和甚至改寫,我們相信未來三到五年,各公有云提供商將會實現(xiàn)端到端的高性能存儲解決方案,支持壓縮、加密的指令集CPU,網(wǎng)絡,SSD等等也在提升軟件定義存儲性能方面的能力。智能網(wǎng)卡在實現(xiàn)網(wǎng)絡卸載的同時,也在實現(xiàn)存儲虛擬化的卸載,解決了性能、安全等問題。
從成本角度來看公有云的存儲設計,大多數(shù)企業(yè)將價格作為選擇公有云的主要考慮因素之一,面向成本優(yōu)化是公有云存儲設計的基本要求,根據(jù)存儲使用報告,節(jié)省費用的行動為可刪除的無用資源中90%以上是不大使用的數(shù)據(jù)快照,55%到90%是選擇合適的存儲大小,綜上,數(shù)據(jù)遷移合適的大小的存儲,消除冗余是實現(xiàn)成本節(jié)省的關鍵。
從技術上看,主要有以下途徑:IT企業(yè)傾向于使用公有云廉價的存儲替代磁帶,實現(xiàn)備份、容災和歸檔存儲,源端數(shù)據(jù)驅重、壓縮可以有效節(jié)省帶寬成本和存儲空間。MSDS,也就是面向管理面的SDS,實現(xiàn)公有云、邊緣運、自有數(shù)據(jù)中心數(shù)據(jù)的統(tǒng)一管理,降低管理成本的同時,通過數(shù)據(jù)分析和可視化手段,可以給出合理的使用建議,有效降低數(shù)據(jù)的冗余度。
價格總是與性能掛鉤,相同的硬件成本提供更好的存儲性能是實現(xiàn)成本壓降的關鍵手段。通過生命周期機制,結合數(shù)據(jù)訪問特點,實現(xiàn)數(shù)據(jù)從標準存儲向低頻或歸檔存儲的流動,可有效降低存儲成本,有趣的是有些存儲廠商實現(xiàn)對象存儲和文件存儲的統(tǒng)一,兩者互轉時僅需要修改源數(shù)據(jù),無需數(shù)據(jù)搬遷,也有效節(jié)省了計算和帶寬資源,一定程度節(jié)省了成本。
通過引AR技術實現(xiàn)自動化智能運維和運營,可有效降低運維和運營成本,常見的方式有進行磁盤的故障預測,存儲擴容的分析,業(yè)務負載和內(nèi)部負載的自動化優(yōu)化調(diào)整。
軟件定義存儲是公有云的關鍵基石
SDS需要具備支撐綜合解決方案的能力,而SDS正是以其軟件定義的靈活性,滿足各種場景,位置,性能,成本的需求。以AR場景為例,典型的AR場景有提取、預處理、模型訓練、推理等關鍵步驟,不同的階段有著不同的需求特點,通過對象存儲,文件存儲,數(shù)據(jù)庫存儲三者結合,可以有效的支撐AR場景工作流,如通過歸檔存儲滿足大規(guī)模、低成本樣本數(shù)據(jù)的存儲,通過變形文件系統(tǒng),滿足高帶寬低時延的數(shù)據(jù)存儲與訪問,通過數(shù)據(jù)庫實現(xiàn)關鍵結構化數(shù)據(jù)存儲。
以混合云為例,通過消息存儲和通知服務提供設備互聯(lián)服務,通過存儲網(wǎng)關混合云陣列實現(xiàn)數(shù)據(jù)流動,通過去重壓縮節(jié)省帶寬,通過加密保證傳輸安全,通過專線SD-WAN實現(xiàn)傳輸加速,中心公有云滿足企業(yè)超大規(guī)模存儲和臨時激增多算力的需求,最后可通過公有云實現(xiàn)數(shù)據(jù)的全球分發(fā)。
—— END ——
原生應用改造的時機已經(jīng)到來!4月28日,行業(yè)云原生技術論壇將在線上舉行,此次DOIT聯(lián)合中國計算機學會存儲專委會、中國電子學會,特邀國內(nèi)外云原生應用的領導企業(yè),共同發(fā)起和推動傳統(tǒng)行業(yè)/企業(yè)云原生應用水平提高,加速完成產(chǎn)業(yè)轉型。
點擊官網(wǎng)了解詳情:http://gensurebio.cn/subject/cloudNative/