作為看數(shù)據(jù)存儲更多的媒體,自然免不了聊點略顯枯燥的存儲,為了看起來沒那么枯燥,我盡量找?guī)讉€有意思的說說,不得不說,AWS存儲還是有挺多騷操作的。

降本增效新舉措,自研Amazon Nitro SSD

首先第一個就是發(fā)布關(guān)于Nitro SSD的,亞馬遜云科技大中華區(qū)產(chǎn)品部計算與存儲總監(jiān)周舸在面向中國媒體的有限時間里,也花較多篇幅介紹過閃存產(chǎn)品,新的Nitro SSD。此前我們也單獨聊過。

AWS自研SSD一方面在于可以更可控地輸出一致性能,更大的意義就是掌握了NAND SSD Firmware固件自由更新的權(quán)利,此次發(fā)布,意味著AWS對基礎(chǔ)架構(gòu)的掌控力進一步提升。

其實,SSD根據(jù)使用場景不同,對性能和成本的優(yōu)化空間很大,也能帶來降本增效的效果。比如,有一些云廠商通過極致的操作可以省下OP的空間,也有的云廠商開始使用更具經(jīng)濟性的QLC NAND,更細致的操作還有很多。

總之,SSD的技術(shù)創(chuàng)新對于云廠商也非常重要。AWS不是第一家自研SSD的云廠商,也不會是最后一家。

磁帶數(shù)據(jù)也能快遞上云了——Amazon Snowball Edge

大家對于AWS的硬件都格外關(guān)注,比如1U和2U的Amazon Outposts就很吸引眼球,Snow家族,包括Snowball,Snowmobile,Snowball Edge,Snowcone都是物理數(shù)據(jù)搬遷服務(wù),Snowball Edge支持把數(shù)據(jù)從磁帶里遷移到AWS數(shù)據(jù)中心里的S3上。

連磁帶歸檔都照顧到了,AWS為所有可能上云的數(shù)據(jù)都打開了大門。磁帶數(shù)據(jù)上云后,存在Amazon S3 Glacier上,企業(yè)仍可以沿用原來基于磁帶的數(shù)據(jù)備份和恢復(fù)工作流程,因為,它能在AWS的存儲網(wǎng)關(guān)上來創(chuàng)建虛擬磁帶庫,能照顧用戶原有的使用習(xí)慣。

Snow家族的遷移服務(wù)目前只在部分區(qū)域可用,在中國市場也特別值得期待,因為中國快遞物流的效率比較高,可能實際用戶體驗會比美國本土更好,這可能是極少數(shù)落地能中國水土更服的云服務(wù)了。

值得一提的是,Snow家族的遷移不只是從本地遷移到AWS數(shù)據(jù)中心,也能反向交還數(shù)據(jù),這是容易被忽視,被用戶擔(dān)心的點,用戶可以放心,云上的數(shù)據(jù)不會隨便被風(fēng)吹跑。

對象存儲Amazon S3:歸檔存儲層也支持立即訪問

Amazon S3 Glacier是著名的云上低成本歸檔存儲,歸檔存儲就像是擺在書架最高最里面的那排書,可能幾年都不會拿出來看一次的那種,想拿出來看一次也需要等很長時間,原來的S3 Glacier的數(shù)據(jù)訪問時間大概是幾分鐘到幾小時之間。

而S3 Glacier Instant Retrieval存儲層級要做的是那種既能低成本地做歸檔,同時,也能毫秒級響應(yīng)的這種特別的場景,它是S3的一個新的存儲層級,它利用了S3智能分層技術(shù),它能降低存儲成本,它為歸檔存儲提供了立即訪問的能力。

它的延遲和帶寬性能表現(xiàn)與標(biāo)準(zhǔn)的S3和S3 標(biāo)準(zhǔn)IA(不經(jīng)常訪問)存儲層級一樣,而且,與S3 標(biāo)準(zhǔn)IA相比,S3 Glacier Instant Retrieval能最多節(jié)省68%的成本。

新老用戶都可以直接使用新的存儲層級。新上傳的對象可以直接選這一層,而原來S3里的對象可以轉(zhuǎn)向S3 Glacier Instant Retrieval,隨后,自動分層技術(shù)會自動幫用戶在層級間遷移數(shù)據(jù)。

AWS表示,S3 Glacier Instant Retrieval適用于那些有不可預(yù)測訪問模型和不斷變化訪問模型的場景,比如數(shù)據(jù)湖、數(shù)據(jù)分析等場景。

文件存儲Amazon FSx的新功能

第一個更新關(guān)于Amazon FSx for Lustre,它支持讓用戶本地文件系統(tǒng)與S3對象存儲進行雙向數(shù)據(jù)同步,把S3桶與本地文件存儲關(guān)聯(lián)后,F(xiàn)Sx for Lustre能讓系統(tǒng)把S3當(dāng)成文件存儲來用,把數(shù)據(jù)直接寫到S3里。

有許多應(yīng)用的工作負載都需要不同的存儲類型,S3對象存儲適合用來做數(shù)據(jù)轉(zhuǎn)換、準(zhǔn)備或?qū)?導(dǎo)出任務(wù),而有些則需要用POSIX文件系統(tǒng)的方式來訪問數(shù)據(jù),而Amazon FSx for Lustre可以讓存儲在S3上的對象與Lustre文件系統(tǒng)同步,滿足多樣存儲需求。

第二個,Amazon FSx家族新增了OpenZFS文件系統(tǒng),OpenZFS是又一個比較流行的文件存儲系統(tǒng),OpenZFS有幾個功能特性非常吸引人:透明壓縮、持續(xù)完整性驗證、快照和寫時復(fù)制。

FSx for OpenZFS是運行在Graviton處理器之上,支持行業(yè)標(biāo)準(zhǔn)的NFS協(xié)議和NFS的一些高級特性,OpenZFS的性能不錯,支持最高達100的IOPS,延遲為100-200微秒之間,高達12 GB/s的壓縮傳輸帶寬。

適用于對存儲要求比較高的場景,比如機器學(xué)習(xí)、EDA(電子設(shè)計自動化)、媒體處理、財務(wù)分析、代碼存儲庫、DevOps 和 Web 內(nèi)容管理工作負載等場景。

AWS數(shù)據(jù)保護方案Amazon Backup宣布支持S3和VMware

Amazon Backup是AWS的云上數(shù)據(jù)保護解決方案,這是一個全托管、基于策略的服務(wù),可以跨多個云服務(wù)對應(yīng)用數(shù)據(jù)進行集中化的備份和恢復(fù)操作。

目前支持包括AmazonEC2、 Amazon EBS、 Amazon RDS、 Amazon DynamoDB、 Amazon Neptune數(shù)據(jù)庫、 Amazon EFS、 Amazon FSx、AWS存儲網(wǎng)關(guān)等十二個AWS云服務(wù)。

Amazon Backup最新添加了對于S3的支持,也就是Amazon Backup for S3,它的意義在于,不僅能跨多種服務(wù)進行集中備份和恢復(fù),還能滿足用戶對于備份合規(guī)性的要求。

AWS Backup for S3支持連續(xù)的基于時間點的備份,也支持定期備份操作,第一次備份是全量備份,后續(xù)都是增量備份,如果發(fā)生中斷時候,則可以從備份中挑一個來進行恢復(fù),可以恢復(fù)到原來的S3桶里,也可以恢復(fù)到新的桶里。

AWS Backup是AWS近幾年新推出的服務(wù),AWS Backup的操作邏輯與原來本地的數(shù)據(jù)備份和恢復(fù)方案基本一致,目前AWS Backup for S3還處于預(yù)覽版狀態(tài)。

虛擬機備份是數(shù)據(jù)保護系統(tǒng)的一個非常重要的方面。AWS發(fā)布的還有AWS Backup for VMware 和 VMware Cloud on AWS,支持對VMware本地虛擬機和運行在AWS云上的VMware虛擬機進行備份。

AWS的數(shù)據(jù)保護方案基本成型。

塊存儲Amazon EBS的新功能

第一個是EBS快照功能,創(chuàng)建快照簡單,刪除也簡單,一不小心刪除之后想要恢復(fù)可就難了,為了給用戶一次后悔的機會,EBS加入了快照回收站。

第二個是EBS快照歸檔功能,出于安全和合規(guī)性的要求,經(jīng)常需要會給EBS做很多快照并長期保存這些快照,快照歸檔功能可以把快照歸檔到Amazon Glacier上來降低成本。

結(jié)束語:

以上就是AWS在re:Invent 期間發(fā)布的關(guān)于存儲產(chǎn)品的動向,存儲作為基礎(chǔ)服務(wù)仍在不斷延展,雖然看著不如Graviton那么吸引眼球,但也非常非常重要。

2021年上半年,關(guān)于《AWS已經(jīng)成了全球最大的存儲公司》的說法引起了不小轟動,如果把AWS看成一家大型存儲公司,也不是不行。

過去幾年來,AWS存儲在服務(wù)類型以及性能方面不斷提升,隨著數(shù)據(jù)保護方案的加入,基本補充了AWS在數(shù)據(jù)存儲領(lǐng)域的最后一塊短板,本地存儲能做到的,云端存儲基本都能做到了。

分享到

zhupb

相關(guān)推薦