如果說遼沈戰(zhàn)役是三大戰(zhàn)役的關鍵,那么錦州之戰(zhàn)則是遼沈戰(zhàn)役的重中之重。如今,數(shù)據(jù)創(chuàng)新時代決戰(zhàn),關鍵在于數(shù)據(jù);而數(shù)據(jù)的關鍵在于海量數(shù)據(jù)存儲和處理,其中的關鍵又在于冷數(shù)據(jù)。類似錦州戰(zhàn)役重要意義,需要對冷數(shù)據(jù)給予高度重視。

冷數(shù)據(jù)存儲和處理真有如此重要意義嗎?

冷數(shù)據(jù)的“熱”時代

根據(jù)IDC預測,全球年新增數(shù)據(jù)量2023年將超過100個ZB, 2025年將高達達175ZB。以視頻行業(yè)為例,一個1080P高清視頻攝像頭,一天將產(chǎn)生45GB數(shù)據(jù);一個視頻網(wǎng)站,每天所產(chǎn)生數(shù)據(jù)量可達TB以上;在醫(yī)療衛(wèi)生領域,每個基因測序DNA樣本數(shù)據(jù)為560GB,中國每年有1800多萬癌癥病例,如果全部使用基因分析技術,每年就會產(chǎn)生10PB數(shù)據(jù)。此外,全國有3萬多家醫(yī)院,一家三甲醫(yī)院每年會產(chǎn)生20TB左右的影像數(shù)據(jù),數(shù)據(jù)爆炸式增長之勢令人驚嘆,隨之而來的是前所未有的數(shù)據(jù)存儲成本支出,根據(jù)計算,采用目前市場主流8TB硬盤,存儲175ZB數(shù)據(jù)則需要230多億塊,每塊硬盤按照單價1300元計算,總計需要30萬億元,大約相當于2019年中國GDP三分之一。

在如此嚴峻形式下,大量數(shù)據(jù)顯然沒有辦法得到有效保存。有數(shù)據(jù)表明,當2025年全球新增數(shù)據(jù)量達到175ZB時,真正能存儲下來的數(shù)據(jù)僅有15ZB左右,流失率超過91%,即使存儲下來的數(shù)據(jù),得到有效處理和分析的數(shù)據(jù)占比并不高,其中最主要的原因還是計算和存儲所需要的成本

降伏成本惡魔至關重要。

作為全球知名的硬盤廠商,西部數(shù)據(jù)將海量數(shù)據(jù)分為:快數(shù)據(jù)、大數(shù)據(jù)兩種類型,其中,快數(shù)據(jù)又分為熱數(shù)據(jù)和溫數(shù)據(jù);大數(shù)據(jù)分為冷數(shù)據(jù)和極冷數(shù)據(jù)。從占比看,快數(shù)據(jù)的占比在20%左右,其余80%的數(shù)據(jù)屬于冷數(shù)據(jù)范疇。其中,快數(shù)據(jù)又稱結構化數(shù)據(jù),具有很高數(shù)據(jù)價值,以往以數(shù)據(jù)庫處理為主;與之相比,非結構化數(shù)據(jù)屬于價值密度比較低的數(shù)據(jù),以社交數(shù)據(jù)、機器數(shù)據(jù)為主,以往多屬于被丟棄的數(shù)據(jù),但是隨著計算能力提升,低價值密度的結構化數(shù)據(jù)處理成為了可能,從而社會迎來了數(shù)據(jù)創(chuàng)新時代。

西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務總經(jīng)理劉鋼表示:“如今,云服務提供商和系統(tǒng)集成商有一個共同點:它們都需要一種多層存儲策略,利用多種技術管理寶貴數(shù)據(jù)的爆炸式增長和大量工作負載。西部數(shù)據(jù)開發(fā)、制造, 銷售的內(nèi)容包含了從NAND、固態(tài)硬盤、硬盤和平臺在內(nèi)的一系列品類。西部數(shù)據(jù)完整的數(shù)據(jù)存儲解決方案為當下蓬勃發(fā)展的數(shù)據(jù)需求提供針對性能、容量、總體擁有成本的優(yōu)化存儲選擇,幫助我們的客戶有效應對他們的數(shù)據(jù)基礎架構挑戰(zhàn)?!?/p>

數(shù)據(jù)創(chuàng)新時代首要解決的就是海量非結構化數(shù)據(jù),滿足不了數(shù)據(jù)存儲的需求,數(shù)據(jù)創(chuàng)新就無從說起。受數(shù)據(jù)規(guī)模和成本限制,沒有辦法沿用傳統(tǒng)數(shù)據(jù)存儲手段,海量數(shù)據(jù)存儲需要走出一條新路,為此,分層存儲應運而生。

有容乃大,先進技術滿足大數(shù)據(jù)存儲需求

從技術的角度看,海量數(shù)據(jù)爆炸式增長帶來的需求,一是容量的需求,要求足夠存儲空間;二是性能的需求,因為存儲不是目的,數(shù)據(jù)創(chuàng)新才是目的,數(shù)據(jù)創(chuàng)新對于存儲有傳輸性能的需求,所謂近線存儲,綜合考量,大容量磁盤才是最佳選擇,磁帶、光盤很難滿足需求。

為了追逐大容量,以西部數(shù)據(jù)為首的磁盤廠商在技術上無所不用其極。

首先是HelioSeal氦氣密封技術。相比于空氣,氦氣密度僅為空氣1/7,對于高速旋轉(zhuǎn)磁盤盤片而言,意味著更低的旋轉(zhuǎn)阻力,以及更小的盤片抖動,如此就能夠在有限空間內(nèi),將盤片從9片增加到10片,提供更高的存儲容量,同時也能帶來功耗節(jié)省。

與氦氣制造技術不同,疊瓦式磁記錄(SMR 磁盤)能量輔助磁記錄(EAMR)技術是從磁盤盤片磁道距離和磁密度方面進行挖潛。其中,SMR允許磁性位區(qū)域與相鄰磁道重疊,就像木瓦重疊一樣,從而增加磁盤磁道的密度,以此來提高磁盤表面的位密度。相比,EAMR是在寫入磁頭的主極施加電流,使之產(chǎn)生額外的磁場,以此來增加提升磁盤磁道的面密度。此外,還有微波輔助磁記錄(MAMR)硬盤能夠比熱輔助磁記錄(HAMR)等創(chuàng)新技術。其中,SMR、EAMR等氦氣硬盤技術較為成熟,產(chǎn)品已經(jīng)投放市場,以西部數(shù)據(jù)為例,已經(jīng)交付了五代采用氦氣密封技術的硬盤,數(shù)量超過5000萬件;到2024年,SMR HDD的出貨將占所有EB出貨量的50%。

從實際效果來看,CMR氦氣硬盤,以西部數(shù)據(jù)Ultrastar DC HC550為例,磁盤容量能夠達到16TB和18TB,Datto、DDN和Dropbox等國外用戶已經(jīng)率先使用了該大容量的硬盤。如果進一步使用SMR技術,以西部數(shù)據(jù)Ultrastar DC HC650為例,磁盤容量可以進一步達到20TB。

揚長避短,物盡其用

單位存儲密度的大幅度提升,為海量數(shù)據(jù)存儲和處理創(chuàng)造了條件,以8月6日,UCloud最新發(fā)布的新一代歸檔存儲產(chǎn)品為例,相較標準存儲,新產(chǎn)品能夠降低近80%存儲成本,能夠為用戶提供低至0.024元GB/月的冷數(shù)據(jù)存儲解決方案,此外,UCoud 在兼容SMR、CMR盤、雙活高可用、上下電的IO調(diào)度、EC的靈活配置和磁盤故障自動化等技術上下足了功夫,在提供高可靠、大容量存儲的同時,兼顧TCO的需要。

新技術在帶來競爭優(yōu)勢的同時,也會帶來一些技術上的限制。以SMR為例,磁性位區(qū)域與相鄰磁道重疊,硬盤寫入數(shù)據(jù)時,要先把所要改寫磁道的數(shù)據(jù)緩存起來,一邊要寫當前磁道的數(shù)據(jù),還要將后面磁道的數(shù)據(jù)糾正,這就需要大緩存配置,即使如此也避免不了寫入性能的降低。

因此對于SMR磁盤存儲而言,應該盡可能減少頻繁的數(shù)據(jù)擦寫,最佳的存儲方式就是順序?qū)懭?,讓生命周期相同的?shù)據(jù)處于相同的磁盤分區(qū);減少不同生命周期、不同存取熱度的數(shù)據(jù)的混雜。為此,西部數(shù)據(jù)對外發(fā)布了分區(qū)存儲技術(Zoned Storage),并對外發(fā)布了libZBC、libZNS共享庫以及開發(fā)工具,支持文件系統(tǒng)和內(nèi)核模塊設計,這些技術已經(jīng)對外開源,并得到了SUSE、ATTO、Microchip、Broadcom等廠商的響應,UCloud最新一代歸檔存儲產(chǎn)品在自研的基礎上,很好兼顧了分區(qū)存儲技術的要求。

但是疑問在于:與大容量CMR磁盤相比,SMR磁盤容量僅從18TB提升到20TB,僅為2TB提升,還需要克服寫入限制,值得為此大動干戈嗎?

答案是:不要小看這2TB容量的提升。我們知道,單位TB價格( $/TB)只是現(xiàn)代云數(shù)據(jù)中心考量的一個維度,相比TCO 的降低并不限于降低 $/TB。每個硬盤的容量越大,服務器擁有儲存容量越大,例如從14TB遷移到18TB呈現(xiàn)出顯著的TCO收益:服務器減少了22%;TCO降低了11%。

鑒于數(shù)據(jù)中心占用空間有限,通過更高磁盤容量進行更密集的存儲部署,顯然可以帶來更多的收入節(jié)省。存儲服務器的成本通常要求控制在數(shù)據(jù)中心總體運營成本的60%以內(nèi)。而實際上,更高容量的磁盤可以更有效地平衡這一需求

小結

冷數(shù)據(jù)占比海量數(shù)據(jù)的80%,不僅如此,UCloud研究發(fā)現(xiàn),隨著時間推移,大概6個月左右,各類數(shù)據(jù)訪問量都會由熱至溫,由溫至冷,如果這些數(shù)據(jù)始終保持在生產(chǎn)系統(tǒng)中,勢必付出高昂的代價。為此,有效處理冷數(shù)據(jù)存儲意義重大!

拿下“錦州”,冷存儲事關全局,牽一發(fā)動全身!十萬火急!

分享到

songjy

相關推薦