配圖由AI生成

然而,就在巨頭們忙于通過并購來鞏固城池的時(shí)候,新的顛覆者已然崛起。它不來自于傳統(tǒng)的存儲陣列戰(zhàn)場,而是從云端、從數(shù)據(jù)架構(gòu)以及存儲介質(zhì)上發(fā)起了挑戰(zhàn)。這些挑戰(zhàn)不僅重塑了數(shù)據(jù)存儲市場,也為即將到來的AI時(shí)代鋪平了道路。

今天,我們就來探討正在重塑存儲格局的三大技術(shù)浪潮,并展望在AI時(shí)代,數(shù)據(jù)存儲產(chǎn)業(yè)的新形態(tài)。

第一,以Amazon S3為代表的云上對象存儲

2006年,亞馬遜云科技(AWS)推出了Amazon S3(簡單存儲服務(wù)),這不僅是一款新產(chǎn)品,也代表了全新的存儲商業(yè)模式。它將對象存儲作為一種按需付費(fèi)的公共服務(wù),從而徹底消除了企業(yè)需要買硬件,還要做復(fù)雜容量規(guī)劃的麻煩。

S3提供了幾乎無限的可擴(kuò)展性,還有高達(dá)11個(gè)9的數(shù)據(jù)持久性,這些特性是任何本地存儲都難以企及的。更重要的是,其每GB的存儲價(jià)格還會(huì)持續(xù)下降,給傳統(tǒng)硬件廠商的利潤率帶來了巨大的壓力。

伴隨著互聯(lián)網(wǎng)技術(shù)和社交媒體的發(fā)展,需要存儲大量圖片和視頻數(shù)據(jù),對象存儲得到了廣泛應(yīng)用。而S3的API迅速成為對象存儲領(lǐng)域事實(shí)上的行業(yè)標(biāo)準(zhǔn),無數(shù)的應(yīng)用程序和第三方云服務(wù)商都構(gòu)建了與S3兼容的服務(wù),形成了一個(gè)強(qiáng)大的生態(tài)效應(yīng)。

面對來自云端的挑戰(zhàn),傳統(tǒng)廠商的反應(yīng)不一。

EMC(現(xiàn)已被戴爾收購)通過打造本地對象存儲(如Atmos和后來的ECS)來與亞馬遜云科技競爭。雖然也支持S3 API,但它缺少公有云的彈性伸縮和按需付費(fèi)的特點(diǎn),還需要大規(guī)模的前期采購,好處是可以部署在企業(yè)本地。

NetApp(國內(nèi)常見于聯(lián)想凌拓)在2010年收購了Bycast公司,然后開發(fā)出了StorageGRID產(chǎn)品線。NetApp沒有與公有云直接對抗,而是將StorageGRID定位為一個(gè)混合云的“數(shù)據(jù)編織”組件,幫助企業(yè)在本地和云之間管理數(shù)據(jù)。

S3的崛起讓人注意到了“數(shù)據(jù)引力”這件事。一旦數(shù)據(jù)被存儲在亞馬遜云科技上,使用它的EC2計(jì)算、RDS數(shù)據(jù)庫以及分析服務(wù)就變得更加方便。這在事實(shí)上形成了一種強(qiáng)大的供應(yīng)商鎖定,傳統(tǒng)硬件廠商不具備類似的能力。

所以,自此以后,競爭的焦點(diǎn)不再是誰能制造出最好的存儲陣列,而是誰能提供最完整、功能集成度更高的云數(shù)據(jù)平臺。

第二,以Snowflake為代表的云數(shù)據(jù)平臺

當(dāng)競爭焦點(diǎn)轉(zhuǎn)向云數(shù)據(jù)平臺時(shí),新的問題出現(xiàn)了。傳統(tǒng)的本地?cái)?shù)據(jù)倉庫以及早期云數(shù)據(jù)倉庫,其架構(gòu)存在存儲和計(jì)算資源緊耦合的問題,導(dǎo)致擴(kuò)展性差、成本高且缺乏彈性。一家叫Snowflake因?yàn)榻鉀Q這一問題而獲得成功。

Snowflake的技術(shù)創(chuàng)新在于其徹底的“存算分離”架構(gòu)。它把可以無限擴(kuò)展的云對象存儲(如Amazon S3)作為其統(tǒng)一的、被動(dòng)的數(shù)據(jù)基石。在此之上,它構(gòu)建了一個(gè)獨(dú)立的、可彈性伸縮的計(jì)算層,由多個(gè)被稱為“虛擬倉庫”的計(jì)算集群組成。

“存算分離”架構(gòu)的優(yōu)勢在于,存儲和計(jì)算可以根據(jù)實(shí)際需求獨(dú)立擴(kuò)展。企業(yè)可以先存儲海量數(shù)據(jù)而只支付極低的存儲費(fèi)用,只有在需要分析時(shí)才啟動(dòng)計(jì)算資源,按照需求啟用資源,按照使用的資源量付費(fèi)。

Snowflake還實(shí)行了工作負(fù)載隔離。不同的業(yè)務(wù)部門或應(yīng)用可以使用獨(dú)立的虛擬倉庫(一個(gè)或多個(gè)計(jì)算節(jié)點(diǎn)的集合),確保關(guān)鍵任務(wù)的性能不會(huì)受到其他并發(fā)任務(wù)的影響。數(shù)據(jù)科學(xué)團(tuán)隊(duì)進(jìn)行大規(guī)模模型訓(xùn)練時(shí),不會(huì)拖慢財(cái)務(wù)部門的實(shí)時(shí)報(bào)表查詢。

Snowflake將數(shù)據(jù)平臺變成了一種按用量付費(fèi)的模式,徹底摒棄了傳統(tǒng)數(shù)據(jù)倉庫的硬件采購和軟件許可,將巨大的資本支出轉(zhuǎn)變?yōu)殪`活的運(yùn)營支出,企業(yè)用戶再也不用為容量規(guī)劃而撓頭了。

Snowflake推動(dòng)了數(shù)據(jù)分析基礎(chǔ)設(shè)施的發(fā)展,迫使整個(gè)行業(yè)重新思考數(shù)據(jù)倉庫的構(gòu)建方式,包括亞馬遜云科技(AWS Redshift RA3)、谷歌(BigQuery)等巨頭在內(nèi),都將存算分離作為現(xiàn)代數(shù)據(jù)平臺的標(biāo)準(zhǔn)架構(gòu)。

第三,以Pure Storage全閃存儲為代表的全閃存存儲

2009年,當(dāng)John Colgrove和John Hayes創(chuàng)立Pure Storage時(shí),企業(yè)存儲市場仍由HDD機(jī)械硬盤主導(dǎo)。他們敏銳地意識到,消費(fèi)級MLC閃存技術(shù)的進(jìn)步,開始讓SSD有了在企業(yè)環(huán)境下用的可能。

當(dāng)時(shí)閃存面臨的最大問題是耐久性。2009年的閃存只能承受約1萬次寫入,遠(yuǎn)遠(yuǎn)不能滿足企業(yè)級需求。Pure Storage設(shè)計(jì)了一套專為閃存介質(zhì)優(yōu)化的塊存儲軟件,通過寫入管理、垃圾回收和數(shù)據(jù)縮減算法,既延長了MLC閃存的壽命,也保證了性能。

除了技術(shù)創(chuàng)新,Pure Storage還顛覆了原有的商業(yè)模式。他們推出了名為“Evergreen Storage”的計(jì)劃,摒棄了傳統(tǒng)廠商沿用已久的,每3到5年需要更換硬件進(jìn)行一次的叉車式升級的模式。

現(xiàn)在,客戶只需支付維護(hù)費(fèi)用,就能獲得持續(xù)的、無中斷的硬件和軟件升級,確保其存儲系統(tǒng)永不過時(shí)。這種簡潔的,而且對客戶體驗(yàn)友好的服務(wù),與傳統(tǒng)存儲廠商復(fù)雜的產(chǎn)品服務(wù),昂貴的升級成本形成了鮮明對比。

Pure Storage作為全閃存領(lǐng)域的代表企業(yè),發(fā)展速度非???,2015年成功上市,在競爭激烈的存儲市場立足。它的成功迫使整個(gè)行業(yè)轉(zhuǎn)向全閃存架構(gòu),也帶動(dòng)競爭企業(yè),包括戴爾和HPE也推出了類似的升級服務(wù)。

結(jié)束語

Amazon S3 改變了存儲的交付與消費(fèi)模式,從購買資產(chǎn)變?yōu)橛嗛喎?wù);Snowflake改變了數(shù)據(jù)的處理與分析架構(gòu),通過“存算分離”釋放了數(shù)據(jù)價(jià)值;Pure Storage改變了性能存儲的底層介質(zhì)與存儲系統(tǒng)服務(wù)模式,讓存儲可以持續(xù)的現(xiàn)代化。

這三股力量共同為AI時(shí)代的到來奠定了基礎(chǔ)。

大模型動(dòng)輒需要PB級的非結(jié)構(gòu)化數(shù)據(jù)做訓(xùn)練,這離不開S3那樣可無限擴(kuò)展的對象存儲數(shù)據(jù)湖。AI訓(xùn)推都需要海量計(jì)算資源,這又與Snowflake“存算分離、彈性計(jì)算”的理念不謀而合。而在數(shù)據(jù)預(yù)處理、模型加載和實(shí)時(shí)推理等環(huán)節(jié),對I/O性能的極致要求,則必須依賴Pure Storage所代表的高性能全閃存存儲。

那么,在AI時(shí)代,新的“Data Domain”和“3PAR”將出現(xiàn)在哪兒?傳統(tǒng)的存儲巨頭又將如何應(yīng)對挑戰(zhàn),續(xù)寫輝煌?

為了共同探討AI時(shí)代的數(shù)據(jù)基礎(chǔ)設(shè)施演進(jìn)、存儲技術(shù)創(chuàng)新、智能應(yīng)用實(shí)踐及未來發(fā)展趨勢,2025年11月18日,以“釋放數(shù)據(jù)潛能,加速智能涌現(xiàn)”為主題的2025中國數(shù)據(jù)與存儲峰會(huì)將于北京舉行,希望能與業(yè)界同仁一起,找到開啟又一個(gè)存儲時(shí)代的鑰匙。

分享到

zhupb

相關(guān)推薦