2022年,全球生成式AI市場(chǎng)規(guī)模為101.4億美元,預(yù)計(jì)到2030年將達(dá)到1159億美元,復(fù)合年增長(zhǎng)率 (CAGR) 為35.6%。
但不論AI應(yīng)用如何發(fā)展,都要依賴于大量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的“投喂”。因此,生成式AI模型會(huì)生成大量文本、圖像、視頻等。簡(jiǎn)單來(lái)說(shuō),數(shù)據(jù)分析處理千兆字節(jié)的信息,機(jī)器學(xué)習(xí)將數(shù)據(jù)分析推向PB級(jí)(1PB約為5000億頁(yè)標(biāo)準(zhǔn)輸入文本),而生成式AI則把數(shù)字拉到了數(shù)百PB甚至更多。
AI對(duì)存儲(chǔ)的需求也在不斷變化。存儲(chǔ)廠商開(kāi)始對(duì)AI需求劃分優(yōu)先級(jí),要容量,要性能,要數(shù)據(jù)傳輸速度,還有AIOps等等。比如:
1、推動(dòng)DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)市場(chǎng)發(fā)展。AI訓(xùn)練和推理過(guò)程中需要頻繁訪問(wèn)和處理數(shù)據(jù),對(duì)內(nèi)存容量和帶寬提出了更高要求。
隨著半導(dǎo)體技術(shù)的不斷發(fā)展,DRAM的制程技術(shù)快速發(fā)展。目前如三星、海力士和美光等已經(jīng)進(jìn)入1Znm(10-14nm)制程,并預(yù)計(jì)將進(jìn)一步縮小至1αnm(10nm以下)制程。這將顯著提升DRAM的存儲(chǔ)密度和性能,同時(shí)降低功耗和成本。DDR5作為DRAM的新一代標(biāo)準(zhǔn),已經(jīng)開(kāi)始在市場(chǎng)上廣泛應(yīng)用。
2、還有隨著AI模型對(duì)數(shù)據(jù)傳輸速度的要求提高,PCIe接口也在不斷迭代。PCIe 5.0和即將到來(lái)的PCIe 6.0提供了更高的數(shù)據(jù)傳輸速率來(lái)滿足AI應(yīng)用的需求。例如,PCIe 5.0的接口帶寬性能在某些應(yīng)用中已經(jīng)可以翻倍,滿足AI對(duì)高帶寬的需求。目前,市場(chǎng)上的主流廠商們已經(jīng)在發(fā)售PCIe 5.0 SSD。
3、推動(dòng)CXL技術(shù)發(fā)展。CXL通過(guò)提供高帶寬、低延遲的連接,優(yōu)化數(shù)據(jù)中心內(nèi)存,使其能夠更好地適應(yīng)AI時(shí)代的需求。生成式AI模型的應(yīng)用不斷發(fā)展,對(duì)計(jì)算資源有著巨大的需求,尤其是在訓(xùn)練和推理過(guò)程中。CXL技術(shù)通過(guò)實(shí)現(xiàn)CPU和加速器之間的內(nèi)存資源共享,推動(dòng)異構(gòu)計(jì)算的普及,提高AI模型訓(xùn)練和推理的速度。
4、還有QLC(四層單元)和TLC(三層單元)NAND閃存因其較高的存儲(chǔ)密度和相對(duì)較低的成本,成為生成式AI應(yīng)用的理想選擇。QLC NAND市場(chǎng)規(guī)模預(yù)計(jì)將從2023年的12.9%增長(zhǎng)到2027年的46.4%,接近TLC NAND的市場(chǎng)份額 。QLC NAND提供的更大容量密度使其在企業(yè)級(jí)SSD市場(chǎng)中尤為受歡迎,尤其是在需要大量數(shù)據(jù)存儲(chǔ)的AI服務(wù)器環(huán)境中。
5、云文件服務(wù)也來(lái)活了,服務(wù)商們用存儲(chǔ)在云上的數(shù)據(jù)集來(lái)投喂大模型,但數(shù)據(jù)需要從其底層對(duì)象庫(kù)實(shí)現(xiàn)更快地訪存,類(lèi)似AWS、Azure和谷歌用類(lèi)似 GPUDirect的方式把數(shù)據(jù)從S3和Azure Blob存儲(chǔ)傳送到GPU實(shí)例里。
6、數(shù)據(jù)保護(hù)和安全方面,連接聊天機(jī)器人接口到企業(yè)設(shè)備使用時(shí)要保護(hù)數(shù)據(jù)集和識(shí)別漏洞。特定領(lǐng)域的聊天機(jī)器人可以檢查組織的攻擊面并確定保護(hù)它的操作。
一些安全廠商已經(jīng)開(kāi)始通過(guò)聊天機(jī)器人等AI技術(shù)讓它們更有效地檢測(cè)和響應(yīng)惡意軟件及處理用戶交互。
總之,AI的興起正在推動(dòng)存儲(chǔ)市場(chǎng)的發(fā)展,同時(shí)也促使存儲(chǔ)技術(shù)不斷創(chuàng)新以滿足AI應(yīng)用的需求。隨著AI技術(shù)的不斷進(jìn)步,我們可以預(yù)見(jiàn)存儲(chǔ)市場(chǎng)將繼續(xù)擴(kuò)大,為AI應(yīng)用提供更強(qiáng)大的支持。2024年11月8日,歡迎大家來(lái)到北京,來(lái)到中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì)現(xiàn)場(chǎng),走進(jìn)AI+存儲(chǔ)協(xié)同發(fā)展論壇,了解更多關(guān)于AI與存儲(chǔ)的新變化。