此外，賽迪發(fā)布的《2024中國(guó)分布式存儲(chǔ)市場(chǎng)研究報(bào)告》也顯示，曙光存儲(chǔ)在中國(guó)AI存儲(chǔ)市場(chǎng)的領(lǐng)先地位得到鞏固，市場(chǎng)占有率顯著提升。國(guó)家信息中心發(fā)布的《智能算力產(chǎn)業(yè)發(fā)展白皮書》中特別推介了曙光存儲(chǔ)的“智存”產(chǎn)品，指出產(chǎn)品專為人工智能特定場(chǎng)景設(shè)計(jì)，能夠幫助企業(yè)用戶有效地利用其數(shù)據(jù)資產(chǎn)推動(dòng)智能轉(zhuǎn)型和創(chuàng)新。

存儲(chǔ)加速如何提升AI整體表現(xiàn)？

曙光存儲(chǔ)的技術(shù)實(shí)力在AI領(lǐng)域的應(yīng)用中得到了充分展示，尤其是在支持復(fù)雜模型訓(xùn)練和加速研發(fā)進(jìn)程方面表現(xiàn)卓越。以下兩個(gè)實(shí)際案例深入說明了曙光存儲(chǔ)解決方案如何為用戶提供支持。

第一個(gè)案例是智元機(jī)器人。智元機(jī)器人致力于開發(fā)下一代通用機(jī)器人，專注于智能制造和科研領(lǐng)域的應(yīng)用。2023年智元機(jī)器人僅用時(shí)半年，即推出首款名為“遠(yuǎn)征A1”的人形智能機(jī)器人，算力高達(dá)200TOPS。而就在近期，智元機(jī)器人更是一口氣發(fā)布“遠(yuǎn)征”與“靈犀”兩大家族共計(jì)五款商用人形機(jī)器人新品，并在多個(gè)場(chǎng)景開啟商用量產(chǎn)，驚人速度震撼業(yè)內(nèi)。

在如此快速迭代的背后，除了算力與算法平臺(tái)的支撐，更少不了“先進(jìn)存力”的加持。智元機(jī)器人共部署了2套曙光分布式存儲(chǔ)系統(tǒng)——1套IPB可用全閃分布式系統(tǒng)，可提供超過500GB/s的讀帶寬，極大優(yōu)化了AI模型訓(xùn)練速度；1套2.7PB分布式對(duì)象存儲(chǔ)，單桶/單節(jié)點(diǎn)5W IOPS/OPS 10GB性能可實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的高速存儲(chǔ)與歸檔。

整個(gè)訓(xùn)推過程中，除憑借快訓(xùn)練、快歸檔等優(yōu)勢(shì)，曙光存儲(chǔ)不僅加速了智元機(jī)器人的研發(fā)進(jìn)程，還顯著降低了整體的運(yùn)營(yíng)成本。此外，曙光存儲(chǔ)在智元項(xiàng)目中還特別強(qiáng)調(diào)智能運(yùn)維和故障預(yù)測(cè)功能，利用AI技術(shù)提前識(shí)別潛在故障，允許維護(hù)團(tuán)隊(duì)提前響應(yīng)，極大地減少了系統(tǒng)中斷的風(fēng)險(xiǎn)，提高了業(yè)務(wù)連續(xù)性。

還有用戶體驗(yàn)方面。通過智能調(diào)度和資源優(yōu)化，智元機(jī)器人在執(zhí)行多任務(wù)時(shí)能保持高效率，提供流暢的用戶交互體驗(yàn)。這種預(yù)測(cè)性維護(hù)和高度自動(dòng)化的運(yùn)維策略不僅增強(qiáng)了系統(tǒng)的穩(wěn)定性，還確保了機(jī)器人在前端的最佳性能表現(xiàn)。

另一個(gè)案例是某頭部大模型廠商。曙光存儲(chǔ)提供了全閃存節(jié)點(diǎn)來支持其大規(guī)模的AI模型訓(xùn)練。這些節(jié)點(diǎn)配置了高性能的存儲(chǔ)系統(tǒng)，配合使用PyTorch編譯環(huán)境，特別針對(duì)客戶需求對(duì)編譯時(shí)間的敏感需求進(jìn)行了優(yōu)化。通過這種定制化的解決方案，曙光存儲(chǔ)不僅顯著縮短了編譯過程，而且滿足了客戶要求的120萬(wàn)IOPS的高性能需求，保證客戶能夠進(jìn)行高效率的模型訓(xùn)練和開發(fā)，大幅提高了開發(fā)流程的效率，支持客戶在AI技術(shù)研究和產(chǎn)品開發(fā)方面保持行業(yè)領(lǐng)先。

全路徑加速AI

曙光存儲(chǔ)推出的ParaStor分布式全閃存儲(chǔ)，單個(gè)節(jié)點(diǎn)能提供高達(dá)150GB/s的帶寬，每秒鐘能夠處理高達(dá)320萬(wàn)個(gè)I/O請(qǐng)求，在助力AI應(yīng)用方面能夠加速整體表現(xiàn)提升超過20倍，這來自于曙光存儲(chǔ)最強(qiáng)的數(shù)據(jù)底座與最佳的AI應(yīng)用加速套件。

曙光的AI應(yīng)用加速套件通過五層加速技術(shù)來極大縮短AI應(yīng)用中的I/O流程，使得處理速度大幅提升，具體包括：

1.  本地內(nèi)存加速：通過將熱點(diǎn)數(shù)據(jù)緩存至計(jì)算節(jié)點(diǎn)的CPU內(nèi)存中，利用內(nèi)存的低延遲特性加速數(shù)據(jù)訪問，延時(shí)降至納秒級(jí)別。

2.  Burst Buffer層級(jí)：進(jìn)一步利用GPU服務(wù)器本地的NVMe盤存儲(chǔ)關(guān)鍵數(shù)據(jù)，減少數(shù)據(jù)跨網(wǎng)絡(luò)訪問的需求，提高了數(shù)據(jù)處理的局部性和速度。

3.  網(wǎng)絡(luò)層加速：使用RDMA或RoCE技術(shù)優(yōu)化網(wǎng)絡(luò)帶寬利用率，保證網(wǎng)絡(luò)層不成為性能瓶頸。

4.  存儲(chǔ)層加速：全面發(fā)揮NVMe全閃存的高性能特點(diǎn)，提高數(shù)據(jù)存儲(chǔ)和訪問的速度。

5.  XDS智能加速：通過如XDS技術(shù)，允許GPU直接訪問存儲(chǔ)系統(tǒng)，減少CPU介入，降低延遲，提升效率。

最強(qiáng)的數(shù)據(jù)底座：該策略旨在充分發(fā)揮硬件的極致性能。尤其是在硬件優(yōu)化方面，ParaStor整合了最新的高速網(wǎng)絡(luò)技術(shù)與NVMe SSD閃存介質(zhì)，確保數(shù)據(jù)傳輸和存儲(chǔ)速度的最大化。例如，使用400G NDR IB卡或RoCE網(wǎng)絡(luò)技術(shù)，配合U.2 SSD，實(shí)現(xiàn)了高速網(wǎng)絡(luò)與存儲(chǔ)介質(zhì)的完美配合。

安全，AI數(shù)據(jù)存儲(chǔ)的底線

石靜在近期的一次專訪中深入分析了當(dāng)前的大模型趨勢(shì)，也指出，許多企業(yè)已不再?gòu)念^開始構(gòu)建大模型，而是選擇使用已經(jīng)訓(xùn)練好的基礎(chǔ)或通用大模型，并根據(jù)自己的應(yīng)用需求進(jìn)行調(diào)整，形成專為特定行業(yè)設(shè)計(jì)的模型。在這個(gè)過程中，存儲(chǔ)系統(tǒng)的靈活性、性能優(yōu)化，以及數(shù)據(jù)安全性對(duì)提升業(yè)務(wù)效率起到了關(guān)鍵作用。

比如，曙光存儲(chǔ)最初幫助用戶構(gòu)建存儲(chǔ)資源池承載各類應(yīng)用，之后隨著業(yè)務(wù)的擴(kuò)展，發(fā)現(xiàn)通過調(diào)整存儲(chǔ)系統(tǒng)來適應(yīng)不同應(yīng)用的具體需求，可以顯著提升性能。于是曙光存儲(chǔ)分析了用戶應(yīng)用的I/O特性，包括文件大小、訪問模式（隨機(jī)或順序）及I/O塊的大小，并據(jù)此調(diào)整存儲(chǔ)參數(shù)，使得不同應(yīng)用的運(yùn)行效率得到了幾倍的提升。不僅優(yōu)化了客戶的業(yè)務(wù)流程，也極大地縮短了項(xiàng)目的上線時(shí)間，展現(xiàn)出曙光存儲(chǔ)解決方案的實(shí)際價(jià)值。

另一個(gè)案例是在自動(dòng)駕駛領(lǐng)域。數(shù)據(jù)處理過程中，必須精確控制哪些信息可以被保留和使用，例如車牌和軌跡坐標(biāo)信息，并且要對(duì)涉及普通公眾的敏感信息進(jìn)行合規(guī)處理。

曙光存儲(chǔ)系統(tǒng)提供高效地?cái)?shù)據(jù)安全管理功能，能夠與客戶的數(shù)據(jù)安全策略對(duì)接，確保數(shù)據(jù)的安全性和訪問權(quán)限的嚴(yán)格控制。同時(shí)通過整合存儲(chǔ)賬戶管理權(quán)限與客戶的賬戶權(quán)限體系，確保數(shù)據(jù)處理的合規(guī)性和安全性。

最后

隨著AIGC技術(shù)的持續(xù)進(jìn)步和企業(yè)對(duì)高效AI解決方案的需求日益增加，曙光存儲(chǔ)的技術(shù)創(chuàng)新和市場(chǎng)應(yīng)用將繼續(xù)為用戶提供價(jià)值，推動(dòng)AI技術(shù)的商業(yè)化和實(shí)際應(yīng)用。這不僅加強(qiáng)了企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力，也為整個(gè)行業(yè)的技術(shù)進(jìn)步和創(chuàng)新發(fā)展作出了重要貢獻(xiàn)。

崔歡歡