MLPerf? Storage作為全球AI存儲(chǔ)性能評(píng)測(cè)領(lǐng)域的權(quán)威標(biāo)桿,以嚴(yán)格的標(biāo)準(zhǔn)化測(cè)試流程和跨廠(chǎng)商可比性著稱(chēng),本次測(cè)試共有26家業(yè)界主流的廠(chǎng)商參與,其中包括DDN、IBM、焱融、HPE、UBIX、Nutanix等專(zhuān)業(yè)存儲(chǔ)廠(chǎng)商,充分體現(xiàn)了該榜單在全球科技領(lǐng)域的廣泛認(rèn)可度與影響力。
面向Training場(chǎng)景,MLPerf? Storage涵蓋了3D U-Net等負(fù)載用例,聚焦考核GPU利用率及橫向擴(kuò)展能力,同時(shí)強(qiáng)調(diào)存儲(chǔ)與網(wǎng)絡(luò)協(xié)同優(yōu)化,以此驗(yàn)證存儲(chǔ)系統(tǒng)對(duì)大規(guī)模AI集群算力的支撐能力。
此外,本次測(cè)試新增了Checkpointing場(chǎng)景,是首個(gè)測(cè)試大模型訓(xùn)練檢查點(diǎn)性能的行業(yè)標(biāo)準(zhǔn),其聚焦存儲(chǔ)頻繁保存訓(xùn)練狀態(tài)時(shí)的穩(wěn)定性表現(xiàn),可覆蓋大規(guī)模集群斷點(diǎn)續(xù)訓(xùn)、模型存檔等實(shí)際應(yīng)用場(chǎng)景,為集群存儲(chǔ)的選型決策提供了關(guān)鍵參考依據(jù)。
Training場(chǎng)景中,華為以698 GiB/s性能刷新全球記錄
在該測(cè)試中,3D U-Net是對(duì)存儲(chǔ)帶寬要求最高的訓(xùn)練用例。測(cè)試結(jié)果顯示,在保持GPU利用率90%以上的條件下,華為OceanStor A系列存儲(chǔ)以絕對(duì)性能優(yōu)勢(shì),獲得了單存儲(chǔ)設(shè)備、每U存儲(chǔ)設(shè)備及單客戶(hù)端三項(xiàng)指標(biāo)全球第一,其中:
● 單臺(tái)8U雙節(jié)點(diǎn)架構(gòu)的OceanStor A800,可支撐255張H100 GPU訓(xùn)練數(shù)據(jù)吞吐需求,持續(xù)提供698 GiB/s的穩(wěn)定帶寬。
MLPerf? Storage v2.0測(cè)試:3D U-Net單存儲(chǔ)設(shè)備性能排名第一
● 單臺(tái)2U雙節(jié)點(diǎn)架構(gòu)的OceanStor A600,可支撐76張H100 GPU訓(xùn)練場(chǎng)景的吞吐需求,每U帶寬穩(wěn)定達(dá)108 GiB/s,單客戶(hù)端帶寬達(dá)104 GiB/s。
MLPerf? Storage v2.0測(cè)試:3D U-Net每U性能和單客戶(hù)端性能排名第一
Checkpointing場(chǎng)景中,OceanStor A系列存儲(chǔ)性能領(lǐng)先第二名6.7倍
在新增的 Checkpointing工作負(fù)載測(cè)試中,結(jié)果顯示:
● 在Llama3_8b模型訓(xùn)練場(chǎng)景下(單臺(tái)8卡訓(xùn)練服務(wù)器8并發(fā)場(chǎng)景),華為OceanStor A系統(tǒng)存儲(chǔ)單客戶(hù)端支持40.2 GiB/s讀帶寬與20.5 GiB/s寫(xiě)帶寬,排名第一。
● 在Llama3_70b模型訓(xùn)練場(chǎng)景下(單臺(tái)8卡訓(xùn)練服務(wù)器8并發(fā)場(chǎng)景),華為OceanStor A系統(tǒng)存儲(chǔ)單客戶(hù)端68.8 GiB/s讀帶寬與62.4 GiB/s寫(xiě)帶寬,領(lǐng)先第二名6.7倍,排名第一。
MLPerf? Storage v2.0測(cè)試:Checkpointing單客戶(hù)端性能排名第一
華為OceanStor A系列存儲(chǔ)持續(xù)創(chuàng)新,加速大模型應(yīng)用落地
面對(duì)未來(lái)更強(qiáng)勁的GPU卡,華為OceanStor A系列存儲(chǔ)性能可隨客戶(hù)端與存儲(chǔ)節(jié)點(diǎn)數(shù)量線(xiàn)性增長(zhǎng),提供百TB級(jí)穩(wěn)定集群帶寬,為大規(guī)模訓(xùn)練提供更強(qiáng)的數(shù)據(jù)訪(fǎng)問(wèn)能力。同時(shí),華為OceanStor A系列存儲(chǔ)更在多維度展開(kāi)技術(shù)創(chuàng)新:
華為數(shù)據(jù)存儲(chǔ)不僅在性能上持續(xù)深耕并保持領(lǐng)先優(yōu)勢(shì),更在多維度展開(kāi)技術(shù)創(chuàng)新。圍繞大模型訓(xùn)練與推理場(chǎng)景,華為數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)訓(xùn)推全流程的全面加速,具體包括:
? 高擴(kuò)展性:集群支持EB級(jí)容量橫向擴(kuò)展;每個(gè)引擎可支持多GPU、DPU或NPU縱向擴(kuò)展,最大支持?jǐn)U容至4096張算力卡;
? 數(shù)據(jù)韌性:以架構(gòu)創(chuàng)新實(shí)現(xiàn)99.999%高可靠性,通過(guò)內(nèi)置防勒索引擎,實(shí)現(xiàn)偵測(cè)準(zhǔn)確率提升至99.99%;
? 全新數(shù)據(jù)范式:構(gòu)建PB級(jí)KV Cache全局共享資源池,在保證推理精度的同時(shí)首token時(shí)延(TTFT)降低90%,推理吞吐10倍提升,大幅提升客戶(hù)推理體驗(yàn);內(nèi)置RAG知識(shí)庫(kù),支持標(biāo)量、向量、張量、圖等多模式檢索,大幅度降低AI大模型使用門(mén)檻;
? 數(shù)據(jù)編織:基于存儲(chǔ)元數(shù)據(jù)管理及檢索能力,實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視、可管,可實(shí)現(xiàn)10倍的數(shù)據(jù)流動(dòng)效率提升;
? 綠色節(jié)能:通過(guò)存儲(chǔ)介質(zhì)應(yīng)用創(chuàng)新和整機(jī)硬件創(chuàng)新,將推出128TB大容量SSD盤(pán),密度高達(dá)1PB/U,能耗低至0.7Watt/TB。
展望前路,華為OceanStor A系列存儲(chǔ)將持續(xù)深耕,推出面向HPC、AI大模型訓(xùn)/推等場(chǎng)景領(lǐng)先的產(chǎn)品與解決方案,與客戶(hù)共贏全面智能化的未來(lái)。