為了應(yīng)對AI大模型訓(xùn)練對數(shù)據(jù)存儲的需求,天翼云推出并行文件服務(wù)HPFS(CT-HPFS,High Performance File Storage),旨在為AI時代提供高性能存儲底座,助力企業(yè)構(gòu)建基于云資源的、更高效的大型模型訓(xùn)練平臺,實現(xiàn)大模型的連續(xù)訓(xùn)練。天翼云HPFS可通過分布式存儲實現(xiàn)數(shù)據(jù)的并發(fā)讀取,同時提供最高百萬IOPS和百GBPS的吞吐能力,顯著提升了數(shù)據(jù)的讀取速度,從而大大提升GPU卡的利用率,為提升HPC和AI等場景的訓(xùn)練效率賦能。

天翼云HPFS為AI場景的數(shù)據(jù)訓(xùn)練提供高并發(fā)、低延時、高吞吐的存儲解決方案:

高并發(fā),天翼云HPFS在保證文件一致性的前提下,將數(shù)據(jù)分布存儲在多個節(jié)點上,通過分布式鎖機制,實現(xiàn)多客戶端同時對同一文件的不同部分進行讀寫,顯著提升并發(fā)性能,單客戶端的單流IO性能可提升200%以上,并發(fā)訪問同一文件的性能提升300%以上。

低延遲,天翼云HPFS采用 RDMA(Remote Direct Memory Access,遠程直接內(nèi)存訪問)技術(shù),同時支持通過InfiniBand、RoCE和TCP/IP進行數(shù)據(jù)交互,大幅降低了網(wǎng)絡(luò)傳輸?shù)难舆t,提高數(shù)據(jù)傳輸?shù)男?,實現(xiàn)高速互聯(lián)。

高吞吐,天翼云HPFS基于 NVMe 存儲架構(gòu)做出深度優(yōu)化,能夠充分釋放SSD性能,顯著提高了吞吐量等性能表現(xiàn);基于并發(fā)傳輸通道的并行訪問,增強了服務(wù)器處理高并發(fā)請求的能力。更重要的是,隨著節(jié)點規(guī)模的增加,系統(tǒng)性能可實現(xiàn)線性增長。

基于多重優(yōu)勢能力,天翼云HPFS可為自動駕駛、智能客服、工業(yè)制造、基因測序、語音導(dǎo)航、AI訓(xùn)練等場景,提供高性能并行文件存儲底座。

憑借卓越的技術(shù)實力,天翼云HPFS在 “華彩杯”算力應(yīng)用創(chuàng)新大賽中,榮獲一等獎,代表著業(yè)界對天翼云HPFS創(chuàng)新能力的充分肯定。

作為云服務(wù)國家隊,天翼云將繼續(xù)堅持科技創(chuàng)新,以滿足高性能計算場景存儲需求為己任,不斷提升產(chǎn)品的性能和可靠性,為客戶打造高性能存儲底座,持續(xù)為大模型產(chǎn)業(yè)發(fā)展提質(zhì)增速。

分享到

xiesc

相關(guān)推薦