他指出,隨著技術(shù)節(jié)點(diǎn)和設(shè)計(jì)復(fù)雜度的增加,存儲(chǔ)和算力需求急劇增長(zhǎng)。大型設(shè)計(jì)項(xiàng)目動(dòng)輒需占用數(shù)PB級(jí)的存儲(chǔ)空間,而算力需求更是以每年超過(guò)20%的速度激增,配備超過(guò)50K核心的計(jì)算網(wǎng)絡(luò)正逐漸成為常態(tài)。這就需要最大化計(jì)算資源的利用率,即最小化CPU/GPU等待時(shí)間。

針對(duì)EDA(電子設(shè)計(jì)自動(dòng)化)工作流的特定需求,鮑琨進(jìn)一步指出,前端設(shè)計(jì)以高并發(fā)、小文件處理為主,元數(shù)據(jù)操作頻繁,需要存儲(chǔ)有著極高的IOPS;而后端設(shè)計(jì)則對(duì)高帶寬負(fù)載及長(zhǎng)時(shí)間運(yùn)行任務(wù)提出了更高要求,需要極高的吞吐量。

在此基礎(chǔ)上,他概括了EDA存儲(chǔ)特征的核心四要素:

一是,隨著并行性的持續(xù)提升,需實(shí)現(xiàn)無(wú)縫的性能與容量擴(kuò)展;

二是,具備處理從高元數(shù)據(jù)到高帶寬等多種工作負(fù)載的I/O特性;

三是,能夠支撐大型計(jì)算集群的高效運(yùn)行;

四是,能夠有效管理海量文件、高效執(zhí)行刪除操作,并維護(hù)大型命名空間。

為此,優(yōu)刻得在現(xiàn)代EDA場(chǎng)景下推出了創(chuàng)新的高效能存儲(chǔ)解決方案UPFS,通過(guò)前沿的存儲(chǔ)架構(gòu)和技術(shù)優(yōu)化,實(shí)現(xiàn)了高性能、低成本與高效數(shù)據(jù)處理能力的完美結(jié)合,全面滿(mǎn)足了EDA場(chǎng)景下對(duì)存儲(chǔ)的多元化需求。

優(yōu)刻得應(yīng)對(duì)EDA存儲(chǔ)挑戰(zhàn)的創(chuàng)新實(shí)踐回顧優(yōu)刻得在存儲(chǔ)領(lǐng)域的創(chuàng)新歷程,從云平臺(tái)的成功上線到高性能文件存儲(chǔ)UPFS的推出,優(yōu)刻得始終保持著領(lǐng)先的技術(shù)路徑和創(chuàng)新活力,并陸續(xù)推出了高IO云主機(jī)、公有云CDP系統(tǒng)等系列產(chǎn)品,不斷推動(dòng)存儲(chǔ)技術(shù)的革新與發(fā)展。優(yōu)刻得于2023年推出高性能并行文件存儲(chǔ)UPFS。該方案不僅支持無(wú)縫的性能與容量擴(kuò)展,還能靈活應(yīng)對(duì)從高元數(shù)據(jù)到高帶寬的各種工作負(fù)載,輕松駕馭大型計(jì)算集群,高效處理海量文件及刪除操作,廣泛適用于EDA、大模型訓(xùn)練、渲染、自動(dòng)駕駛等行業(yè)應(yīng)用場(chǎng)景。

UPFS并行文件存儲(chǔ)技術(shù)的核心優(yōu)勢(shì)體現(xiàn)在以下幾個(gè)方面:

專(zhuān)用客戶(hù)端接入:支持類(lèi)FUSE接入和GDS接入,數(shù)據(jù)直接在客戶(hù)端和Chunk之間進(jìn)行交互,縮短IO路徑,帶來(lái)了更好的時(shí)延和吞吐。

獨(dú)立元數(shù)據(jù)存儲(chǔ):UPFS采用多副本架構(gòu)保證系統(tǒng)可用性,其中元數(shù)據(jù)部分采用獨(dú)立的分布式元數(shù)據(jù)架構(gòu),所有元數(shù)據(jù)節(jié)點(diǎn)均可承接元數(shù)據(jù)訪問(wèn)請(qǐng)求,防止元數(shù)據(jù)熱點(diǎn),提高整體集群的元數(shù)據(jù)OPS,分散開(kāi)之后的元數(shù)據(jù)請(qǐng)求能夠充分發(fā)揮每一個(gè)元數(shù)據(jù)節(jié)點(diǎn)的性能。

高性能數(shù)據(jù)引擎:使用用戶(hù)態(tài)文件系統(tǒng)管理裸盤(pán),高效的存儲(chǔ)資源管理單元,可以充分發(fā)揮NVMe SSD的能力。

GDS提升存儲(chǔ)性能:支持POSIX協(xié)議的自研客戶(hù)端,能夠發(fā)揮底層資源的極限性能,例如數(shù)據(jù)路由算法采用高效的一致性哈希算法,數(shù)據(jù)直接在客戶(hù)端和CHUNK之間進(jìn)行交互,規(guī)避了MDS的介入,縮短了IO路徑;同時(shí)還借助NVIDIA GPU Direct Storage(GDS)技術(shù),減少訪問(wèn)時(shí)延、提升數(shù)據(jù)帶寬,單節(jié)點(diǎn)的存儲(chǔ)讀性能接近80GB/s。UPFS并行文件存儲(chǔ)架構(gòu)活動(dòng)現(xiàn)場(chǎng),與會(huì)嘉賓們還探討了存儲(chǔ)硬件和多云架構(gòu)的發(fā)展趨勢(shì),為未來(lái)的存儲(chǔ)技術(shù)發(fā)展提供了參考。

鮑琨表示,未來(lái)SSD容量將大幅提升,但性能并未等比提升,大容量SSD的出現(xiàn)將對(duì)全閃存儲(chǔ)架構(gòu)設(shè)計(jì)提出挑戰(zhàn)。同時(shí),受諸多因素影響,在AIGC等新興應(yīng)用場(chǎng)景下,訓(xùn)練和推理往往難以在單一數(shù)據(jù)中心內(nèi)完成。若是為每個(gè)數(shù)據(jù)中心配備全量數(shù)據(jù),不僅成本高昂且管理復(fù)雜。

因此,實(shí)現(xiàn)數(shù)據(jù)的按需分配與共享,推動(dòng)多云架構(gòu)的發(fā)展,將成為未來(lái)存儲(chǔ)技術(shù)的重要趨勢(shì)。半導(dǎo)體CAD聯(lián)盟是一個(gè)致力于建立交流與進(jìn)步的半導(dǎo)體行業(yè)CAD工程師與IT工程師聯(lián)盟。圍繞EDA環(huán)境與工具、CAD與IT技術(shù)、信息安全等熱門(mén)話題,每周組織技術(shù)沙龍,邀請(qǐng)領(lǐng)域內(nèi)的技術(shù)專(zhuān)家進(jìn)行深入探討,以促進(jìn)EDA/CAD整體水平提高,進(jìn)而促進(jìn)中國(guó)IC產(chǎn)業(yè)的整體發(fā)展。

分享到

xiesc

相關(guān)推薦