首先了解一下存儲(chǔ)和計(jì)算。在馮諾依曼體系中計(jì)算和存儲(chǔ)是分開的,要分三步——存儲(chǔ),計(jì)算加兩者之間通信。存儲(chǔ)分為三個(gè)層級(jí),CPU/GPU/SOC里的緩存(SRAM)連接計(jì)算模塊,緩存讀寫速度最快,能自動(dòng)執(zhí)行存儲(chǔ)操作,快速做加法計(jì)算。但SRAM容量有上限,面積做的越大,成本越高,速度也越慢。

于是更多數(shù)據(jù)被轉(zhuǎn)存到距離計(jì)算模塊較遠(yuǎn)的內(nèi)存上,從內(nèi)存(DRAM)里讀取數(shù)據(jù),相比緩存速度慢了百倍到千倍,面積大了會(huì)出現(xiàn)功耗問題,對(duì)應(yīng)只能不斷提高存儲(chǔ)密度,到現(xiàn)在16G之后舉步維艱。

接著存儲(chǔ)位置就轉(zhuǎn)向容量更大的存儲(chǔ)器(SSD),容量大,可內(nèi)存(DRAM)相比緩存讀取速度慢百倍到千倍,存儲(chǔ)(SSD)速度又比內(nèi)存慢了10倍以上,相當(dāng)于CPU要讀數(shù)據(jù),從緩存迂回到存儲(chǔ)器,可能要花上1萬倍+時(shí)間。

而計(jì)算,有數(shù)據(jù)統(tǒng)計(jì)表明,計(jì)算所消耗的功耗其實(shí)很低,約60%的功耗都花在了搬運(yùn)數(shù)據(jù)上。

因此,現(xiàn)在的存算一體,基本解決方案就是近內(nèi)存計(jì)算或存內(nèi)計(jì)算兩種,本質(zhì)上是要計(jì)算和存儲(chǔ)離的更近或者在存儲(chǔ)器內(nèi)做計(jì)算。

近內(nèi)存計(jì)算(NMC)。緩存+內(nèi)存來組CP,3D封裝,利用TSV(硅通孔技術(shù))實(shí)現(xiàn)垂直通信,但成本高,不同型號(hào)的芯片帶還要匹配大小,進(jìn)行預(yù)設(shè)計(jì)和流片,搞完通用性還是問題,適用于AI,機(jī)器學(xué)習(xí)和數(shù)據(jù)中心等規(guī)模型應(yīng)用需求。另一種是2.5D封裝,主流技術(shù)是HBM(高帶寬內(nèi)存),目前由三星,SK海力士主導(dǎo)的HBM存儲(chǔ)技術(shù)正在持續(xù)升級(jí)。

近存儲(chǔ)計(jì)算(NSC)。是為了解決存儲(chǔ)器距離計(jì)算模塊太遠(yuǎn),讀取最花時(shí)間。SSD主要由閃存顆粒組成,需要控制器對(duì)其進(jìn)行平均擦寫管理,實(shí)現(xiàn)擦寫均衡,于是有企業(yè)將控制器加上計(jì)算功能,或者讓擁有計(jì)算模塊的FPGA來處理數(shù)據(jù)并且充當(dāng)閃存控制器,總之就是不通過CPU進(jìn)行讀取計(jì)算,而是直連存儲(chǔ)器和計(jì)算,以此提升計(jì)算效率。

存內(nèi)計(jì)算(IMC)。利用存儲(chǔ)器的單元模擬特性做計(jì)算。這是在存儲(chǔ)器內(nèi)進(jìn)行計(jì)算,CPU是通過1、0邏輯計(jì)算,而存內(nèi)計(jì)算則是利用存儲(chǔ)器內(nèi)電阻特性進(jìn)行計(jì)算,不只是用來區(qū)分電阻高低,而是通過電阻值來區(qū)分多種狀態(tài),電壓和電阻都是變量,利用歐姆定律,電壓和電阻倒數(shù)進(jìn)行乘法計(jì)算,輸出的結(jié)果就是輸出的電流,一個(gè)晶體管就可以完成一次乘法計(jì)算過程。

這都是之前了解到的一些信息,實(shí)際上,除了閃存,MRAM(磁阻隨機(jī)存取存儲(chǔ)器)也可以做存算一體,比如三星和臺(tái)積電等公司就在積極探索MRAM技術(shù)在存內(nèi)計(jì)算領(lǐng)域的應(yīng)用。存算一體技術(shù)允許數(shù)據(jù)存儲(chǔ)和計(jì)算過程在同一個(gè)內(nèi)存單元內(nèi)完成,從而減少數(shù)據(jù)在處理器和存儲(chǔ)器之間傳輸?shù)哪芎暮蜁r(shí)間延遲,提高計(jì)算效率。

此前,三星就在Nature上發(fā)表了全球首個(gè)基于MRAM的存內(nèi)計(jì)算研究。研究利用基于28nm CMOS工藝的MRAM陣列芯片成功運(yùn)行了手寫數(shù)字識(shí)別和人臉檢測(cè)等AI算法,準(zhǔn)確率分別達(dá)到了98%和93%。此外,三星還開發(fā)了一種名為“電阻總和”的新型內(nèi)存內(nèi)計(jì)算架構(gòu),以解決單個(gè)MRAM器件的小電阻問題,從而降低功耗,實(shí)現(xiàn)基于MRAM的內(nèi)存內(nèi)計(jì)算。

臺(tái)積電則在ISSCC 2021會(huì)議上提出了一種基于數(shù)字改良的SRAM設(shè)計(jì)存內(nèi)計(jì)算方案,能支持更大的神經(jīng)網(wǎng)絡(luò)。2024年臺(tái)積電攜手臺(tái)灣省工研院宣布成功研發(fā)出自旋軌道轉(zhuǎn)矩磁性存儲(chǔ)器(SOT-MRAM)陣列芯片,這一創(chuàng)新產(chǎn)品在工作速度方面達(dá)到10ns,進(jìn)一步提高了存內(nèi)計(jì)算性能。

SK海力士也曾開發(fā)出了新一代智能內(nèi)存芯片技術(shù)PIM,還有首款基于PIM技術(shù)的產(chǎn)品樣本,將計(jì)算功能添加到數(shù)據(jù)傳輸速度為16Gbps的GDDR6內(nèi)存的產(chǎn)品。

最后

11月8日,在2024中國(guó)數(shù)據(jù)與存儲(chǔ)峰會(huì)上,存算一體化將是一個(gè)重要話題,這一技術(shù)結(jié)合了計(jì)算和存儲(chǔ)的優(yōu)勢(shì),旨在通過高效的數(shù)據(jù)管理和處理來提升系統(tǒng)性能。隨著AI應(yīng)用的普及和數(shù)據(jù)量的激增,存算一體化不僅能夠降低延遲,提高數(shù)據(jù)訪問速度,還能在能效方面表現(xiàn)優(yōu)異,特別是在邊緣計(jì)算和智能設(shè)備中的應(yīng)用上,敬請(qǐng)期待!

分享到

崔歡歡

相關(guān)推薦