2025年7月25日，閃迪官宣前英特爾圖形架構(gòu)負(fù)責(zé)人Raja Koduri正式加入其HBF（High-Bandwidth Flash，高帶寬閃存）內(nèi)存技術(shù)顧問委員會，要在不增加成本前提下，實現(xiàn)AI GPU顯存容量的提升，目標(biāo)是最高部署4TB內(nèi)存，遠(yuǎn)超當(dāng)前HBM標(biāo)準(zhǔn)8-16倍。

Raja與閃迪的合作意義重大，因為其擁有GPU開發(fā)背景，尤其是在計算架構(gòu)設(shè)計方面的經(jīng)驗，這與閃迪致力于生產(chǎn)HBF實現(xiàn)更高容量VRAM（顯存）的使命契合。未來，閃迪計劃將HBF打造為一個開放標(biāo)準(zhǔn)生態(tài)系統(tǒng)，進(jìn)一步促進(jìn)與GPU供應(yīng)商的合作。

以下是關(guān)于HBM與HBF GPU內(nèi)存對比及運(yùn)行Frontier LLM的相關(guān)情況：

192GB配置HBM的GPU，HBM內(nèi)存具有較高的帶寬和較低的延遲，適合處理需要快速數(shù)據(jù)訪問的計算任務(wù)。

3,120GB配置HBF的GPU，HBF內(nèi)存能夠提供更大的存儲容量，適合處理大規(guī)模數(shù)據(jù)集和復(fù)雜模型，尤其是在需要長時間數(shù)據(jù)存儲和頻繁數(shù)據(jù)交換的場景中表現(xiàn)優(yōu)異。

在運(yùn)行Frontier LLM時：

? 模型參數(shù)：Frontier LLM擁有1.8萬億（1.8T）參數(shù)。

? 權(quán)重精度：以16位權(quán)重進(jìn)行計算。

內(nèi)存需求方面，對于配置HBF的GPU，需要3600GB內(nèi)存來運(yùn)行該模型，而配置HBF的GPU的總內(nèi)存為4096GB，能滿足運(yùn)行需求。相比之下，配置HBM的GPU的192GB內(nèi)存顯然無法滿足此類大規(guī)模模型的內(nèi)存需求。

總結(jié)來說，HBF GPU擁有超大內(nèi)存容量，在運(yùn)行大規(guī)模模型如Frontier LLM時展現(xiàn)出明顯優(yōu)勢，而HBM GPU則在需要高帶寬和低延遲的小規(guī)模、高性能計算任務(wù)中更為適用。

Raja Koduri是這樣說的：當(dāng)我們開始開發(fā) HBM 時，我們的重點(diǎn)是提高每瓦帶寬和每平方毫米帶寬（這兩者都是移動設(shè)備的重要制約因素），同時保持與現(xiàn)有解決方案的競爭力。HBF 的重點(diǎn)是大幅提升內(nèi)存容量（每美元、每瓦和每平方毫米），同時提供具有競爭力的帶寬。

理解一下就是，HBM（高帶寬內(nèi)存）和HBF（高帶寬閃存）在內(nèi)存技術(shù)的發(fā)展路徑上，兩者設(shè)計不同，HBM的出現(xiàn)重點(diǎn)是為了提升單位功耗（每瓦）和單位面積（每平方毫米）的帶寬密度，滿足移動設(shè)備、顯卡等對高帶寬和低功耗的雙重要求。而HBF則轉(zhuǎn)向解決大模型時代最核心的痛點(diǎn)——內(nèi)存容量不足。

兩者分別服務(wù)于“算的快”和“裝的多”兩種不同任務(wù)場景，共同推動AI存力架構(gòu)的演進(jìn)。

最后分享一下Raja Koduri這位大佬的背景：

AMD時期：2001年加入AMD的前身ATI Technologies，擔(dān)任高級技術(shù)開發(fā)總監(jiān)。

ATI 被AMD收購后2009年之前一直擔(dān)任AMD的圖形首席技術(shù)官。

2015年AMD重組圖形部門并成立Radeon技術(shù)部門，他被提升為高級副總裁兼首席架構(gòu)師，簡單來說，這個部門負(fù)責(zé)從零開始設(shè)計、生產(chǎn)、優(yōu)化Radeon系列顯卡，讓它能跑得快、玩得爽、畫得美，還支持新技術(shù)。

蘋果時期：2009年至2013年，在蘋果公司擔(dān)任圖形架構(gòu)總監(jiān)，參與蘋果的圖形硬件開發(fā)，助力蘋果Mac電腦實現(xiàn)向高分辨率視網(wǎng)膜顯示屏的轉(zhuǎn)變。

重返A(chǔ)MD時期：2013年重返A(chǔ)MD，擔(dān)任視覺計算副總裁，負(fù)責(zé)GPU硬件和軟件。2015年AMD重組其圖形部門后，其被任命為新成立的Radeon技術(shù)集團(tuán)的高級副總裁兼首席架構(gòu)師。

英特爾時期：2017年加入英特爾，擔(dān)任核心和視覺計算集團(tuán)的首席架構(gòu)師和高級副總裁，負(fù)責(zé)開發(fā)高端獨(dú)立GPU，并擴(kuò)展英特爾在PC市場的集成顯卡領(lǐng)先地位。

2023年3月，英特爾CEO帕特?基爾辛格宣布，Raja Koduri 將于3月底離開公司，此后他創(chuàng)立了一家專注于游戲、媒體和娛樂領(lǐng)域生成式人工智能的初創(chuàng)公司，并加入了 Tenstorrent在人工智能和 RISC-V半導(dǎo)體領(lǐng)域的董事會。

然后是現(xiàn)在加盟閃迪，開啟HBF新時代。

崔歡歡