他在其演講中探討了人工智能（AI）領(lǐng)域的發(fā)展以及存儲(chǔ)技術(shù)面臨的挑戰(zhàn)，既回顧了信息領(lǐng)域的發(fā)展歷程，又展望了未來，強(qiáng)調(diào)了理論與實(shí)踐相結(jié)合的重要性，展示和分享了的團(tuán)隊(duì)他在存儲(chǔ)技術(shù)方面的最新研究成果。

以下是他的演講整理，未經(jīng)本人審定。

在AI領(lǐng)域，全球范圍內(nèi)企業(yè)界是領(lǐng)先于學(xué)術(shù)界的。一個(gè)重要的原因是，只有這些大企業(yè)才能買得起幾萬塊GPU卡，大學(xué)幾乎都沒有這個(gè)財(cái)力和人才；70%的AI研究人才都集中在企業(yè)，高校只能從思想上或者是原理理論上做一些探索；真正做技術(shù)，目前還是企業(yè)強(qiáng)。今天我就不講太多的技術(shù)了，只講我們拿得出手的兩三點(diǎn)，但是理論上的一些東西，還想跟大家做一些交流，即使是那些幾十年前的話題，根據(jù)我的體會(huì)，才是最根本的東西。

春節(jié)晚會(huì)上，韓紅唱了一首歌，我很喜歡，歌中說“這世界有那么多人”。的確，這世界有那么多人，我分一下類，有神人，圣人，還有高人，等等這里會(huì)場就有很多高人，還有像我們這樣千千萬萬奮斗著、努力著的凡人，共同成就了信息革命大業(yè)。

目光深邃的神人：預(yù)言了計(jì)算的終極理論威力

什么是神人呢？我覺得牛頓、麥克斯韋、愛因斯坦等等。神人的意思是思維維度比我們要高一個(gè)層次。想想牛頓三定律一出來，世界的星體運(yùn)行、宏觀運(yùn)動(dòng)全部預(yù)測的清清楚楚。例如，以前沒有發(fā)現(xiàn)冥王星，他根據(jù)計(jì)算，說應(yīng)該還有一顆星星。后來果然發(fā)現(xiàn)有一個(gè)。所以說，他就是掌握了上帝的規(guī)律，是神人。

麥克斯韋四個(gè)方程一列出來，電、磁、光原理都解釋清楚了。他預(yù)測說有無線電，結(jié)果赫茲、馬可尼驗(yàn)證存在，這就是掌握了上帝的規(guī)律。

前面這兩個(gè)我還能完全理解，這么簡單，這么優(yōu)美，世界的深刻規(guī)律。我只能搞懂狹義相對(duì)論，到了愛因斯坦，廣義相對(duì)論我一點(diǎn)搞不懂了，量子力學(xué)我就更搞不懂了。所以這些都是屬于神人。

信息領(lǐng)域的神人在哪里？我今天想分享一下信息領(lǐng)域的神人是誰，神到什么程度。

第一個(gè)是希爾伯特，數(shù)學(xué)家，他在1900年召開的世界數(shù)學(xué)家大會(huì)上提出，存不存在解決所有數(shù)學(xué)問題的一般算法？作為一個(gè)大數(shù)學(xué)家，他從直覺中覺得應(yīng)該是有，所以他就提出了這么一個(gè)實(shí)際上的哲學(xué)問題。因?yàn)椋澜缟现挥袛?shù)學(xué)是真理，其他的都是相對(duì)真理。

這可是石破驚天的一問。

為什么這么說呢？就是因?yàn)橛辛诉@一問，人類才會(huì)有計(jì)算機(jī)，才會(huì)有今天的人工智能以及未來更高維度的智能。

所以，這一問就是信息領(lǐng)域最起始的驚天之問，這一問，問出了一個(gè)新的世界，一個(gè)信息的新的世界。

過了36年，圖靈說這個(gè)問題有答案了，他構(gòu)造了一個(gè)很簡單的圖靈機(jī)，說可以解決一切可計(jì)算的數(shù)學(xué)問題。沒想到這成了人類計(jì)算機(jī)的理論基礎(chǔ)，把這一問完全解決了。

事實(shí)上，計(jì)算機(jī)所有的原理，就是圖靈機(jī)奠定的。這個(gè)的意義其實(shí)不比牛頓定律、麥克斯韋的方程差意義小，如果體會(huì)起來，就會(huì)感覺到他太了不起了。2000年，有一個(gè)叫沃夫曼（Stephen Wolfram）的元胞自動(dòng)機(jī)先驅(qū)指出，計(jì)算機(jī)程序可以表達(dá)世間的一切規(guī)律。他公司的員工后來證明說這個(gè)和圖靈機(jī)是等效的。

圖靈機(jī)可以表達(dá)世間的一切規(guī)律，。我是相信這個(gè)結(jié)論的，但是并沒有被完全證實(shí)。

從此以后，一波一波的信息浪潮就開始了。我上大學(xué)的時(shí)候，見到的是大型機(jī)，到了快畢業(yè)的時(shí)候，見到了第一臺(tái)個(gè)人計(jì)算機(jī)，也就是蘋果機(jī)，后來是PC機(jī)，那時(shí)我懷疑自己這個(gè)專業(yè)是不是學(xué)錯(cuò)了，一輩子都要學(xué)習(xí)新的知識(shí)了。

一波一波的浪潮，先是多媒體、互聯(lián)網(wǎng)、手機(jī)、移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、區(qū)塊鏈、元宇宙，到深度學(xué)習(xí)、AI大模型和AIGC，走到今天。

回頭再看，從大型機(jī)到現(xiàn)在不過是50年的時(shí)間，但信息技術(shù)已經(jīng)越過了十萬八千里，成就巨大，徹底改變了人類的社會(huì)生活。

戲說圖靈機(jī)，追尋簡單真理和對(duì)AI的啟示

盡管如此，我們離圖靈語言還很遠(yuǎn)，因?yàn)樗梢员磉_(dá)宇宙的一切規(guī)律，所以還有很多路可以走，還有很多東西要研究。

再看看我們的神人圖靈，他在1950年就發(fā)了一篇關(guān)于AI論文，叫計(jì)算機(jī)器與智能，還提出了著名的圖靈測試?，F(xiàn)在很多人說圖靈測試已經(jīng)過時(shí)，其實(shí)按照嚴(yán)格的標(biāo)準(zhǔn)來說，還沒有過。很多人說1956年的達(dá)特茅斯會(huì)議是人工智能的起點(diǎn)，其實(shí)1950年這位大神就發(fā)表了相關(guān)論文，他才是人工智能的起點(diǎn)。

孫悟空自以為翻了十萬八千里，很偉大，其實(shí)還是在如來的手心中。我們到了現(xiàn)在的人工智能，覺得很先進(jìn)了，其實(shí)回頭再一看，我們還在圖靈的預(yù)言之中，還是沒有逃脫圖靈的手心。

中國是一個(gè)“勤奮的學(xué)生”，學(xué)的很快，每一波浪潮都跟的很緊，所以有一些概念炒的過熱，比國外還熱。我們?cè)诿绹呐笥颜f，美國的區(qū)塊鏈、元宇宙、AI好像沒有中國這么熱。國內(nèi)現(xiàn)在很熱，是一個(gè)勤奮的好學(xué)生。

但是也要看到，所有這些東西，有哪一樣是中國人提出來的？沒有，對(duì)不對(duì)？我們現(xiàn)在0到1非常非常的少，1到10就是非常杰出的工作了。

如何實(shí)現(xiàn)從0到1？這個(gè)就是我們希望做的，我們的博士論文，大部分都是從10000到10003，為什么呢？可能有10000篇論文都在說人工智能，但只要有三個(gè)創(chuàng)新點(diǎn)就可以畢業(yè)了，對(duì)吧？這就是10000到10003，所以大部分人都在做這個(gè)工作。

從0到1，這個(gè)是要時(shí)間的。

大神圖靈是信息領(lǐng)域的牛頓、愛因斯坦。其實(shí)他的理論也很簡單，就是三個(gè)部分，一個(gè)是計(jì)算部分，就是讀寫磁頭和控制，二是存儲(chǔ)，什么是存儲(chǔ)呢？就是那個(gè)無限長的帶子就是存儲(chǔ)。三是傳輸。傳輸是什么呢？就是磁帶的移動(dòng)。

所以現(xiàn)在所謂的數(shù)字技術(shù)設(shè)施的三個(gè)底座，現(xiàn)在的計(jì)算、存儲(chǔ)、傳輸，其實(shí)早就在圖靈機(jī)中。

如果對(duì)每一個(gè)部分進(jìn)行定義，計(jì)算就是有限規(guī)則下對(duì)數(shù)據(jù)的序列進(jìn)行變換，也就是把0變成1，1變成0。這個(gè)定義早就有人提出來過。存儲(chǔ)和傳輸是什么呢？這兩條是我提出來的：存儲(chǔ)是數(shù)據(jù)的跨越時(shí)間的傳遞，傳輸是數(shù)據(jù)跨越空間的傳遞。這三個(gè)簡單的動(dòng)作就表達(dá)了一個(gè)真理，只要對(duì)數(shù)據(jù)進(jìn)行計(jì)算，存儲(chǔ)、傳輸，就能表達(dá)世間的一切規(guī)律，當(dāng)然也包括現(xiàn)在的AI。

理論計(jì)算機(jī)的能力非常強(qiáng)大，但是實(shí)際的計(jì)算機(jī)到底有多大的能力呢？取決于它可以實(shí)現(xiàn)的算力。AI是算力前所未有的吞金怪獸。

回憶一下，這一輩子有哪一個(gè)時(shí)段大家有說需要算力的？從來沒有。如今，大家都去搞算力，搞的現(xiàn)在算力不賣給我們了，逼迫我們自己做自己的GPU卡，GPU卡做不好，就做NPU，做我們的寒武紀(jì)。

圖靈機(jī)對(duì)存儲(chǔ)的直觀啟示

圖靈機(jī)對(duì)存儲(chǔ)有什么直觀的啟示？

第一，無限長的帶子(即磁帶、存儲(chǔ))，意味著無限大的容量。對(duì)容量的需求是永無止境的，存儲(chǔ)存的就是數(shù)據(jù)，數(shù)據(jù)就代表信息，所以必須要有足夠大的容量。這是圖靈機(jī)對(duì)我們的第一個(gè)啟示。

第二，是我們提供數(shù)據(jù)的速度必須與計(jì)算的速度相匹配，否則就會(huì)造成等待，直觀的解釋實(shí)際上就是讀寫頭和帶子的移動(dòng)。這里要保證兩點(diǎn)，一是讀寫的速度要快，這個(gè)是介質(zhì)決定的。我們都知道最快的是寄存器，然后是SRAM、DRAM、NVM、SSD、HDD、Tape、光盤等等，越小越快，越大越便宜?，F(xiàn)在沒有一種介質(zhì)是又便宜又大的，如果有這么一個(gè)理想的介質(zhì)，那就太爽了，很多存儲(chǔ)研究都不用做了。二是傳輸速度，傳輸速度既取決于傳輸介質(zhì)，例如光傳肯定是快于電，同時(shí)是越近越快，為什么GPU要把內(nèi)存做的非常近，就是這個(gè)原因，光速每秒30萬公里，但是傳一米其實(shí)也在納秒級(jí)別，還有，越并行越快，越簡單越快。

所以，任何存儲(chǔ)芯片、存儲(chǔ)設(shè)備、存儲(chǔ)系統(tǒng)都必須有三個(gè)部分，一是存儲(chǔ)部分，也就是介質(zhì)部分，二是讀寫部分，三是傳輸部分。這個(gè)是普遍的原理，對(duì)AI大模型存儲(chǔ)同樣適用。

AI需要什么樣的算力

AI大模型的特殊性，也存在普遍性質(zhì)中。所以在進(jìn)行AI系統(tǒng)設(shè)計(jì)的朋友們，不能忘記這些普遍的原理。其實(shí)這跟現(xiàn)在導(dǎo)師指導(dǎo)研究生一樣。如今老師其實(shí)編程都趕不上學(xué)生，但老師能站在比較高的角度，能看到方向在哪里。要記住這些普遍的道理，就會(huì)很明確體現(xiàn)出：站的很高，前方的路也就看的更清楚。

那么AI需要什么算力呢？這個(gè)就是特殊性，就是針對(duì)AI的特殊性。所以要讀懂計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的金科玉律。我們的研究生課程中就用到了這么一本書《計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)量化方法》，是圖靈獎(jiǎng)的兩位獲得者撰寫的，這本書是他們獲得圖靈獎(jiǎng)很重要的一個(gè)原因。書中展示一個(gè)重要的原理，就是common case，就是要加快經(jīng)常性的事件。

什么是common case？就是耗時(shí)間最多的事件。他們倆和其他人打賭，在同樣的技術(shù)水平下，比如都是兩億個(gè)晶體管，或者做一個(gè)很強(qiáng)大的CPU但是數(shù)量比較少，或者做一個(gè)很弱的CPU但是數(shù)量很多，打賭說十年以后看結(jié)果。后來才發(fā)現(xiàn)結(jié)果取決于經(jīng)常性的事件。類似于是幾頭牛強(qiáng)，還是一大群雞強(qiáng)。假如在一個(gè)大場地全部都鋪滿了麥子，放一萬只雞，是不是一下子都給吃光了？這個(gè)效率高，但是牽出幾頭牛來，短時(shí)間內(nèi)是怎么也吃不光的，對(duì)吧？

那么，AI經(jīng)常性的事件是什么呢？經(jīng)常性的事件就是巨大數(shù)量的矩陣預(yù)算，都是簡單的乘和加，它每個(gè)都很簡單，但是數(shù)特別大。所以GPU實(shí)際上就是一個(gè)功能很弱，但是數(shù)量很大這么一個(gè)處理器的集合。TPU是另外一個(gè)思路，是用硬件來實(shí)現(xiàn)簡單的加和乘。總的來說，它就是加快經(jīng)常性的事件，就是大量的矩陣運(yùn)算。

接下來這些大道理，是我今天著重講的內(nèi)容。技術(shù)性的知識(shí)，很多企業(yè)都做的非常好了，我快速講過去。我只講我們拿得出手的一點(diǎn)點(diǎn)東西。

大模型有幾個(gè)層次，一個(gè)是算力生態(tài)，所以剛才講了各種各樣的PU，如GPU、NPU、TPU，但光是這個(gè)裸的處理設(shè)備還不行，上面還要一個(gè)平臺(tái)框架，有這樣一個(gè)平臺(tái)框架，在上面再做大模型訓(xùn)練，再就是應(yīng)用。一共分成四個(gè)層次。

AI大模型背景和存儲(chǔ)容量挑戰(zhàn)

AI大模型和AI算力的提升對(duì)存儲(chǔ)提出了哪些挑戰(zhàn)呢？我總結(jié)了四點(diǎn)。

一是參數(shù)量巨大，對(duì)容量提出了巨大而空前的挑戰(zhàn)，二是算力的猛增，既是吞吐率猛增，存儲(chǔ)墻就更加嚴(yán)重，所以亟待提高性能，這其實(shí)是馮諾伊曼瓶頸：內(nèi)存瓶頸和IO瓶頸，所以現(xiàn)在要建設(shè)大內(nèi)存。原因其實(shí)也很簡單，就是GPU也好，NPU也好，最好都在內(nèi)存里存取。假如說要取SSD，還要取硬盤，那就等吧。三是大規(guī)模分布式存儲(chǔ)，分布式對(duì)傳輸?shù)膸捥岢隽丝涨暗囊?。所以大家要注意，講存儲(chǔ)絕對(duì)不要忘記了帶寬問題，對(duì)性能影響作用非常大，CXL就是要解決這個(gè)問題的。復(fù)雜的分布式系統(tǒng)，對(duì)協(xié)議棧和文件系統(tǒng)也提出了新的挑戰(zhàn)，所以要在存儲(chǔ)軟件層面進(jìn)行變革。因此，容量、性能、帶寬、軟件是我們要應(yīng)付的挑戰(zhàn)。

大模型的背后是龐大的參數(shù)量，現(xiàn)在參數(shù)已經(jīng)達(dá)到萬億規(guī)模，很快會(huì)到十億規(guī)模，能力越強(qiáng)需要的參數(shù)量就越大，需要的容量就越大，也需要很多的體系結(jié)構(gòu)。這是一個(gè)典型的模型訓(xùn)練的流程，需要硬件來支撐。

應(yīng)對(duì)大模型對(duì)存儲(chǔ)提出的挑戰(zhàn)，可以從三個(gè)方面著手：一個(gè)是硬核科技。如大內(nèi)存、快內(nèi)存、快總線、高速SSD，還有超大容量的硬盤，包括我們現(xiàn)在做的一個(gè)超大容量、低成本的玻璃存儲(chǔ)等等。二是體系結(jié)構(gòu)。在體系結(jié)構(gòu)上，除了當(dāng)下主流GPU，有人提出IPU，這個(gè)IPU大家可以看一看，那個(gè)紅色的部分是處理部分，它實(shí)際上是真正的PIM，它周圍都是存儲(chǔ)，所以很快的就把數(shù)據(jù)在存儲(chǔ)里進(jìn)行處理了，據(jù)說效率比GPU更高。三是存儲(chǔ)軟件，就是高效協(xié)議棧和高效文件系統(tǒng)。

硬核科技方面。講講我們的團(tuán)隊(duì)做的玻璃五維永久光存儲(chǔ)技術(shù)。這個(gè)很有意思，是我們組做過光盤科研的二年級(jí)本科生，他是2+2，后兩年到英國讀本科，再攻讀博士。在英國，他發(fā)現(xiàn)他的導(dǎo)師在十幾年前發(fā)現(xiàn)一個(gè)現(xiàn)象，就是一束飛秒激光在玻璃上一照就形成一個(gè)圓的光柵，光柵的透光率是99%，而且有方向性。透光性很強(qiáng)，是不是可以做多層？在一個(gè)兩毫米的玻璃上做幾百層，然后方向一變，可以做多個(gè)BIT，這樣算出來的容量不得了，一張盤可以存300多個(gè)TB，而現(xiàn)在最大的硬盤才20多個(gè)TB。這樣他以一人之力就做了一個(gè)樣機(jī)。做完后世界各大媒體都驚呼這個(gè)技術(shù)太厲害。微軟在全球調(diào)查了一輪下一代存儲(chǔ)，計(jì)劃取代現(xiàn)有硬盤、磁帶、藍(lán)光光盤，看中了這個(gè)技術(shù)，就投了一筆錢給英國的大學(xué)，成立了100多人的大團(tuán)隊(duì)做出了很漂亮的成績。通過他的文章，我們也和他聯(lián)系上了，結(jié)果他說是我的學(xué)生?？墒潜究谱x書的時(shí)候我都沒有記住他。我就問他能不能回來？然后他就回來了?；貋砗蠼▽?shí)驗(yàn)室，又配備人才，對(duì)先前跟微軟合作的內(nèi)容繼續(xù)研究、完善，實(shí)現(xiàn)了更高的速度，更高的密度。

當(dāng)然，這項(xiàng)技術(shù)取代不了固態(tài)盤，取代不了閃存，因?yàn)樗乃俣缺容^低，但是它的成本非常低，壽命特別長，能耗特別低。對(duì)中國而言，我覺得它的價(jià)值更大。這個(gè)要是做出來的話，全產(chǎn)業(yè)鏈都可以在國內(nèi)解決?，F(xiàn)在正在申請(qǐng)了一個(gè)國家重點(diǎn)研發(fā)計(jì)劃。

大模型訓(xùn)練場景存儲(chǔ)優(yōu)化

如何訓(xùn)練場景存儲(chǔ)優(yōu)化。我們做了一點(diǎn)還可以的工作，就是在這個(gè)三層上開發(fā)了一個(gè)全新的文件系統(tǒng)，使IO最快，以最快的速度將數(shù)據(jù)拉到內(nèi)存里去。這個(gè)文件系統(tǒng)實(shí)際上是把存算傳做了一個(gè)非常好的優(yōu)化，幾乎是全部從零開始寫的。系統(tǒng)的具體情況就不介紹了，但有這樣一個(gè)結(jié)論，就是在超級(jí)計(jì)算機(jī)會(huì)議上有一個(gè)IO500比賽，全是十個(gè)節(jié)點(diǎn)來比賽。之前華為用自己的文件系統(tǒng)和存儲(chǔ)設(shè)備，獲得了第七名，用了這個(gè)文件系統(tǒng)之后，還是華為的存儲(chǔ)設(shè)備，兩次都拿到了冠軍，比世界第一名快了11倍。

對(duì)AI來說有什么價(jià)值呢？它可以以非?？斓乃俣龋袸O的瓶頸消除到更小，把數(shù)據(jù)非?？斓睦絻?nèi)存里去。

大模型推理場景存儲(chǔ)優(yōu)化

略。

總結(jié)和展望

AI大模型的發(fā)展仍在圖靈機(jī)的范圍之內(nèi)，后面的路還長的很。實(shí)際上，要產(chǎn)生超過人類的這種智慧，就是說用人工智能能夠推斷出我們現(xiàn)在還沒有發(fā)現(xiàn)的新規(guī)律，我覺得用現(xiàn)在大模型訓(xùn)練是辦不到的，因?yàn)榇竽Ｐ褪前盐覀円延械乃心芰ΓM(jìn)行排列組合，然后概率，最后得出結(jié)果，你覺得很酷，有非常大的作用。但是它能推出一個(gè)新的牛頓定律，推出一個(gè)新的麥克斯韋方程？我覺得不可能。

圖靈說它能表達(dá)世間的一切規(guī)律，順著這個(gè)思路走下去，總有一天會(huì)達(dá)到讓它思考，超過人類的智慧的，我堅(jiān)信這一點(diǎn)。

加的紅色的就是我們自己覺得還能拿得出手的一些工作。

由于圖靈給指了一條路，所以我們有無盡的前沿，所以追求高緯度的智能就是我們?nèi)祟惖南乱粋€(gè)目標(biāo)。

我的演講到這里結(jié)束。謝謝大家！

。

xiesc