国产久久久,一个人看的www片在线高清中文

他在其演講中探討了人工智能（AI）領(lǐng)域的發(fā)展以及存儲技術(shù)面臨的挑戰(zhàn)，既回顧了信息領(lǐng)域的發(fā)展歷程，又展望了未來，強調(diào)了理論與實踐相結(jié)合的重要性，展示和分享了的團隊他在存儲技術(shù)方面的最新研究成果。

在AI領(lǐng)域，全球范圍內(nèi)企業(yè)界是領(lǐng)先于學(xué)術(shù)界的。一個重要的原因是，只有這些大企業(yè)才能買得起幾萬塊GPU卡，大學(xué)幾乎都沒有這個財力和人才；70%的AI研究人才都集中在企業(yè)，高校只能從思想上或者是原理理論上做一些探索；真正做技術(shù)，目前還是企業(yè)強。今天我就不講太多的技術(shù)了，只講我們拿得出手的兩三點，但是理論上的一些東西，還想跟大家做一些交流，即使是那些幾十年前的話題，根據(jù)我的體會，才是最根本的東西。

春節(jié)晚會上，韓紅唱了一首歌，我很喜歡，歌中說“這世界有那么多人”。的確，這世界有那么多人，我分一下類，有神人，圣人，還有高人，等等這里會場就有很多高人，還有像我們這樣千千萬萬奮斗著、努力著的凡人，共同成就了信息革命大業(yè)。

什么是神人呢？我覺得牛頓、麥克斯韋、愛因斯坦等等。神人的意思是思維維度比我們要高一個層次。想想牛頓三定律一出來，世界的星體運行、宏觀運動全部預(yù)測的清清楚楚。例如，以前沒有發(fā)現(xiàn)冥王星，他根據(jù)計算，說應(yīng)該還有一顆星星。后來果然發(fā)現(xiàn)有一個。所以說，他就是掌握了上帝的規(guī)律，是神人。

麥克斯韋四個方程一列出來，電、磁、光原理都解釋清楚了。他預(yù)測說有無線電，結(jié)果赫茲、馬可尼驗證存在，這就是掌握了上帝的規(guī)律。

前面這兩個我還能完全理解，這么簡單，這么優(yōu)美，世界的深刻規(guī)律。我只能搞懂狹義相對論，到了愛因斯坦，廣義相對論我一點搞不懂了，量子力學(xué)我就更搞不懂了。所以這些都是屬于神人。

信息領(lǐng)域的神人在哪里？我今天想分享一下信息領(lǐng)域的神人是誰，神到什么程度。

第一個是希爾伯特，數(shù)學(xué)家，他在1900年召開的世界數(shù)學(xué)家大會上提出，存不存在解決所有數(shù)學(xué)問題的一般算法？作為一個大數(shù)學(xué)家，他從直覺中覺得應(yīng)該是有，所以他就提出了這么一個實際上的哲學(xué)問題。因為，世界上只有數(shù)學(xué)是真理，其他的都是相對真理。

為什么這么說呢？就是因為有了這一問，人類才會有計算機，才會有今天的人工智能以及未來更高維度的智能。

所以，這一問就是信息領(lǐng)域最起始的驚天之問，這一問，問出了一個新的世界，一個信息的新的世界。

過了36年，圖靈說這個問題有答案了，他構(gòu)造了一個很簡單的圖靈機，說可以解決一切可計算的數(shù)學(xué)問題。沒想到這成了人類計算機的理論基礎(chǔ)，把這一問完全解決了。

事實上，計算機所有的原理，就是圖靈機奠定的。這個的意義其實不比牛頓定律、麥克斯韋的方程差意義小，如果體會起來，就會感覺到他太了不起了。2000年，有一個叫沃夫曼（Stephen Wolfram）的元胞自動機先驅(qū)指出，計算機程序可以表達世間的一切規(guī)律。他公司的員工后來證明說這個和圖靈機是等效的。

圖靈機可以表達世間的一切規(guī)律，。我是相信這個結(jié)論的，但是并沒有被完全證實。

從此以后，一波一波的信息浪潮就開始了。我上大學(xué)的時候，見到的是大型機，到了快畢業(yè)的時候，見到了第一臺個人計算機，也就是蘋果機，后來是PC機，那時我懷疑自己這個專業(yè)是不是學(xué)錯了，一輩子都要學(xué)習(xí)新的知識了。

一波一波的浪潮，先是多媒體、互聯(lián)網(wǎng)、手機、移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、區(qū)塊鏈、元宇宙，到深度學(xué)習(xí)、AI大模型和AIGC，走到今天。

回頭再看，從大型機到現(xiàn)在不過是50年的時間，但信息技術(shù)已經(jīng)越過了十萬八千里，成就巨大，徹底改變了人類的社會生活。

盡管如此，我們離圖靈語言還很遠，因為它可以表達宇宙的一切規(guī)律，所以還有很多路可以走，還有很多東西要研究。

再看看我們的神人圖靈，他在1950年就發(fā)了一篇關(guān)于AI論文，叫計算機器與智能，還提出了著名的圖靈測試?，F(xiàn)在很多人說圖靈測試已經(jīng)過時，其實按照嚴(yán)格的標(biāo)準(zhǔn)來說，還沒有過。很多人說1956年的達特茅斯會議是人工智能的起點，其實1950年這位大神就發(fā)表了相關(guān)論文，他才是人工智能的起點。

孫悟空自以為翻了十萬八千里，很偉大，其實還是在如來的手心中。我們到了現(xiàn)在的人工智能，覺得很先進了，其實回頭再一看，我們還在圖靈的預(yù)言之中，還是沒有逃脫圖靈的手心。

中國是一個“勤奮的學(xué)生”，學(xué)的很快，每一波浪潮都跟的很緊，所以有一些概念炒的過熱，比國外還熱。我們在美國的朋友說，美國的區(qū)塊鏈、元宇宙、AI好像沒有中國這么熱。國內(nèi)現(xiàn)在很熱，是一個勤奮的好學(xué)生。

但是也要看到，所有這些東西，有哪一樣是中國人提出來的？沒有，對不對？我們現(xiàn)在0到1非常非常的少，1到10就是非常杰出的工作了。

如何實現(xiàn)從0到1？這個就是我們希望做的，我們的博士論文，大部分都是從10000到10003，為什么呢？可能有10000篇論文都在說人工智能，但只要有三個創(chuàng)新點就可以畢業(yè)了，對吧？這就是10000到10003，所以大部分人都在做這個工作。

大神圖靈是信息領(lǐng)域的牛頓、愛因斯坦。其實他的理論也很簡單，就是三個部分，一個是計算部分，就是讀寫磁頭和控制，二是存儲，什么是存儲呢？就是那個無限長的帶子就是存儲。三是傳輸。傳輸是什么呢？就是磁帶的移動。

所以現(xiàn)在所謂的數(shù)字技術(shù)設(shè)施的三個底座，現(xiàn)在的計算、存儲、傳輸，其實早就在圖靈機中。

如果對每一個部分進行定義，計算就是有限規(guī)則下對數(shù)據(jù)的序列進行變換，也就是把0變成1，1變成0。這個定義早就有人提出來過。存儲和傳輸是什么呢？這兩條是我提出來的：存儲是數(shù)據(jù)的跨越時間的傳遞，傳輸是數(shù)據(jù)跨越空間的傳遞。這三個簡單的動作就表達了一個真理，只要對數(shù)據(jù)進行計算，存儲、傳輸，就能表達世間的一切規(guī)律，當(dāng)然也包括現(xiàn)在的AI。

理論計算機的能力非常強大，但是實際的計算機到底有多大的能力呢？取決于它可以實現(xiàn)的算力。AI是算力前所未有的吞金怪獸。

回憶一下，這一輩子有哪一個時段大家有說需要算力的？從來沒有。如今，大家都去搞算力，搞的現(xiàn)在算力不賣給我們了，逼迫我們自己做自己的GPU卡，GPU卡做不好，就做NPU，做我們的寒武紀(jì)。

第一，無限長的帶子(即磁帶、存儲)，意味著無限大的容量。對容量的需求是永無止境的，存儲存的就是數(shù)據(jù)，數(shù)據(jù)就代表信息，所以必須要有足夠大的容量。這是圖靈機對我們的第一個啟示。

第二，是我們提供數(shù)據(jù)的速度必須與計算的速度相匹配，否則就會造成等待，直觀的解釋實際上就是讀寫頭和帶子的移動。這里要保證兩點，一是讀寫的速度要快，這個是介質(zhì)決定的。我們都知道最快的是寄存器，然后是SRAM、DRAM、NVM、SSD、HDD、Tape、光盤等等，越小越快，越大越便宜?，F(xiàn)在沒有一種介質(zhì)是又便宜又大的，如果有這么一個理想的介質(zhì)，那就太爽了，很多存儲研究都不用做了。二是傳輸速度，傳輸速度既取決于傳輸介質(zhì)，例如光傳肯定是快于電，同時是越近越快，為什么GPU要把內(nèi)存做的非常近，就是這個原因，光速每秒30萬公里，但是傳一米其實也在納秒級別，還有，越并行越快，越簡單越快。

所以，任何存儲芯片、存儲設(shè)備、存儲系統(tǒng)都必須有三個部分，一是存儲部分，也就是介質(zhì)部分，二是讀寫部分，三是傳輸部分。這個是普遍的原理，對AI大模型存儲同樣適用。

AI大模型的特殊性，也存在普遍性質(zhì)中。所以在進行AI系統(tǒng)設(shè)計的朋友們，不能忘記這些普遍的原理。其實這跟現(xiàn)在導(dǎo)師指導(dǎo)研究生一樣。如今老師其實編程都趕不上學(xué)生，但老師能站在比較高的角度，能看到方向在哪里。要記住這些普遍的道理，就會很明確體現(xiàn)出：站的很高，前方的路也就看的更清楚。

那么AI需要什么算力呢？這個就是特殊性，就是針對AI的特殊性。所以要讀懂計算機系統(tǒng)結(jié)構(gòu)的金科玉律。我們的研究生課程中就用到了這么一本書《計算機系統(tǒng)結(jié)構(gòu)量化方法》，是圖靈獎的兩位獲得者撰寫的，這本書是他們獲得圖靈獎很重要的一個原因。書中展示一個重要的原理，就是common case，就是要加快經(jīng)常性的事件。

什么是common case？就是耗時間最多的事件。他們倆和其他人打賭，在同樣的技術(shù)水平下，比如都是兩億個晶體管，或者做一個很強大的CPU但是數(shù)量比較少，或者做一個很弱的CPU但是數(shù)量很多，打賭說十年以后看結(jié)果。后來才發(fā)現(xiàn)結(jié)果取決于經(jīng)常性的事件。類似于是幾頭牛強，還是一大群雞強。假如在一個大場地全部都鋪滿了麥子，放一萬只雞，是不是一下子都給吃光了？這個效率高，但是牽出幾頭牛來，短時間內(nèi)是怎么也吃不光的，對吧？

那么，AI經(jīng)常性的事件是什么呢？經(jīng)常性的事件就是巨大數(shù)量的矩陣預(yù)算，都是簡單的乘和加，它每個都很簡單，但是數(shù)特別大。所以GPU實際上就是一個功能很弱，但是數(shù)量很大這么一個處理器的集合。TPU是另外一個思路，是用硬件來實現(xiàn)簡單的加和乘?？偟膩碚f，它就是加快經(jīng)常性的事件，就是大量的矩陣運算。

接下來這些大道理，是我今天著重講的內(nèi)容。技術(shù)性的知識，很多企業(yè)都做的非常好了，我快速講過去。我只講我們拿得出手的一點點東西。

大模型有幾個層次，一個是算力生態(tài)，所以剛才講了各種各樣的PU，如GPU、NPU、TPU，但光是這個裸的處理設(shè)備還不行，上面還要一個平臺框架，有這樣一個平臺框架，在上面再做大模型訓(xùn)練，再就是應(yīng)用。一共分成四個層次。

AI大模型和AI算力的提升對存儲提出了哪些挑戰(zhàn)呢？我總結(jié)了四點。

一是參數(shù)量巨大，對容量提出了巨大而空前的挑戰(zhàn)，二是算力的猛增，既是吞吐率猛增，存儲墻就更加嚴(yán)重，所以亟待提高性能，這其實是馮諾伊曼瓶頸：內(nèi)存瓶頸和IO瓶頸，所以現(xiàn)在要建設(shè)大內(nèi)存。原因其實也很簡單，就是GPU也好，NPU也好，最好都在內(nèi)存里存取。假如說要取SSD，還要取硬盤，那就等吧。三是大規(guī)模分布式存儲，分布式對傳輸?shù)膸捥岢隽丝涨暗囊蟆Ｋ源蠹乙⒁?，講存儲絕對不要忘記了帶寬問題，對性能影響作用非常大，CXL就是要解決這個問題的。復(fù)雜的分布式系統(tǒng)，對協(xié)議棧和文件系統(tǒng)也提出了新的挑戰(zhàn)，所以要在存儲軟件層面進行變革。因此，容量、性能、帶寬、軟件是我們要應(yīng)付的挑戰(zhàn)。

大模型的背后是龐大的參數(shù)量，現(xiàn)在參數(shù)已經(jīng)達到萬億規(guī)模，很快會到十億規(guī)模，能力越強需要的參數(shù)量就越大，需要的容量就越大，也需要很多的體系結(jié)構(gòu)。這是一個典型的模型訓(xùn)練的流程，需要硬件來支撐。

應(yīng)對大模型對存儲提出的挑戰(zhàn)，可以從三個方面著手：一個是硬核科技。如大內(nèi)存、快內(nèi)存、快總線、高速SSD，還有超大容量的硬盤，包括我們現(xiàn)在做的一個超大容量、低成本的玻璃存儲等等。二是體系結(jié)構(gòu)。在體系結(jié)構(gòu)上，除了當(dāng)下主流GPU，有人提出IPU，這個IPU大家可以看一看，那個紅色的部分是處理部分，它實際上是真正的PIM，它周圍都是存儲，所以很快的就把數(shù)據(jù)在存儲里進行處理了，據(jù)說效率比GPU更高。三是存儲軟件，就是高效協(xié)議棧和高效文件系統(tǒng)。

硬核科技方面。講講我們的團隊做的玻璃五維永久光存儲技術(shù)。這個很有意思，是我們組做過光盤科研的二年級本科生，他是2+2，后兩年到英國讀本科，再攻讀博士。在英國，他發(fā)現(xiàn)他的導(dǎo)師在十幾年前發(fā)現(xiàn)一個現(xiàn)象，就是一束飛秒激光在玻璃上一照就形成一個圓的光柵，光柵的透光率是99%，而且有方向性。透光性很強，是不是可以做多層？在一個兩毫米的玻璃上做幾百層，然后方向一變，可以做多個BIT，這樣算出來的容量不得了，一張盤可以存300多個TB，而現(xiàn)在最大的硬盤才20多個TB。這樣他以一人之力就做了一個樣機。做完后世界各大媒體都驚呼這個技術(shù)太厲害。微軟在全球調(diào)查了一輪下一代存儲，計劃取代現(xiàn)有硬盤、磁帶、藍光光盤，看中了這個技術(shù)，就投了一筆錢給英國的大學(xué)，成立了100多人的大團隊做出了很漂亮的成績。通過他的文章，我們也和他聯(lián)系上了，結(jié)果他說是我的學(xué)生?？墒潜究谱x書的時候我都沒有記住他。我就問他能不能回來？然后他就回來了。回來后建實驗室，又配備人才，對先前跟微軟合作的內(nèi)容繼續(xù)研究、完善，實現(xiàn)了更高的速度，更高的密度。

當(dāng)然，這項技術(shù)取代不了固態(tài)盤，取代不了閃存，因為它的速度比較低，但是它的成本非常低，壽命特別長，能耗特別低。對中國而言，我覺得它的價值更大。這個要是做出來的話，全產(chǎn)業(yè)鏈都可以在國內(nèi)解決。現(xiàn)在正在申請了一個國家重點研發(fā)計劃。

如何訓(xùn)練場景存儲優(yōu)化。我們做了一點還可以的工作，就是在這個三層上開發(fā)了一個全新的文件系統(tǒng)，使IO最快，以最快的速度將數(shù)據(jù)拉到內(nèi)存里去。這個文件系統(tǒng)實際上是把存算傳做了一個非常好的優(yōu)化，幾乎是全部從零開始寫的。系統(tǒng)的具體情況就不介紹了，但有這樣一個結(jié)論，就是在超級計算機會議上有一個IO500比賽，全是十個節(jié)點來比賽。之前華為用自己的文件系統(tǒng)和存儲設(shè)備，獲得了第七名，用了這個文件系統(tǒng)之后，還是華為的存儲設(shè)備，兩次都拿到了冠軍，比世界第一名快了11倍。

對AI來說有什么價值呢？它可以以非?？斓乃俣?，把IO的瓶頸消除到更小，把數(shù)據(jù)非?？斓睦絻?nèi)存里去。

AI大模型的發(fā)展仍在圖靈機的范圍之內(nèi)，后面的路還長的很。實際上，要產(chǎn)生超過人類的這種智慧，就是說用人工智能能夠推斷出我們現(xiàn)在還沒有發(fā)現(xiàn)的新規(guī)律，我覺得用現(xiàn)在大模型訓(xùn)練是辦不到的，因為大模型是把我們已有的所有能力，進行排列組合，然后概率，最后得出結(jié)果，你覺得很酷，有非常大的作用。但是它能推出一個新的牛頓定律，推出一個新的麥克斯韋方程？我覺得不可能。

圖靈說它能表達世間的一切規(guī)律，順著這個思路走下去，總有一天會達到讓它思考，超過人類的智慧的，我堅信這一點。

由于圖靈給指了一條路，所以我們有無盡的前沿，所以追求高緯度的智能就是我們?nèi)祟惖南乱粋€目標(biāo)。