浙江工業(yè)大學(xué)前沿交叉科學(xué)研究院副院長(zhǎng)姚信威，以“智能物聯(lián)融合感知與計(jì)算：多模態(tài)數(shù)據(jù)處理”為主題展開分享，聚焦于大模型和智能計(jì)算方向，就多源智能感知，群體優(yōu)化決策及多跨協(xié)同系統(tǒng)做相關(guān)介紹，探討從基礎(chǔ)理論、關(guān)鍵技術(shù)到示范應(yīng)用，介紹浙江工業(yè)大學(xué)群智感知與協(xié)同科研團(tuán)隊(duì)基于感知領(lǐng)域數(shù)據(jù)處理的相關(guān)工作。

人類正在進(jìn)入一個(gè)“人機(jī)物”三元融合的時(shí)代，需打破信息、物理、社會(huì)三元空間隔離，促進(jìn)人機(jī)物要素彼此激發(fā)跨域協(xié)同。這是一個(gè)萬物智聯(lián)、群智涌現(xiàn)的新時(shí)代，面臨群智涌現(xiàn)非確定性、群智計(jì)算可演化性、群智質(zhì)量可保障性等新挑戰(zhàn)，面臨群智涌現(xiàn)機(jī)理、群智計(jì)算概念模型、群智認(rèn)知和決策等科學(xué)問題，群智計(jì)算在智慧城市、智能制造、智能家居等重要領(lǐng)域具有廣泛的應(yīng)用前景。

面對(duì)當(dāng)前急速增長(zhǎng)的海量數(shù)據(jù)，企業(yè)如何有效應(yīng)對(duì)存儲(chǔ)成本高、如何突破存儲(chǔ)性能瓶頸等挑戰(zhàn)，如何加強(qiáng)對(duì)海量數(shù)據(jù)存儲(chǔ)、管理和分析的能力？浪潮分布式存儲(chǔ)總經(jīng)理姜樂果，發(fā)表“生成式AI時(shí)代 極致存儲(chǔ) 智慧有數(shù)”的主題演講。

姜樂果提到，AI大模型訓(xùn)練有三要素，算力，算法和數(shù)據(jù)，三者相互配合，緊密協(xié)作，才能更快更好得訓(xùn)練出更優(yōu)質(zhì)的模型，提升企業(yè)經(jīng)營(yíng)決策效率。企業(yè)當(dāng)前的數(shù)據(jù)中心算力建設(shè)十分充分，但存儲(chǔ)能力的配套設(shè)施往往存在不足，導(dǎo)致在AI模型訓(xùn)練時(shí)，數(shù)據(jù)導(dǎo)入和準(zhǔn)備耗費(fèi)大量時(shí)間，訓(xùn)練過程加載慢，嚴(yán)重影響AI大模型訓(xùn)練的效率。

浪潮重磅發(fā)布的AS15000G7系列AI專用的高性能存儲(chǔ)新品，主要是面向生成式AI全階段的高性能融合存儲(chǔ)，可以同時(shí)提供數(shù)據(jù)訪問高的吞吐量、高的IOPS和低時(shí)延，全面加速數(shù)據(jù)訓(xùn)練和推理過程；融合多種存儲(chǔ)存儲(chǔ)服務(wù)，實(shí)現(xiàn)AI訓(xùn)練全流程數(shù)據(jù)高效流動(dòng)，無需來回拷貝數(shù)據(jù)。新品在性能、管理、融合和效率方面追求極致，可為AI大模型數(shù)據(jù)全生命周期的高效存儲(chǔ)提供有力保障。

隨后，阿里云智能高級(jí)技術(shù)專家季旭，分享了高性能存儲(chǔ)在AIGC場(chǎng)景下的機(jī)遇與實(shí)踐。他指出，大模型的參數(shù)量在不斷增大，當(dāng)前高性能硬件基礎(chǔ)設(shè)施給閃存系統(tǒng)帶來了更多挑戰(zhàn)，大模型的計(jì)算量的增長(zhǎng)遠(yuǎn)快于硬件迭代速度。阿里云CPFS是為HPC高性能計(jì)算與AI機(jī)器學(xué)習(xí)設(shè)計(jì)的并行文件系統(tǒng),從輸出形態(tài)上可支持公有云和混合云, 最大可以支持TB級(jí)的吞吐能力，在云上和云下都具備一致的使用體驗(yàn)。我們熟知的FAST天眼的背后就有高性能并行網(wǎng)絡(luò)CPFS提供支撐。

上?？萍即髮W(xué)教授、研究員、博導(dǎo)殷樹發(fā)表題為“RBC：通過調(diào)節(jié)帶寬改善SSD寫性能和長(zhǎng)尾延遲”的演講。他表示，基于LSM-Tree的KV存儲(chǔ)系統(tǒng)性能會(huì)受到讀放大和寫放大影響，會(huì)受到寫停頓的影響而出現(xiàn)波動(dòng)，RBC通過調(diào)節(jié)數(shù)據(jù)刷新和壓縮操作的帶寬的方式可降低寫停頓和寫放大對(duì)整體性能的影響，具體而言，RBC針對(duì)RocksDB寫性能與長(zhǎng)尾延遲的問題提出了一種新的優(yōu)化思路，通過調(diào)節(jié)flush和compaction對(duì)帶寬的占用比例改善寫性能和長(zhǎng)尾延遲。

“弱人工智能只能完成特定任務(wù)，強(qiáng)人工智能就是通用人工智能，能具備多種能力甚至是全能力；超人工智能將全面超越人類現(xiàn)有水平，理論存在。” 最后，上海市計(jì)算機(jī)學(xué)會(huì)存儲(chǔ)專委副主任陳雪菲，就“AI大模型與存儲(chǔ)新發(fā)展”發(fā)表個(gè)人洞察與相關(guān)研究。

生成式AI是一個(gè)典型的并行計(jì)算應(yīng)用，并行度越高越有利。Transformer結(jié)構(gòu)內(nèi)存壓力很大, 如訓(xùn)練 GPT-系列，如果按照 10000 億參數(shù)量計(jì)算，假設(shè)用單精度，每個(gè)參數(shù)要占 4 個(gè)字節(jié)，僅參數(shù)就要占4000G內(nèi)存，梯度也要占4000G內(nèi)存。張量并行：一個(gè)模型單卡放不下，切開放，弊端是通信開銷太大；流水線并行：層數(shù)和GPU 數(shù)量之間關(guān)系，就像工程隊(duì)數(shù)量（GPU） 與樓層數(shù)（流水線層數(shù)）關(guān)系一樣密切。流水線層數(shù)和 GPU 之間比值越大，并行效率越高。20 個(gè)工程隊(duì)蓋 1000 棟樓，很多時(shí)候并行度可以達(dá)到 20，模型必須在合理的延遲時(shí)間內(nèi)做出響應(yīng)。誰(shuí)也不想在聊天APP中等待幾秒鐘才開始收到輸出。

對(duì)于存儲(chǔ)技術(shù)發(fā)展，他指出在介質(zhì)方面，DNA存儲(chǔ)有所進(jìn)展。DNA有兩種保存方式，一個(gè)是體內(nèi)保存，還有一個(gè)是體外保存。麻省理工一個(gè)教授講過，用一個(gè)咖啡杯裝DNA，這點(diǎn)容量就可以把全世界的數(shù)據(jù)放進(jìn)去。天津大學(xué)在2022年把敦煌壁畫放到DNA里，放進(jìn)去以后在常溫下破壞掉，通過兩個(gè)手段，一個(gè)是DNA重建技術(shù)，重建后還有數(shù)據(jù)缺失，數(shù)據(jù)用了噴泉碼，實(shí)現(xiàn)了97%的數(shù)據(jù)恢復(fù)，放在圖畫上基本上看不出差別。此外，當(dāng)前的CXL 3.0引入了真正的內(nèi)存共享，利用新的增強(qiáng)一致性語(yǔ)義，多個(gè)主機(jī)可擁有一個(gè)共享段的一致副本。

數(shù)據(jù)與存儲(chǔ)與人工智能技術(shù)融合發(fā)展，將釋放無限潛能，我們將不斷在創(chuàng)新實(shí)踐中洞見新機(jī)遇。

nina