華為ICT Marketing部部長周軍發(fā)表致辭
鯤鵬打造堅(jiān)實(shí)AI算力底座,加速繁榮AI應(yīng)用生態(tài)
鯤鵬計算產(chǎn)業(yè)歷經(jīng)六年發(fā)展,通過硬件開放與軟件開源戰(zhàn)略構(gòu)建了覆蓋數(shù)據(jù)中心到邊緣場景的完整生態(tài),并正式發(fā)布面向AI時代的“鯤鵬AI+解決方案”。
AI Core方面,提供鯤鵬+xPU推理方案,能夠兼容昇騰以及其他國產(chǎn)GPU,覆蓋數(shù)據(jù)中心到邊緣場景。會上,趨境科技依托鯤鵬基礎(chǔ)軟硬件平臺,在Ktransformer架構(gòu)優(yōu)化中取得的突破性進(jìn)展,正式發(fā)布鯤鵬+xPU解決方案。
AI Infra方面,提供鯤鵬AI數(shù)據(jù)工程組件和鯤鵬AI安全組件,提供性能更優(yōu)、更安全的數(shù)據(jù)處理、數(shù)據(jù)檢索等能力。鯤鵬提供AI+數(shù)據(jù)工程組件,圍繞大模型全生命周期,全面提升數(shù)據(jù)處理效率和性能;鯤鵬AI+安全使能套件:3道安全防線實(shí)現(xiàn)縱深防御,端到端保護(hù)AI模型和私域數(shù)據(jù)安全。
AI應(yīng)用方面,提供業(yè)務(wù)編排、部署、調(diào)度等能力,基于開源生態(tài),構(gòu)建企業(yè)端到端AI解決方案,做到開箱即優(yōu)。發(fā)布鯤鵬搜廣推解決方案,圍繞召回和排序極致優(yōu)化,助力企業(yè)打造新一代智能推薦引擎;正式發(fā)布鯤鵬RAG解決方案1.0,基于鯤鵬CPU和昇騰NPU、第三方GPU卡,打造包含RAG業(yè)務(wù)編排、AI+微服務(wù)、部署調(diào)度、安全和存儲的開源開放體系,定義企業(yè)級RAG的技術(shù)標(biāo)桿。會上,6家企業(yè)發(fā)布基于鯤鵬RAG解決方案1.0打造各自行業(yè)的差異化RAG解決方案。
為了解決大規(guī)模集群的管理,本次大會,open Fuyao宣布正式開源!open Fuyao聚焦“云原生+AI”,打造多樣化算力互聯(lián)的集群管理與調(diào)度能力,提供算力親和組件及面向生產(chǎn)的社區(qū)發(fā)行版,實(shí)現(xiàn)集群算力的彈性調(diào)度和高效釋放。
技術(shù)升級與產(chǎn)業(yè)共振昇騰攜手開發(fā)者共赴AI新征程
本次大會,在AI計算領(lǐng)域,昇騰以技術(shù)突破與生態(tài)共榮為錨點(diǎn),展現(xiàn)了AI算力從底層架構(gòu)到行業(yè)落地的全鏈條革新。通過CANN分層開放、超節(jié)點(diǎn)架構(gòu)的極致效能,以及MindSpeed RL、MoE并行推理等前沿工具的發(fā)布,昇騰正為全球開發(fā)者構(gòu)建“所想即所得”的創(chuàng)新土壤。
昇騰CANN秉持全面深度開放理念,通過分層開放架構(gòu),計算、通信、內(nèi)存能力持續(xù)提升,精準(zhǔn)適配不同開發(fā)場景需求;發(fā)布CATLASS算子模板庫,通過提供aclGraph等細(xì)粒度運(yùn)行時接口;并全新升級了畢昇編譯器,使能開發(fā)者在算子層面的持續(xù)創(chuàng)新突破。
昇騰超節(jié)點(diǎn)架構(gòu)以突破性創(chuàng)新打破集群互聯(lián)瓶頸,通過技術(shù)革新實(shí)現(xiàn)節(jié)點(diǎn)間高效協(xié)同,讓集群運(yùn)行如同一臺強(qiáng)大計算機(jī),大幅提升整體計算效率。其構(gòu)建業(yè)界最大規(guī)模384卡高速總線互聯(lián)體系,相比傳統(tǒng)節(jié)點(diǎn),訓(xùn)練性能實(shí)現(xiàn)3倍飛躍,以強(qiáng)勁算力支撐大規(guī)模AI任務(wù)快速推進(jìn)。同時,超節(jié)點(diǎn)架構(gòu)深度適配MoE,充分釋放MoE模型潛力,為模型訓(xùn)練與推理提供高效支持,使昇騰成為MoE模型開發(fā)與應(yīng)用的最優(yōu)選擇,在AI計算領(lǐng)域樹立新標(biāo)桿。
全新發(fā)布的MindIE Motor在推理服務(wù)層加速,進(jìn)一步提升了大規(guī)模專家并行的能力,單卡吞吐達(dá)4倍傳統(tǒng)服務(wù)器堆疊,超節(jié)點(diǎn)+大EP方案性能達(dá)業(yè)界4倍,更好的保護(hù)客戶投資。同時帶來了多模態(tài)理解SDK和昇騰推理微服務(wù)MIS,大幅簡化了應(yīng)用的部署流程,更好的讓每位開發(fā)者聚焦應(yīng)用的創(chuàng)新。
AI時代,開發(fā)者是技術(shù)進(jìn)步和應(yīng)用落地的推動者,廣大開發(fā)者的智慧和貢獻(xiàn)是AI創(chuàng)新的源頭。前行路上,鯤鵬、昇騰攜手廣大開發(fā)者,心懷摯愛,共綻光芒。