該評選為攻堅算力領(lǐng)域中的熱點、難點和關(guān)鍵問題設(shè)立,秉承“開創(chuàng)性、引領(lǐng)性、權(quán)威性、公平性”原則,旨在發(fā)掘在算力或相關(guān)產(chǎn)業(yè)達到全球領(lǐng)先水平的基礎(chǔ)理論、創(chuàng)新方法、方法模式和平臺應(yīng)用的創(chuàng)新成果。評審委員會由中國科學(xué)院院士、中國工程院院士、知名高校及科研機構(gòu)專家、領(lǐng)軍企業(yè)技術(shù)帶頭人組成,集聚中國算力相關(guān)領(lǐng)域最具影響力的專家學(xué)者。
“PAI靈駿智算服務(wù)”是阿里云面向高速增長的AI計算需求打造的算力基礎(chǔ)設(shè)施服務(wù),可一站式為企業(yè)及開發(fā)者提供AI開發(fā)全流程的工程平臺和智能算力。它具有超大并行計算規(guī)模、高性能、高效率、高利用率等特點,具備高達10萬卡量級的集群可擴展規(guī)模,能支撐多個萬億參數(shù)大模型同時訓(xùn)練,其中單訓(xùn)練任務(wù)可達萬卡規(guī)模,千卡規(guī)模的線性擴展效率達92%。
在此前實踐錘煉中,PAI靈駿智算服務(wù)穩(wěn)定支撐了10萬億參數(shù)多模態(tài)大模型的低能耗訓(xùn)練,在通義千問等大模型的訓(xùn)練和應(yīng)用中,將大模型訓(xùn)練效率顯著提高近 10 倍,推理效率提升2倍以上。
該評選認為,阿里云PAI靈駿智算服務(wù)“以高性能網(wǎng)絡(luò)、高性能文件存儲、高穩(wěn)定性、極致軟硬件聯(lián)合優(yōu)化能力和serverless化服務(wù)能力,為大模型研究、AI for Science、AIGC等場景提供堅實支撐”。
PAI靈駿智算服務(wù)在多個核心技術(shù)領(lǐng)域具備領(lǐng)先性和創(chuàng)新性。動輒上千億參數(shù)的大模型訓(xùn)練,并非靠簡單“堆顯卡”就能完成,而是囊括底層算力、網(wǎng)絡(luò)、存儲、數(shù)據(jù)計算、AI框架等復(fù)雜技術(shù)的系統(tǒng)性工程。除了要通過精巧的設(shè)計實現(xiàn)超大計算工程落地外,還要做到“又快又省”,“榨干每一滴算力性能”。
在IaaS基礎(chǔ)設(shè)施層,阿里云打造了智能計算集群靈駿,通過端網(wǎng)一體、軟硬融合的可預(yù)期網(wǎng)絡(luò)技術(shù)對集群計算資源進行統(tǒng)籌和優(yōu)化,實現(xiàn)芯片間微秒級穩(wěn)定互聯(lián)和高效并行計算。相關(guān)技術(shù)創(chuàng)新大幅消除了AI算力拓展性瓶頸,靈駿集群規(guī)模最大可拓展至“10萬卡級”,能為大模型的開發(fā)和應(yīng)用提供靈活多尺度的智能算力,對上層平臺應(yīng)用提供便捷的容器化服務(wù)。
在PaaS平臺服務(wù)層,阿里云機器學(xué)習(xí)平臺PAI可對龐大訓(xùn)練任務(wù)進行自動分拆和分配,通過硬件、網(wǎng)絡(luò)、框架一體化協(xié)同調(diào)度能力,提供速度最快、算力最省的高性能分布式訓(xùn)練方案。同時,PAI配置了自動容錯訓(xùn)練框架AIMaster,在大語言模型動輒數(shù)周、數(shù)月的訓(xùn)練周期中,提供極致的穩(wěn)定性保障,減少人工介入成本,可將大模型訓(xùn)練時間縮短10倍。此外,PAI提供簡單易用的RLHF強化學(xué)習(xí)框架,能大幅提升大語言模型效果表現(xiàn)。
PAI靈駿智算服務(wù)還推出了國內(nèi)首個serverless化智算服務(wù)模式,提供一鍵開通、按需分配、極簡運維的用戶體驗,支持AI計算資源靈活復(fù)用,可大幅提升集群利用率,降低客戶的使用成本。
據(jù)了解,阿里云PAI靈駿智算服務(wù)已被眾多企業(yè)及科研單位應(yīng)用。阿里云與小鵬汽車合建的智算中心“扶搖”成為國內(nèi)最大的自動駕駛智算中心,將小鵬汽車自動駕駛模型訓(xùn)練速度提升170倍以上。阿里云與復(fù)旦大學(xué)共同打造的云上智算平臺CFFF,近期發(fā)布了45億參數(shù)量的中短期天氣預(yù)報大模型,將預(yù)測速度從原來的小時級縮短到了3秒內(nèi)。