在過去十年中，Arm進(jìn)行了大量投資，并優(yōu)化性能，實(shí)現(xiàn)AI算子延展與部署簡(jiǎn)化，與生態(tài)伙伴更是在智能家居、智能零售與智能制造等領(lǐng)域不斷創(chuàng)新，從優(yōu)化各類傳感器必需的嵌入式處理器以實(shí)現(xiàn)超低成本、低功耗和小面積并支持控制級(jí)代碼的開發(fā)，到推出增強(qiáng)算力與安全的Armv8-M和Arm TrustZone，嵌入式領(lǐng)域的Armv8.1-M，以及發(fā)布使CPU能夠執(zhí)行更多計(jì)算密集型的AI推理算法的Arm Helium技術(shù)，乃至迎合更高性能和更復(fù)雜AI工作負(fù)載的Arm Ethos系列AI加速器，應(yīng)用層級(jí)也從家庭向企業(yè)級(jí)、工業(yè)5.0并舉，進(jìn)展令人振奮。

生態(tài)是計(jì)算之本。Arm軟硬件計(jì)算平臺(tái)吸引了各方生態(tài)創(chuàng)新，例如恩智浦半導(dǎo)體(NXP)的i.MX系列、瑞薩電子(Renesas)的RA8系列、英飛凌(Infineon)的PSoC Edge和Alif Semiconductor的Ensemble等邊緣AI芯片方案，帶動(dòng)著邊緣AI的革新。

目前，全球90%的AI都運(yùn)行在基于Arm架構(gòu)的CPU上，這些持續(xù)投入使Arm成為全球最普遍的AI計(jì)算平臺(tái)之一，吸引了越來越多的開發(fā)者加入。

兩款新品亮相

4月9日，Arm智能物聯(lián)產(chǎn)品組合中又新增一些新成員。

1）新一代AI微加速器：Arm Ethos-U85 NPU

Arm Ethos-U NPU系列是業(yè)界首款A(yù)I微加速器，英飛凌、恩智浦半導(dǎo)體、奇景光電(Himax)、Alif Semiconductor和Synaptics等領(lǐng)先企業(yè)均已推出搭載Ethos-U的量產(chǎn)芯片。

與上一代產(chǎn)品相比，Arm Ethos-U85為高性能邊緣AI應(yīng)用帶來了四倍的性能提升、20%的能效提升，并保持了一致工具鏈，實(shí)現(xiàn)了無縫的開發(fā)者體驗(yàn)。它支持128到2048個(gè)MAC單元的配置，在最高性能配置下提供4TOPs的AI算力，以可持續(xù)的方式支持未來的應(yīng)用場(chǎng)景。

Ethos-U85不僅提供卷積神經(jīng)網(wǎng)絡(luò)(CNN)所需的權(quán)重矩陣乘的運(yùn)算，還支持矩陣相乘——這是Transformer架構(gòu)網(wǎng)絡(luò)的基本組成部分，這是優(yōu)化大模型邊緣落地微調(diào)時(shí)間、提升模型泛化的關(guān)鍵特性。

基于Transformer的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動(dòng)新AI應(yīng)用的發(fā)展。Transformer在視覺和生成式AI用例中，比如視頻理解、圖文結(jié)合，圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測(cè)等方面都極有價(jià)值。Transformer架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計(jì)算來實(shí)現(xiàn)，提高硬件使用效率，使得這些模型能夠部署在計(jì)算資源有限的邊緣設(shè)備上。開發(fā)者可以通過選用針對(duì)Transformer架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)，發(fā)掘邊緣AI的新機(jī)遇，使這些應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性。

支持低功耗MCU系統(tǒng)中AI加速的Ethos-U85在高性能邊緣計(jì)算系統(tǒng)中，也得到越來越多諸如Linux等標(biāo)準(zhǔn)操作系統(tǒng)和高級(jí)開發(fā)語言應(yīng)用處理器的加快部署，這種模式更有利于云原生開發(fā)和云邊端負(fù)載調(diào)度。在處理數(shù)據(jù)量日益增長(zhǎng)的AI應(yīng)用系統(tǒng)中，這個(gè)趨勢(shì)尤為顯著：借助Armv9 Cortex-A CPU的加持，Ethos-U85為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺(tái)上運(yùn)行的AI任務(wù)實(shí)現(xiàn)加速。

這意味著Ethos-U85將在工業(yè)機(jī)器視覺、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用中帶來高效能的邊緣推理。

2）全新智能物聯(lián)參考設(shè)計(jì)平臺(tái)：Arm Corstone-320

Corstone-320包含了Cortex-M系列最高性能的嵌入式處理器Cortex-M85與全新的Ethos-U85 NPU AI加速器組成，用于幫助合作伙伴簡(jiǎn)化系統(tǒng)開發(fā)；Corstone-320還包含Arm Mali-C55 ISP，針對(duì)邊緣MCU和傳感器系統(tǒng)越來越依賴于視覺和圖像感知，以實(shí)現(xiàn)為視覺應(yīng)用優(yōu)化的低功耗系統(tǒng)，這個(gè)參考設(shè)計(jì)是針對(duì)實(shí)際工作負(fù)載開發(fā)的，參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭。

Corstone-320參考設(shè)計(jì)提供了有安全保證的軟硬件組合，使得在此參考設(shè)計(jì)基礎(chǔ)上開發(fā)的合作伙伴能夠順利地通過PSA Certified Level 2認(rèn)證，實(shí)現(xiàn)對(duì)區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)。Arm堅(jiān)信，通過Corstone-320預(yù)先集成、預(yù)先驗(yàn)證的參考設(shè)計(jì)模版，必定能幫助合作伙伴減少邊緣智能芯片開發(fā)的成本和時(shí)間。

在提供芯片計(jì)算子系統(tǒng)IP組合之外，Corstone-320還附帶了軟件、AI模型庫(kù)和開發(fā)工具，以實(shí)現(xiàn)軟件的復(fù)用；附帶仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件(Arm Virtual Hardware)以及單獨(dú)的CPU和NPU的固定虛擬平臺(tái)(FVP)模型，可簡(jiǎn)化開發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開發(fā)。

這種提供邊緣AI和智能物聯(lián)網(wǎng)計(jì)算子系統(tǒng)全套軟硬件和工具鏈的方法，使得合作伙伴能夠在一系列性能點(diǎn)上快速開發(fā)，并聚焦于打造差異化價(jià)值。

Arm計(jì)算平臺(tái)：優(yōu)勢(shì)在握

1）簡(jiǎn)單易用

簡(jiǎn)單易用才更適于普及推廣。這也是隨著邊緣AI的持續(xù)擴(kuò)展，物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們?cè)絹碓絽R聚在Arm計(jì)算平臺(tái)的原因。Arm計(jì)算平臺(tái)提供了AI從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性和功能，實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu)，并采用統(tǒng)一工具鏈的AI轉(zhuǎn)型。

2）開源開放

包括開發(fā)者、數(shù)據(jù)科學(xué)家、學(xué)術(shù)界在內(nèi)的AI研究開發(fā)社區(qū)，在持續(xù)受益于Arm生態(tài)系統(tǒng)與合作伙伴提供豐富信息與知識(shí)的同時(shí)，也圍繞Arm計(jì)算平臺(tái)構(gòu)建日益增長(zhǎng)的軟件和工具生態(tài)系統(tǒng)，以及開源軟件庫(kù)和AI框架。比如為人熟知的PyTorch開源ML框架，廣泛用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，而PyTorch基金會(huì)投資邊緣AI，發(fā)布針對(duì)移動(dòng)和邊緣設(shè)備推理工具包ExecuTorch，提供了輕量級(jí)運(yùn)行時(shí)(Runtime)和算子注冊(cè)表，覆蓋了PyTorch生態(tài)系統(tǒng)中的各類模型。

Arm特有的IP授權(quán)許可模式和開放生態(tài)，使得OEM和ODM可以有多種基于Arm架構(gòu)和計(jì)算平臺(tái)的芯片與模組選擇，更靈活地開發(fā)適于最終應(yīng)用的系統(tǒng)方案。

3）需求平衡

高性能的處理能力往往伴隨著更高的功耗，而邊緣設(shè)備往往對(duì)功耗和成本都有著嚴(yán)格限制。因此，在設(shè)計(jì)邊緣AI芯片和系統(tǒng)時(shí)，需要在計(jì)算能力和能效之間找到合適的平衡。

與此同時(shí)，隨著越來越多的數(shù)據(jù)在邊緣被處理，數(shù)據(jù)安全和隱私保護(hù)變得尤為重要。這要求芯片設(shè)計(jì)必須包含加密和安全功能。

邊緣用例五花八門，傳統(tǒng)物聯(lián)網(wǎng)市場(chǎng)存在碎片化，需要統(tǒng)一多樣化的應(yīng)用要求，才能達(dá)到規(guī)?；б?，軟件定義和適于軟件移植的標(biāo)準(zhǔn)更是必不可少，Arm在IP、參考設(shè)計(jì)和軟件標(biāo)準(zhǔn)上持續(xù)投入，從而幫助整個(gè)邊緣AI生態(tài)應(yīng)對(duì)這些挑戰(zhàn)。

全新的Ethos-U85和Corstone-320參考設(shè)計(jì)平臺(tái)，滿足了邊緣AI用例對(duì)更高性能計(jì)算的需求，為最新的AI模型、框架提供了原生支持，并沿用Arm軟件與AI開發(fā)者已經(jīng)熟知的工具鏈，具有投資復(fù)用、上手容易等優(yōu)勢(shì)。這些最新的產(chǎn)品與參考設(shè)計(jì)加入了豐富的IP產(chǎn)品和技術(shù)組合中，使Arm技術(shù)能夠覆蓋更廣泛、多樣化的智能物聯(lián)網(wǎng)應(yīng)用，并滿足最新邊緣AI市場(chǎng)的性能、成本和能效需求。

4）全面生態(tài)

AI的普及與大模型和生成式AI的迅猛發(fā)展，為物聯(lián)網(wǎng)生態(tài)系統(tǒng)帶來了前所未有的發(fā)展機(jī)遇。Arm也在與一系列軟件算法與工具伙伴合作，以確保為邊緣AI系統(tǒng)開發(fā)者提供其所需的工具和支持，借助足夠的技術(shù)廣度和經(jīng)驗(yàn)，強(qiáng)有力地支持整個(gè)邊緣計(jì)算生態(tài)系統(tǒng)抓住AI機(jī)遇。

Arm：邊緣AI計(jì)算領(lǐng)域的領(lǐng)導(dǎo)者

從Cortex-M嵌入式處理器的Helium矢量增強(qiáng)指令集，到Cortex-A應(yīng)用處理器的SVE、SVE2、SME對(duì)矢量和矩陣運(yùn)算的優(yōu)化，再到Ethos-U AI加速器，隨著邊緣AI的持續(xù)發(fā)展，Arm始終處于推動(dòng)市場(chǎng)和技術(shù)進(jìn)步的核心地位，且決不止步于此。

邊緣AI還將隨著大模型和生成式AI崛起，用戶體驗(yàn)的持續(xù)提升、數(shù)據(jù)量激增以及企業(yè)對(duì)數(shù)據(jù)價(jià)值的認(rèn)可，推動(dòng)行業(yè)的巨大變化，如在設(shè)備上實(shí)現(xiàn)實(shí)時(shí)語言翻譯等。隨著大模型持續(xù)通過量化、剪枝和聚類技術(shù)來縮減優(yōu)化，以更適于在邊緣和超級(jí)終端設(shè)備部署，大小模型云邊端結(jié)合正成為未來AI產(chǎn)品的重要發(fā)展趨勢(shì)與AI應(yīng)用賦能行業(yè)發(fā)展的重要方向，生態(tài)系統(tǒng)中的開發(fā)者正在樹莓派設(shè)備上評(píng)估運(yùn)行包括LLaMA等在內(nèi)的大模型。

邊緣部署大模型和生成式AI用例指日可待，而Arm已經(jīng)為此做好準(zhǔn)備，來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI結(jié)合的性能與效率極限。

智能必須無處不在，云邊端缺一不可。

邊緣側(cè)Arm架構(gòu)芯片的支持，關(guān)系到各行各業(yè)智能化的成敗。此次Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系統(tǒng)的快速落地，促進(jìn)未來多模態(tài)智能應(yīng)用的全方位部署；Arm將與生態(tài)伙伴們砥礪奮進(jìn)，釋放前所未有的AI潛力。

【本文根據(jù)Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma在發(fā)布會(huì)上演講整理，有刪節(jié)】

xiesc