隨著Scaling Law持續(xù)推動(dòng)模型能力躍升，以DeepSeek為代表的開源模型極大的降低了創(chuàng)新門檻，加速智能體產(chǎn)業(yè)化的到來。智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中模型能力決定了智能體的應(yīng)用上限，交互速度決定了智能體的商業(yè)價(jià)值，token成本決定了智能體的盈利能力。

僅需8.9毫秒！元腦SD200引領(lǐng)token生成速度率先進(jìn)入“10毫秒時(shí)代”

浪潮信息最新公布，基于元腦SD200超節(jié)點(diǎn)AI服務(wù)器運(yùn)行DeepSeek R1大模型，單token生成速度低至8.9毫秒，帶動(dòng)國內(nèi)AI服務(wù)器token生成速度率先進(jìn)入“10毫秒時(shí)代”。

元腦SD200基于創(chuàng)新研發(fā)的多主機(jī)低延遲內(nèi)存語義通信架構(gòu)，在單機(jī)內(nèi)實(shí)現(xiàn)了64路本土AI芯片的高速統(tǒng)一互連，單機(jī)可承載4萬億參數(shù)單體模型，或部署多個(gè)萬億參數(shù)模型組成的智能體應(yīng)用，實(shí)現(xiàn)多模型協(xié)同執(zhí)行復(fù)雜任務(wù)。為實(shí)現(xiàn)極低的通信延遲，元腦SD200采用精簡(jiǎn)高效的三層協(xié)議棧，原生支持多種內(nèi)存語義操作，避免冗余數(shù)據(jù)拷貝，將基礎(chǔ)通信延遲降至百納秒級(jí)，硬件化鏈路層重傳與分布式預(yù)防式流控進(jìn)一步適配高吞吐、低延遲的 AI 推理場(chǎng)景。

元腦HC1000，推理成本首次擊破1元/每百萬token

浪潮信息重磅發(fā)布元腦HC1000超擴(kuò)展AI服務(wù)器，基于全新開發(fā)的全對(duì)稱DirectCom極速架構(gòu)，無損超擴(kuò)展設(shè)計(jì)聚合海量本土AI芯片、支持極大推理吞吐量，推理成本首次擊破1元/每百萬token，為智能體突破token成本瓶頸提供極致性能的創(chuàng)新算力系統(tǒng)。

元腦HC1000通過全面優(yōu)化降本和軟硬協(xié)同增效，創(chuàng)新16卡計(jì)算模組設(shè)計(jì)、單卡“計(jì)算-顯存-互連”均衡設(shè)計(jì)，大幅降低單卡成本和每卡系統(tǒng)分?jǐn)偝杀?。同時(shí)，全對(duì)稱的系統(tǒng)拓?fù)湓O(shè)計(jì)支持超大規(guī)模無損擴(kuò)展。據(jù)測(cè)算，元腦HC1000通過算網(wǎng)深度協(xié)同、全域無損技術(shù)，實(shí)現(xiàn)推理性能相比傳統(tǒng)RoCE提升1.75倍，單卡模型算力利用率最高提升5.7倍。

未來，智能體帶來的推理算力需求將呈現(xiàn)出指數(shù)級(jí)的爆發(fā)式增長。浪潮信息將通過軟硬件協(xié)同設(shè)計(jì)與深度優(yōu)化，持續(xù)推動(dòng)AI計(jì)算架構(gòu)的創(chuàng)新與突破，不斷實(shí)現(xiàn)token生成“提速降本”，積極促進(jìn)大模型、智能體等人工智能技術(shù)與實(shí)體經(jīng)濟(jì)的深度融合，讓人工智能成為千行百業(yè)的生產(chǎn)力和創(chuàng)新力。

lixiangjing

算力豹主編