這塊長的像M.2 SSD的AI擴容卡,除了支持對英偉達的顯卡擴容顯存以外,也支持對天數(shù)智芯的算力方案進行擴容。
官方介紹提到,銓興科技通過超顯存融合技術(shù),可將單機顯存最高擴展至8TB,成功實現(xiàn)了DeepSeek-R1 671B大模型極低成本的全參訓練,成本相比行業(yè)平均水平降低95%。
銓興科技聯(lián)合浪潮云發(fā)布了內(nèi)置DeepSeek滿血版模型的海若一體機,可為政企客戶提供大模型智能應用落地的一體化解決方案。
DeepSeek-R1 671B的訓練使用了2048張H800顯卡,成本約為4千萬人民幣。
而銓興科技的訓推一體機只用16張顯卡,就能完成DeepSeek-R1 671B模型的訓練,訓練的硬件成本不到150萬元人民幣,較行業(yè)平均水平降低95%以上。
要做到這點,需要兩項關(guān)鍵技術(shù):
自研的添翼AI擴容卡。添翼AI擴容卡通過顯存擴展技術(shù),可將單機顯存容量提升至8TB,大幅超越傳統(tǒng)GPU架構(gòu)的顯存數(shù)量,顯著提升了硬件資源利用率,滿足超大規(guī)模模型的訓練需求。
自研AI Link訓練框架。銓興科技優(yōu)化了分布式訓練中的通信效率和資源調(diào)度,實現(xiàn)顯卡與擴容卡的高效協(xié)同,大幅降低硬件門檻。
銓興科技訓推一體機推出后,顯著降低AI企業(yè)模型研發(fā)成本。在降低成本的同時,仍能確保模型訓練的完整性和性能,訓練效果媲美傳統(tǒng)高端集群。
銓興科技訓推一體機支持以單機完成訓練和推理任務,簡化了分布式系統(tǒng)的復雜性和運維難度。此外,它還支持模塊化擴容,可從小規(guī)模模型訓練平滑過渡到萬億級參數(shù)模型的訓練需求。
據(jù)了解,銓興科技核心自研技術(shù)已在多個領(lǐng)域?qū)崿F(xiàn)落地應用,包括智慧政務、智慧法務、高??蒲小⒔鹑陲L控、高校教育、算力中心。
這種技術(shù)固然令人為之振奮,但目前關(guān)于添翼AI擴容卡的公開資料還比較少,并不知道其具體的工作原理,也不清楚相對于純HBM(或者GDDR)顯存會有哪些性能差異。
想要了解這些信息,歡迎大家關(guān)注2025年3月27日即將舉辦的2025人工智能基礎設施峰會,銓興科技的專家將在現(xiàn)場進行解讀和分享。