當前，智源研究院的Triton算子庫FlagGems已成功融入浪潮信息的元腦企智EPAI平臺，該平臺專注于企業(yè)大模型的開發(fā)。這一整合將極大地促進企業(yè)在多元算力方面的適配與應用，實現更迅速、廣泛且高效的算力利用。

文字編輯｜ 宋雨涵

1

元腦企智EPAI

技術特點

元腦企智EPAI的核心在于其深度學習算法和多模態(tài)AI技術。該平臺通過深度學習算法，能夠處理和分析海量數據，從中提取有價值的商業(yè)洞察和趨勢。此外，EPAI結合了自然語言處理（NLP）和生成對抗網絡（GAN）的優(yōu)勢，能夠快速生成高質量的文本和圖像內容，極大提升了企業(yè)的創(chuàng)作效率。

在數據處理方面，EPAI提供了高效的數據處理工具，能夠幫助企業(yè)從復雜多樣的數據中生成高質量的微調數據和行業(yè)/企業(yè)知識庫。這些工具降低了數據篩選和處理的時間和成本，為企業(yè)大模型的落地提供了有力支持。

應用場景

元腦企智EPAI在多個應用場景中展現了其強大的功能。EPAI已成功應用于智能招投標助手場景，通過識別并抽取招標關鍵信息，構建企業(yè)知識庫，實現了招標參數的自動識別，提高了招標參數分析的效率和準確性。

此外，EPAI還支持智能客服、智能編程等應用場景。在智能客服領域，EPAI能夠為企業(yè)提供快速響應、高效解答的客服系統(tǒng)；在智能編程方面，EPAI能夠自動化生成和優(yōu)化代碼，提高開發(fā)人員的編程效率和質量。

優(yōu)勢分析

元腦企智EPAI的優(yōu)勢主要體現在以下幾個方面：

高效性：EPAI通過深度學習算法和多模態(tài)AI技術，實現了快速、準確的數據處理和內容生成，提高了企業(yè)的運營效率。

靈活性：EPAI提供了豐富的功能模塊和靈活的交互方式，企業(yè)可以根據自身需求自由組合和定制功能模塊，以適應不同的業(yè)務場景。

安全性：EPAI通過權限管理、數據加密、內容審查等工具，確保了數據的安全性和隱私保護，構建了一個安全可靠的數據處理環(huán)境。

易用性：EPAI的操作界面簡潔易用，提供了豐富的開發(fā)文檔和教程，降低了技術門檻，使得非專業(yè)研發(fā)人員也能輕松上手。

2

FlagGems基本介紹

技術背景與特點

開源與統(tǒng)一：FlagGems使用Triton語言開發(fā)，為多種AI芯片提供開源、統(tǒng)一、高效的算子層生態(tài)接入方案。旨在解決AI芯片生態(tài)割裂、算子庫各自實現的問題，推動基于Triton的統(tǒng)一、開源的軟硬件生態(tài)建設。

高性能與易用性：通過對PyTorch的后端aten算子進行覆蓋重寫，默認支持PyTorch的eager模式，實現算子庫的無縫替換。Triton語言為算子庫提供了更好的可讀性和易用性，且針對多種算子可以帶來良好的性能提升。

廣泛的算子支持：提供大模型算子總數超過120個，是目前提供算子數量最多、覆蓋廣度最大的Triton算子庫。支持多種類型的算子，包括基本數學運算、線性代數、科學計算、張量處理等。

應用場景與優(yōu)勢

加速模型推理與訓練：FlagGems能夠加速大模型的推理與訓練過程，提高計算效率。在訪存密集型算子上，有部分算子性能超越CUDA算子；在計算密集型算子上，基本追平CUDA算子；在融合算子上，全面優(yōu)于CUDA算子。

支持多元化AI芯片：已有多家芯片企業(yè)適配FlagGems，為大模型提供更多算力選擇。已在Nvidia GPU和其他非英偉達的全功能GPU上進行了訓練和測試，證明了其支持多元化AI芯片的能力。

降低開發(fā)門檻：開發(fā)者只需付出較低的學習成本，即可參與FlagGems的算子開發(fā)與建設。提供了豐富的開發(fā)文檔和教程，以及社區(qū)支持，幫助開發(fā)者快速上手。

深度融合 滿足開發(fā)需求

此次，智源研究院攜手浪潮信息，將FlagGems算子庫與元腦企智EPAI內置的核心計算框架進行深度融合，旨在確保大模型應用開發(fā)能夠使用高性能、跨硬件、多框架兼容的算子集合，順利跨越各類硬件架構，滿足多種開發(fā)框架的需求?，F在，基于元腦企智EPAI大模型開發(fā)平臺，企業(yè)可以利用針對大模型應用開發(fā)場景優(yōu)化的先進算子集合，在多種算力平臺上高效構建、優(yōu)化和執(zhí)行復雜的行業(yè)應用算法。在復雜的訓練任務及實時性要求嚴苛的推理場景中，均能實現穩(wěn)定且高效的運算性能。此外，企業(yè)也無需關心多元異構加速卡之間的軟硬件差異，真正實現大模型應用在跨算力平臺上的無縫開發(fā)與遷移。

3

開源開放

產業(yè)協(xié)作破解多元多模挑戰(zhàn)

在大型模型技術浪潮的推動下，算力產業(yè)正經歷著迅猛的發(fā)展。然而，硬件架構的多樣性、指令集的不同以及算子庫的獨立構建，卻為這一進程設置了重重障礙，顯著提升了企業(yè)在應用大型模型時的算力要求。因此，構建一個開放源代碼、統(tǒng)一標準且高效運作的多元算力系統(tǒng)生態(tài)，成為了當前亟需解決的問題。

“我們的元腦企智EPAI平臺，能夠為企業(yè)提供從底層算力到上層應用的全方位支持。同時，智源研發(fā)的FlagGems算子庫，具備高性能、跨硬件平臺以及多框架兼容的特性。這兩者如同精密的機械部件，確保了大型模型能夠在各種硬件架構上流暢運行，并滿足多種開發(fā)框架的需求。無論是復雜的訓練任務，還是需要高實時性的推理場景，主流大型模型都能通過我們的解決方案，跨越硬件壁壘，實現穩(wěn)定且高效的運行，性能與原生模型相當。

——林詠華，智源研究院副院長兼總工程師

在多元化、多模態(tài)的產業(yè)背景下，AI的產業(yè)化關鍵在于推動其與各行各業(yè)的深度融合。浪潮信息的元腦企智EPAI企業(yè)大模型開發(fā)平臺與智源通用算子庫FlagGems的全面對接，正是我們雙方為解決生態(tài)離散、降低大模型產業(yè)化過程中的算力轉化和開發(fā)復雜度等挑戰(zhàn)所采取的關鍵舉措。這將為AI應用的創(chuàng)新提供更為強大且多元化的算力支持，推動構建一個協(xié)同、開放、共贏的多元算力系統(tǒng)生態(tài)，從而充分釋放智能生產的潛力。”

——浪潮信息的高級副總裁劉軍

結語

展望未來，浪潮信息與智源研究院將并肩前行，不斷深化硬件的開放與軟件的開源，通過開源開放和多元多模的策略激發(fā)創(chuàng)新活力，以多元算力系統(tǒng)生態(tài)加速創(chuàng)新的實踐步伐，共同建設一個更加高效、靈活且開放的人工智能應用生態(tài)。

lixiangjing

算力豹主編