螞蟻集團副總裁徐鵬介紹百靈大模型原生多模態(tài)能力

據了解,百靈大模型多模態(tài)能力,在中文圖文理解MMBench-CN評測集上達到GPT-4o水平,在信通院多模態(tài)安全能力評測達到優(yōu)秀級(最高),具備支持規(guī)?;瘧玫哪芰Γ苤С諥IGC、圖文對話、視頻理解、數(shù)字人等一系列下游任務。

多模態(tài)大模型技術能夠使AI更好地理解人類世界的復雜信息,也讓AI落地應用時更符合人類的交互習慣,在智能客服、自動駕駛、醫(yī)療診斷等多個領域展現(xiàn)出巨大的應用潛力。

螞蟻集團有著豐富的應用場景,百靈大模型的多模態(tài)能力,也已被應用在生活服務、搜索推薦、互動娛樂等場景。在生活服務上,螞蟻集團使用多模態(tài)模型實現(xiàn)了ACT技術,讓智能體具備一定規(guī)劃執(zhí)行能力,比如根據用戶語音指定直接在星巴克小程序下單一杯咖啡,目前這一功能已在支付寶智能助理上線。在醫(yī)療領域,多模態(tài)能力為用戶實現(xiàn)復雜任務的操作,可以對超過100多種復雜的醫(yī)學檢驗檢測報告進行識別和解讀,還可以檢測毛發(fā)健康和脫發(fā)情況,對治療提供輔助。

發(fā)布現(xiàn)場,螞蟻集團副總裁徐鵬展示了新升級的多模態(tài)技術可實現(xiàn)的更多應用場景:通過視頻對話的自然形式,AI助理能為用戶識別穿著打扮,給出約會的搭配建議;根據用戶不同的意圖,從一堆食材中搭配出不同的菜譜組合;根據用戶描述的身體癥狀,從一批藥物中,挑選出可能合適的藥,并讀出服用指導,供用戶參考等。

論壇上同時發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”,便是這一探索的實踐。據了解,支付寶多模態(tài)醫(yī)療大模型添加了包含報告、影像、藥品等多模態(tài)信息在內的百億級中英文圖文、千億級醫(yī)療文本語料、以及千萬級高質量醫(yī)療知識圖譜,具備專業(yè)醫(yī)學知識,在中文醫(yī)療 LLM 評測榜單 promptCBLUE 上,取得 A 榜第一,B 榜第二的成績。

基于百靈大模型多模態(tài)能力,由螞蟻集團與武漢大學聯(lián)合研發(fā)的遙感模型SkySense,也在論壇上公布了開源計劃。SkySense是目前參數(shù)規(guī)模最大、覆蓋任務最全、識別精度最高的多模態(tài)遙感基礎模型。

“從單一的文本語義理解,到多模態(tài)能力,是人工智能技術的關鍵迭代,而多模態(tài)技術催生的‘看聽說寫畫’的應用場景,將讓AI的表現(xiàn)更真實,更接近人類,從而也能更好地服務人類。螞蟻會持續(xù)投入原生多摸態(tài)技術的研發(fā)。”徐鵬說。

分享到

xiesc

相關推薦