▲ 文心4.5系列模型在Benchmark上效果體現(xiàn)

百度此次開源不僅是模型權(quán)重和代碼的開放，更配套升級(jí)了全棧開發(fā)工具鏈：

• 文心大模型開發(fā)套件ERNIEKit：提供開箱即用的模型微調(diào)工具

• 大模型高效部署套件FastDeploy：支持多種芯片適配，降低部署門檻

• 廣泛硬件兼容性：支持從云端服務(wù)器到邊緣設(shè)備的全場(chǎng)景部署

這種“模型+工具鏈”的開源模式，標(biāo)志著百度從單純的技術(shù)輸出轉(zhuǎn)向生態(tài)構(gòu)建的戰(zhàn)略升級(jí)。

2

文心4.5系列開源模型核心技術(shù)亮點(diǎn)

多模態(tài)異構(gòu)架構(gòu)領(lǐng)跑AGI賽道

文心4.5系列的核心創(chuàng)新，在于其針對(duì)MoE架構(gòu)提出的多模態(tài)異構(gòu)模型結(jié)構(gòu)。這一設(shè)計(jì)解決了從大語言模型向多模態(tài)模型持續(xù)預(yù)訓(xùn)練的關(guān)鍵難題——在保持文本任務(wù)性能的同時(shí)，顯著增強(qiáng)多模態(tài)理解能力。

關(guān)鍵技術(shù)突破點(diǎn)包括：

■ 多模態(tài)混合專家模型預(yù)訓(xùn)練

通過模態(tài)隔離路由和異構(gòu)專家并行策略，實(shí)現(xiàn)文本與視覺模態(tài)的聯(lián)合訓(xùn)練，避免模態(tài)間干擾。

■ 高效訓(xùn)練推理框架

為了支持文心4.5模型的高效訓(xùn)練，百度提出了異構(gòu)混合并行和多層級(jí)負(fù)載均衡策略。通過節(jié)點(diǎn)內(nèi)專家并行、顯存友好的流水線調(diào)度、FP8混合精度訓(xùn)練和細(xì)粒度重計(jì)算等多項(xiàng)技術(shù)，顯著提升了預(yù)訓(xùn)練吞吐。

推理方面，提出了多專家并行協(xié)同量化方法和卷積編碼量化算法，實(shí)現(xiàn)了效果接近無損的4-bit 量化和2-bit 量化。此外，我們還實(shí)現(xiàn)了動(dòng)態(tài)角色轉(zhuǎn)換的預(yù)填充、解碼分離部署技術(shù)，可以更充分地利用資源，提升文心4.5 MoE 模型的推理性能。基于飛槳框架，文心4.5在多種硬件平臺(tái)均表現(xiàn)出優(yōu)異的推理性能。

■ 針對(duì)模態(tài)的后訓(xùn)練

每個(gè)模型采用了 SFT、DPO或UPO（Unified Preference Optimization，統(tǒng)一偏好優(yōu)化技術(shù)）的多階段后訓(xùn)練。

市場(chǎng)格局的重塑：

從“堆參數(shù)”到“重效率”的轉(zhuǎn)向

開源浪潮推動(dòng)了市場(chǎng)格局從“參數(shù)競(jìng)賽”向“效率競(jìng)爭(zhēng)”的轉(zhuǎn)向。傳統(tǒng)閉源模型依賴高額授權(quán)費(fèi)構(gòu)建商業(yè)模式，而開源模型通過免費(fèi)策略快速占領(lǐng)開發(fā)者市場(chǎng)，再通過云服務(wù)、行業(yè)定制等增值服務(wù)實(shí)現(xiàn)盈利。例如，百度文心一言的免費(fèi)開放，雖面臨短期虧損壓力，但通過擴(kuò)大用戶基礎(chǔ)，為后續(xù)商業(yè)服務(wù)鋪路。阿里則聚焦基礎(chǔ)模型研發(fā)，中小企業(yè)基于開源開發(fā)垂直場(chǎng)景應(yīng)用，形成“大模型后市場(chǎng)”，覆蓋醫(yī)療、電力、金融等領(lǐng)域，衍生出智能巡檢、AI客服等解決方案。

端側(cè)智能與隱私保護(hù)需求的崛起，進(jìn)一步加速了市場(chǎng)分化。開源模型推動(dòng)端側(cè)AI爆發(fā)，聯(lián)想、華為等廠商在PC、手機(jī)端部署本地化模型，實(shí)現(xiàn)隱私數(shù)據(jù)零上傳。DeepSeek開源的低成本推理技術(shù)，使消費(fèi)級(jí)顯卡可運(yùn)行億級(jí)參數(shù)模型，加速了智能終端的普惠化。這種“端側(cè)+行業(yè)”的創(chuàng)新模式，不僅解決了通用云端模型的差異化需求難題，還通過訓(xùn)推一體機(jī)廠商的硬件優(yōu)化，將模型部署周期從月級(jí)縮短至天級(jí)，推動(dòng)了AI在制造、能源等高隱私要求行業(yè)的落地。

結(jié)語：

百度通過開源文心4.5系列，不僅展示了在多模態(tài)架構(gòu)、高效訓(xùn)練、量化技術(shù)上的領(lǐng)先性，更以實(shí)際行動(dòng)力推大模型技術(shù)普惠。文心4.5系列的開源，恰是為這場(chǎng)效率革命按下了加速鍵。當(dāng)技術(shù)民主化的浪潮席卷產(chǎn)業(yè)，真正的贏家或許是那些在開源土壤中破土而出的萬千創(chuàng)新者——他們手執(zhí)效率之刃，正在切開智能世界的新截面。

lixiangjing

算力豹主編