三個月前，Meta開源Llama2系列大模型，包括7B、13B、70B等多個版本，它們均基于超過2萬億tokens數(shù)據(jù)集訓(xùn)練而成。封神榜團(tuán)隊(duì)在Llama2-13B的基礎(chǔ)上，進(jìn)行了650B tokens自建高質(zhì)量中英文數(shù)據(jù)集的繼續(xù)訓(xùn)練，最終訓(xùn)練出Ziya2-13B系列模型，彌補(bǔ)Llama2中文能力不足的問題。

今年5月，封神榜團(tuán)隊(duì)曾基于LLaMA一代推出了Ziya-LLaMA-13B模型并開源，迅速成為LLaMA生態(tài)里最好的中文基座模型。相較于Ziya-LLaMA-13B，Ziya2-13B-Base的初始訓(xùn)練loss值更低，訓(xùn)練速度提升38%，還解決了訓(xùn)練后期不穩(wěn)定的問題。

評測結(jié)果顯示，Ziya2-13B-Base模型在中文、英文、數(shù)學(xué)、代碼等下游理解任務(wù)上的表現(xiàn)均明顯優(yōu)于Llama2-13B和Ziya-LLaMA-13B。

依托于Ziya2-13B-Base強(qiáng)大的基礎(chǔ)能力，封神榜團(tuán)隊(duì)優(yōu)化了SFT階段的訓(xùn)練策略，在300B tokens 預(yù)訓(xùn)練的Ziya2-13B-Base模型基礎(chǔ)上，使用約40萬指令樣本和8K上下文窗口，訓(xùn)練出對話模型Ziya2-13B-Chat。此外，還在數(shù)萬條高質(zhì)量人類偏好數(shù)據(jù)訓(xùn)練的獎勵模型上，針對多種問答、寫作以及安全任務(wù)進(jìn)行了強(qiáng)化學(xué)習(xí)訓(xùn)練，使Ziya2-13B-Chat模型的輸出更貼合人類偏好，具有更高的安全性。

評測結(jié)果顯示，Ziya2-13B-Chat模型與Ziya-LLaMA-13B-v1.1模型在side-by-side評測下取得了66.5%的勝率，相較于人類反饋強(qiáng)化學(xué)習(xí)前的版本取得了58.4%的勝率。

魔搭社區(qū)基于Ziya2-13B-Chat模型開發(fā)了體驗(yàn)接口，普通用戶可以直接體驗(yàn)或使用模型；魔搭公眾號也推出了最佳實(shí)踐教程，提前跑通模型的部署、推理和微調(diào)，供開發(fā)者參考。

作為魔搭社區(qū)的重要合作伙伴，封神榜團(tuán)隊(duì)開源的系列大模型都把魔搭作為首發(fā)平臺，這些模型也在開發(fā)者群體中廣受歡迎。

阿里云魔搭是國內(nèi)規(guī)模最大、開發(fā)者最活躍的AI模型社區(qū)，已聚集國內(nèi)30多家頭部人工智能機(jī)構(gòu)貢獻(xiàn)的1200多款優(yōu)質(zhì)AI模型，并提供一站式的模型體驗(yàn)、下載、推理、調(diào)優(yōu)、定制等服務(wù)，模型總下載量已突破 8500萬次。

附：
Ziya2-13B-Base開源地址：
https://modelscope.cn/models/Fengshenbang/Ziya2-13B-Base

Ziya2-13B-Chat開源地址：
https://modelscope.cn/models/Fengshenbang/Ziya2-13B-Chat

魔搭創(chuàng)空間鏈接：
https://modelscope.cn/studios/Fengshenbang/Ziya2_13B_chat/summary

魔搭最佳實(shí)踐教程：
https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486897&idx=1&sn=0cddc4c1e739d66e6250353796dc99e5&chksm=c15e89c2f62900d4555b36a5bef058a196f8ed47f0d5b5cb306dfc8cdf5f930ff9eef67d7634#rd

xiesc