MathGLM包含10M、100M、500M、2B等多個參數(shù)版本，具備處理最多12位數(shù)字的運算能力。而且有測評結(jié)果顯示，通過充分的數(shù)據(jù)訓(xùn)練，MathGLM-2B可以準確執(zhí)行多位數(shù)的算術(shù)運算，準確率高達93.03%（接近100%），顯著超越GPT-4在相同測試數(shù)據(jù)上18.84%的準確率。10億參數(shù)版本的MathGLM-10B則在5000條中文數(shù)學(xué)應(yīng)用題的測試數(shù)據(jù)集上實現(xiàn)了接近GPT-4的性能。

MathGLM出色的表現(xiàn)，離不開其在模型架構(gòu)、數(shù)據(jù)集等方面的一系列創(chuàng)新。

針對算術(shù)任務(wù)，研發(fā)團隊采用Transformer的decoder架構(gòu)，并使用自回歸目標在生成的算術(shù)數(shù)據(jù)集上從頭訓(xùn)練。算術(shù)訓(xùn)練數(shù)據(jù)集包含各類算術(shù)任務(wù)、各種運算符（含加法、減法、乘法、除法和求冪）、多種數(shù)字格式（含整數(shù)、小數(shù)、百分比、分數(shù)和負數(shù)）。研發(fā)團隊還采用分步計算策略對該數(shù)據(jù)集進行了重構(gòu)，并且讓單個算術(shù)表達式由 2 到 10 個運算步驟組成，以方便MathGLM對每個中間結(jié)果進行準確計算，從而得到每個算術(shù)表達式的正確答案。

評測結(jié)果顯示，MathGLM在一個包含9592條測試用例、專門為算術(shù)任務(wù)量身定制的數(shù)據(jù)集上的表現(xiàn)，顯著優(yōu)于GPT4和ChatGPT。

針對更復(fù)雜的數(shù)學(xué)問題——中文應(yīng)用題，研發(fā)團隊微調(diào)了一系列以GLM為基座模型、用于解決數(shù)學(xué)應(yīng)用題的MathGLM。

訓(xùn)練過程中使用了一個包含21萬道中文小學(xué)數(shù)學(xué)題的高質(zhì)量數(shù)據(jù)集Ape210K，但其不足之處在于每個題的答案都是直接計算得出，缺乏相應(yīng)的計算過程。因此，研發(fā)團隊采用分步策略對Ape210K數(shù)據(jù)集進行了重構(gòu)，方便MathGLM深入理解和學(xué)習潛在的計算邏輯和規(guī)則，逐步計算出每個數(shù)學(xué)問題的答案，提升最終答案的準確性。

此外，研發(fā)團隊還使用 ChatGLM-6B 和 ChatGLM2-6B 作為基座模型來訓(xùn)練 MathGLM，賦予 MathGLM 基本的語言理解能力，使其能夠有效理解數(shù)學(xué)應(yīng)用題中包含的語言信息。

在Ape210K數(shù)據(jù)集上進行測試的結(jié)果顯示，MathGLM模型在答案準確性方面已接近GPT-4。在一個包含1-6年級數(shù)學(xué)應(yīng)用題的數(shù)據(jù)集K6上進行評測的結(jié)果顯示，MathGLM相比于其他中文模型（GPT-4、ChatGPT、Chinese-Alpaca-13B、MOSS-16B、Ziya-LLaMA-13B、Baichuan-7B等），呈現(xiàn)出了更強的數(shù)學(xué)推理能力。

為方便開發(fā)者快速上手體驗MathGLM，魔搭社區(qū)第一時間推出了模型體驗、推理實踐教程。

阿里云魔搭社區(qū)是國內(nèi)規(guī)模最大、開發(fā)者最活躍的AI模型社區(qū)，擁有200多萬開發(fā)者，聚集了20多家頭部人工智能機構(gòu)貢獻的1000多款優(yōu)質(zhì)AI模型，為開發(fā)者提供一站式的模型體驗、下載、推理、調(diào)優(yōu)、定制等服務(wù)，社區(qū)模型累計下載量已突破7500萬次?！罢掖竽Ｐ停夏Т睢闭诔蔀殚_發(fā)者的共識。

附：
MathGLM模型地址：
https://modelscope.cn/models/ZhipuAI/MathGLM/summary

魔搭創(chuàng)空間MathGLM模型體驗鏈接：
https://www.modelscope.cn/studios/ZhipuAI/MathGLM-demo/summary

魔搭教程鏈接：
https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486650&idx=1&sn=b1a729a720947a56a27d64dac1182519&chksm=c15e88c9f62901df978105f8ad084a72e651fbb97a7768b4159ecec751120c9772b795a41524#rd

xiesc