通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)，并結(jié)合數(shù)學(xué)、邏輯推理、科學(xué)和代碼等理科難題的專(zhuān)項(xiàng)優(yōu)化，混元T1正式版進(jìn)一步提升了推理能力。與此前已上線騰訊元寶的混元T1-preview模型相比，綜合效果明顯提升。

在體現(xiàn)推理模型基礎(chǔ)能力的常見(jiàn)benchmark上，如大語(yǔ)言模型評(píng)估增強(qiáng)數(shù)據(jù)集MMLU-PRO中，混元T1取得87.2分，僅次于o1。在CEval、AIME、Zebra Logic等中英文知識(shí)及競(jìng)賽級(jí)數(shù)學(xué)、邏輯推理的公開(kāi)基準(zhǔn)測(cè)試中，混元T1的成績(jī)也達(dá)到業(yè)界領(lǐng)先推理模型的水平。

此外，T1還在多項(xiàng)對(duì)齊任務(wù)、指令跟隨任務(wù)和工具利用任務(wù)中展現(xiàn)出了非常強(qiáng)的適應(yīng)性。

注：表格中，其它模型的評(píng)測(cè)指標(biāo)來(lái)自官方評(píng)測(cè)結(jié)果，官方評(píng)測(cè)結(jié)果中沒(méi)有的部分來(lái)自混元內(nèi)部評(píng)測(cè)平臺(tái)結(jié)果

混元T1正式版沿用了混元Turbo S的創(chuàng)新架構(gòu)，采用Hybrid-Mamba-Transformer融合模式。這是工業(yè)界首次將混合Mamba架構(gòu)無(wú)損應(yīng)用于超大型推理模型。

這一架構(gòu)有效降低了傳統(tǒng)Transformer結(jié)構(gòu)的計(jì)算復(fù)雜度，減少了KV-Cache的內(nèi)存占用，從而顯著降低了訓(xùn)練和推理成本，讓混元T1實(shí)現(xiàn)首字秒出，吐字速度達(dá)到最快80 tokens/s。

混元T1在超長(zhǎng)文本推理領(lǐng)域也展現(xiàn)出獨(dú)特優(yōu)勢(shì)。基于出色的長(zhǎng)文捕捉能力，混元T1能有效解決長(zhǎng)文推理中常見(jiàn)的上下文丟失和長(zhǎng)距離信息依賴(lài)問(wèn)題。同時(shí)，混合Mamba架構(gòu)針對(duì)長(zhǎng)序列處理進(jìn)行了專(zhuān)項(xiàng)優(yōu)化，通過(guò)高效的計(jì)算方式，在確保長(zhǎng)文本信息捕捉能力的同時(shí)大幅降低資源消耗，在相近的激活參數(shù)量下，實(shí)現(xiàn)了解碼速度提升2倍。

目前，混元T1正式版已在騰訊云官網(wǎng)上線，輸入價(jià)格為每百萬(wàn)tokens 1元，輸出價(jià)格為每百萬(wàn)tokens 4元。

今年以來(lái)，騰訊混元大模型持續(xù)快速迭代，推出了深度思考模型T1 Preview和快思考模型Turbo S，并已廣泛應(yīng)用于騰訊元寶、ima、騰訊文檔、微信讀書(shū)、搜狗輸入法、QQ瀏覽器等多款內(nèi)部產(chǎn)品。

騰訊混元積極擁抱開(kāi)源，其開(kāi)源模型全面覆蓋文本、圖像、視頻和3D生成等多個(gè)模態(tài)，GitHub上總Star數(shù)超2.6萬(wàn)，多次登頂Hugging Face趨勢(shì)榜。日前，騰訊混元再次宣布推出圖生視頻模型及5個(gè)全新3D生成模型，并全部開(kāi)源，持續(xù)推動(dòng)AI技術(shù)的開(kāi)放共享與行業(yè)發(fā)展。

企業(yè)用戶(hù)需求可掃碼或點(diǎn)擊鏈接申請(qǐng)?jiān)囉茫?a rel="nofollow" >騰訊混元T1需求登記表單 – 騰訊云

nina