2018年12月，“王者絕悟”對(duì)陣玩家高手隊(duì)的5v5測(cè)試。這一版本通過(guò)監(jiān)督學(xué)習(xí)方法，模擬學(xué)習(xí)了職業(yè)選手的操作，達(dá)到頂尖業(yè)余水平。

2019年，隨著在深度強(qiáng)化學(xué)習(xí)、多智能體決策課題上研究不斷深入，“王者絕悟”不再需要模仿人類數(shù)據(jù)，而是通過(guò)自己和自己對(duì)戰(zhàn)，進(jìn)一步提升微操水平和大局觀，達(dá)到了王者榮耀職業(yè)電競(jìng)水平。

2020年，“王者絕悟”通過(guò)課程學(xué)習(xí)方式，學(xué)會(huì)了更多英雄玩法；5月，它用40個(gè)英雄池首次接受玩家們的挑戰(zhàn)。

在本次亮相的完全體版本中，王者絕悟進(jìn)一步引入了多輪組合博弈和層次化的強(qiáng)化學(xué)習(xí)算法。也就是在競(jìng)技比賽的局前和局內(nèi)，都做了針對(duì)性優(yōu)化，提升它的整體能力和戰(zhàn)術(shù)對(duì)抗水平。

在局前BP環(huán)節(jié)（Ban and Pick，禁止對(duì)方使用的英雄和選擇本方使用的英雄），王者絕悟既會(huì)考慮當(dāng)前對(duì)局雙方陣容的勝率，也會(huì)更長(zhǎng)遠(yuǎn)地為后續(xù)對(duì)局“留招”，最大化多輪比賽的勝率。

在局內(nèi)，通過(guò)自我博弈學(xué)習(xí)同時(shí)提升宏觀戰(zhàn)術(shù)策略和具體微操水平。在保持高強(qiáng)度微操能力的情況下，對(duì)不同的敵方戰(zhàn)術(shù)策略，如五人抱團(tuán)、四一分推、野區(qū)入侵等戰(zhàn)術(shù)，做出更加合理的應(yīng)對(duì)。

“王者絕悟”的演進(jìn)，代表著騰訊在復(fù)雜策略與多智能體博弈課題研究上的先進(jìn)技術(shù)水平；同時(shí)，也推動(dòng)著行業(yè)在攻克“通用人工智能難題”上，又向前邁進(jìn)了一步。

面向未來(lái)：AI贏了比賽，人類贏得未來(lái)

21世紀(jì)初，以 Deepmind、OpenAI 等為代表的一系列人工智能公司將由大數(shù)據(jù)和深度學(xué)習(xí)方法引領(lǐng)的又一輪人工智能浪潮推向巔峰。游戲也給計(jì)算機(jī)技術(shù)的前沿研究提供了大量的實(shí)驗(yàn)場(chǎng)景和驅(qū)動(dòng)力，出現(xiàn)了一個(gè)良性循環(huán)的狀態(tài)。

事實(shí)上，AI的目的并不是要在游戲里戰(zhàn)勝人類，而是通過(guò)越來(lái)越復(fù)雜的游戲訓(xùn)練，最終解決現(xiàn)實(shí)生活中的問(wèn)題。

自2018年初次亮相電競(jìng)賽場(chǎng)以來(lái)，絕悟AI在對(duì)局中飛速成長(zhǎng)，王者榮耀游戲機(jī)制高復(fù)雜度、高挑戰(zhàn)性、強(qiáng)協(xié)作性等特征，滿足了對(duì)高水平AI的研究需要，并且得到了國(guó)際認(rèn)可，絕悟AI相關(guān)論文已先后被AAAI、NeurIPS等AI頂級(jí)會(huì)議收錄。

騰訊 AI Lab還同步推進(jìn)了多類“AI+游戲”研究。棋牌類AI“絕藝”，四奪圍棋AI世界冠軍、擔(dān)任中國(guó)國(guó)家圍棋隊(duì)專用AI，并進(jìn)一步探索棋力極限，讓職業(yè)棋手2子取得200連勝。絕藝從圍棋的完全信息博弈到不完全信息博弈的棋牌類研究亦取得階段性進(jìn)展，獲 IJCAI 2020麻將AI比賽冠軍。

策略協(xié)作型AI絕悟也正從王者峽谷走向更多類型游戲。在足球游戲中，絕悟Wekick版本獲谷歌Kaggle 11v11足球AI競(jìng)賽世界冠軍。在RTS游戲中，在星際爭(zhēng)霸2里打敗“開(kāi)掛”內(nèi)置 AI 的智能體；在FPS射擊類游戲中，著力解決3D環(huán)境建模、感知實(shí)現(xiàn)視角的轉(zhuǎn)換和移動(dòng)尋人等難題，先是奪得了VizDoom AI競(jìng)賽歷史上首個(gè)中國(guó)區(qū)冠軍，后在FPS AI上線手游《穿越火線-槍戰(zhàn)王者（CFM）》中廣獲好評(píng)。

未來(lái)，騰訊AI研究還將有更多場(chǎng)景和應(yīng)用。對(duì)于不少研究人員和開(kāi)發(fā)者來(lái)說(shuō)，多智能體技術(shù)研究依然存在顯著的現(xiàn)實(shí)困難，包括環(huán)境的不確定性、信息獲取的局限性、個(gè)體目標(biāo)與全局目標(biāo)的一致性，以及對(duì)高算力的要求。

基于此，2019年8月，王者榮耀、騰訊 AI Lab、高校攜手共建“開(kāi)悟”AI開(kāi)放平臺(tái)，打造利用王者榮耀與騰訊AI Lab核心技術(shù)構(gòu)建的，對(duì)使用者低成本的多智能體人工智能算法研究、教學(xué)和驗(yàn)證的科研教學(xué)平臺(tái)，助力打通產(chǎn)學(xué)研聯(lián)盟通路。

長(zhǎng)遠(yuǎn)來(lái)看，AI+游戲研究將是騰訊攻克 AI 終極研究難題——通用人工智能（AGI）的關(guān)鍵一步。AGI 代表研發(fā)能在通用系統(tǒng)中執(zhí)行多種復(fù)雜命令，達(dá)到或超越人類水平的 AI ，從絕藝到絕悟，不斷讓 AI 從0到1去學(xué)習(xí)進(jìn)化，并發(fā)展出一套合理的行為模式，這中間的經(jīng)驗(yàn)、方法與結(jié)論，長(zhǎng)期來(lái)看，有望在大范圍內(nèi)，如醫(yī)療、制造、無(wú)人駕駛、農(nóng)業(yè)到智慧城市管理等領(lǐng)域帶來(lái)更深遠(yuǎn)影響。

songjy