研究人員提到,OpenSpiel的目標是要促進在多種游戲類型中,發(fā)展多代理增強學習,跟一般的游戲訓練環(huán)境相似,但更強調(diào)學習的部分而非競爭的形式。研究人員希望OpenSpiel可以在通用增強學習上,達到Atari學習環(huán)境在單一代理人增強學習的地位,對通用增強學習的發(fā)展產(chǎn)生重大的影響。

OpenSpiel提供了一個可讓研究人員在各種基準游戲中,評估游戲以及演算法的框架,OpenSpiel內(nèi)建了各式包括世界網(wǎng)格游戲、拍賣游戲,以及矩陣游戲等20多種不同類型的游戲,這些游戲涵蓋單一或多個代理人的零和、合作、一般和對局(General-Sum)游戲,還有一次性以及連續(xù)性游戲研究。這些游戲以C++撰寫,并以Python打包。

OpenSpiel的算法是以C++或是Python實作,官方提到,這2種語言的API幾乎相同,因此當開發(fā)者需要,能夠簡單地在這兩種語言間切換使用,而絕大部分學習演算法都是以Python使用Tensorflow撰寫,官方目前正發(fā)展PyTorch和JAX的支援。另外,OpenSpiel函式庫的一個子集被移植到了Swift上,因此開發(fā)者也能在MacOS裝置上進行研究。

DeepMind只在Linux上測試OpenSpiel,但研究人員提到,雖然他們沒有在MacOS和Windows上進行測試,但是在編譯以及執(zhí)行上,預計不會有太大的問題發(fā)生。OpenSpiel主要設(shè)計理念為簡單以及最小化,使用了參照實作而非完全最佳化以及高效能的程式碼,而且盡可能維持最小相依性,降低相容性問題發(fā)生的可能性。

最近也有不少組織機構(gòu)推出了增強學習的研究工具,像是谷歌大腦就開源了足球增強學習環(huán)境專案Google Research Football,臉書也發(fā)布了增強學習平臺Horizon,英特爾也在RL Coach中推出一系列增強學習的工具。

分享到

崔歡歡

相關(guān)推薦