上??萍即髮W(xué)獲得ASC18超算競賽e Prize計算挑戰(zhàn)獎

e Prize計算挑戰(zhàn)獎是ASC競賽獨有的獎項,旨在打造青年人才的戈登·貝爾獎(Gordon Bell Prize),鼓勵青年人才勇于解決超算應(yīng)用難題敢于挑戰(zhàn)計算性能極限,激勵青年人才利用超級計算機推動科學(xué)與工程領(lǐng)域?qū)崿F(xiàn)應(yīng)用突破。獎項命名來源于,e是科學(xué)中最重要的自然常數(shù),同時也代表著人類下一個超級計算機性能的挑戰(zhàn)目標(biāo)——百億億次(exascale)。

ASC18的e Prize計算挑戰(zhàn)獎賽題是由微軟提供的人工智能機器閱讀理解,這道賽題要求參賽隊使用自己搭建的超算系統(tǒng)運用CNTK深度學(xué)習(xí)框架,獨立開發(fā)機器閱讀理解和問答的算法模型,使用最新超算技術(shù)結(jié)合MS MARCO數(shù)據(jù)集進行訓(xùn)練,最終實現(xiàn)讓機器準(zhǔn)確地回答問題。

MS MARCO是由微軟開發(fā)的機器閱讀理解與問答的數(shù)據(jù)庫,這個數(shù)據(jù)集是基于bing和Cortana上收集的真實數(shù)據(jù)構(gòu)建的,包括100,000個問題,100萬個段落,以及超過20萬個文件的鏈接。此次ASC18總決賽使用的數(shù)據(jù)集包括近10萬個人工標(biāo)注的問題及其答案,基準(zhǔn)代碼使用單節(jié)點單塊NVIDIA Tesla P100 GPU訓(xùn)練耗時接近一天,基準(zhǔn)預(yù)測精度值為30(ROUGE-L=30)。而在決賽中,每支隊伍的訓(xùn)練時間不會超過12小時,要想在如此短的時間內(nèi)得到更高的ROUGE-L值,不僅要在訓(xùn)練集群上優(yōu)化代碼性能以更快的找到最佳參數(shù),還需要對算法模型進行創(chuàng)新和改進來達到更好的預(yù)測精度。

首次入圍總決賽的上??萍即髮W(xué)展現(xiàn)出令評審專家為之驚嘆的AI模型設(shè)計與優(yōu)化能力,在數(shù)據(jù)、算法和訓(xùn)練方法上都實現(xiàn)了相當(dāng)有效的改進。在數(shù)據(jù)上,隊員們對組委會提供的訓(xùn)練數(shù)據(jù)集予以擴充,以獲得更多的訓(xùn)練樣本;在算法上,隊員們使用多任務(wù)同時訓(xùn)練的方式對答案進行重新排序,并集成多個優(yōu)秀的模型。最終,上??萍即髮W(xué)代表隊使用浪潮AI超算服務(wù)器NF5280M5搭配Tesla V100 GPU加速器構(gòu)建了先進的異構(gòu)加速超算系統(tǒng),在8個小時內(nèi)完成10萬樣本級別的大規(guī)模數(shù)據(jù)集的并行模型訓(xùn)練,并實現(xiàn)46.46的高預(yù)測精度,接近當(dāng)今世界上最先進的算法能達到的水平,以滿分成績獲得e Prize計算挑戰(zhàn)獎。

微軟相關(guān)負責(zé)人認(rèn)為,就本科生的知識結(jié)構(gòu)和優(yōu)化能力而言,能在不到8小時內(nèi)訓(xùn)練出如此高精度的模型,這是非常了不起的成績,體現(xiàn)出上??萍即髮W(xué)的隊員們非凡的創(chuàng)造力、對AI模型的深刻理解以及與之相匹配的實際動手能力。

此外,總冠軍得主清華大學(xué)和獲得最高計算性能獎的臺灣清華大學(xué)也在該賽題上表現(xiàn)出色,預(yù)測精度值均超過40。其中,清華大學(xué)在訓(xùn)練和數(shù)據(jù)處理上,性能相比基準(zhǔn)代碼實現(xiàn)了3-30倍的提升。

在人工智能機器閱讀理解賽題上,從初賽的小試牛刀到?jīng)Q賽的驚艷成績,背后蘊藏著數(shù)個月來大學(xué)生們研讀最新論文,實現(xiàn)算法以及性能優(yōu)化的艱辛努力。在賽后交流中,絕大多數(shù)參賽隊員們表示都是第一次接觸到深度學(xué)習(xí)賽題,很多隊伍參考了諸如S-NET和QANet等最新學(xué)術(shù)成果。通過ASC競賽,參賽學(xué)生得以更加深入的理解HPC與AI如何更好的進行融合,這不僅對他們未來的職業(yè)規(guī)劃和發(fā)展帶來深遠影響,也將有助于緩解當(dāng)前AI人才短缺的局面,為AI真正滲透到生產(chǎn)、生活以及社會各個方面奠定發(fā)展的根基。

ASC 世界大學(xué)生超級計算機競賽(ASC Student Supercomputer Challenge)由中國發(fā)起組織,并得到亞洲及歐美相關(guān)專家和機構(gòu)支持,旨在通過大賽平臺推動各國及地區(qū)間超算青年人才交流和培養(yǎng),提升超算應(yīng)用水平和研發(fā)能力,發(fā)揮超算的科技驅(qū)動力,促進科技與產(chǎn)業(yè)創(chuàng)新。大賽迄今已連續(xù)舉行7屆,共吸引了全球超過5500名大學(xué)生參賽,是目前全球規(guī)模最大、參與人數(shù)最多的大學(xué)生超算賽事。ASC18由亞洲超算協(xié)會、浪潮集團和南昌大學(xué)聯(lián)合舉辦,共有全球300余支高校代表隊報名。

分享到

zhupb

相關(guān)推薦