圖1：AIIA副秘書長(zhǎng)王愛華介紹評(píng)估背景

　　首輪評(píng)估結(jié)果發(fā)布

AIIA DNN benchmark V0.5測(cè)試評(píng)估主要面向端側(cè)，旨在客觀反映具有深度神經(jīng)網(wǎng)絡(luò)加速能力的處理器在完成推斷任務(wù)時(shí)的性能。AIIA總體組組長(zhǎng)孫明俊向業(yè)界正式發(fā)布首輪評(píng)估結(jié)果。

　　圖2：AIIA總體組組長(zhǎng)孫明俊發(fā)布首輪評(píng)估結(jié)果

　　孫明俊表示，首輪評(píng)估包含四大典型場(chǎng)景(見圖3)和兩大類評(píng)測(cè)指標(biāo)，指標(biāo)包含速度(fps)和算法性能，如top1 、top5、mAP、mIoU、PSNR等。值得一提的是，這是深度學(xué)習(xí)處理器領(lǐng)域首次區(qū)分整型和浮點(diǎn)對(duì)比的Benchmark。

　　圖3：評(píng)測(cè)指標(biāo)及應(yīng)用場(chǎng)景

　　AIIA DNN benchmark V0.5首輪測(cè)試對(duì)麒麟980和瑞芯微RK3399開發(fā)板兩款產(chǎn)品進(jìn)行了評(píng)估。

海思麒麟980——適用于手機(jī)終端Mate20系列，采用7nm工藝。具體評(píng)測(cè)結(jié)果如圖4和圖5所示。

　　圖4：場(chǎng)景1下海思麒麟980評(píng)測(cè)結(jié)果

　　圖5：場(chǎng)景2/3/4下海思麒麟980評(píng)測(cè)結(jié)果

　　瑞芯微 RK3399開發(fā)板——該芯片在安防等領(lǐng)域有廣泛應(yīng)用，采用28nm工藝。結(jié)果顯示,在浮點(diǎn)模型不需要定點(diǎn)化重新訓(xùn)練的情況下,int8計(jì)算以精度損失最大為1%的代價(jià),達(dá)到了相對(duì)于浮點(diǎn)計(jì)算兩倍的性能(見圖6)。

　　圖6：瑞芯微RK3399開發(fā)板評(píng)測(cè)結(jié)果

　　評(píng)估工具開源

AIIA DNN benchmark V0.5測(cè)試評(píng)估工具采用開源方式，支持安卓系統(tǒng)，易于推廣到所有 POSIX 兼容系統(tǒng)中，且用戶可以根據(jù)項(xiàng)目文檔，自行添加一個(gè)框架或者一個(gè)新模型。面向未來的市場(chǎng)需求，AIIA DNN benchmark項(xiàng)目將持續(xù)更新。

孫明俊介紹，v0.5版本的Benchmark工具可以對(duì)基于CPU/GPU/DSP/NPU的終端推斷任務(wù)進(jìn)行評(píng)測(cè)，支持評(píng)測(cè)的機(jī)器學(xué)習(xí)框架包括TensorFlow/Caffe。目前已經(jīng)完成的移動(dòng)端適配環(huán)境包括HiAI /SNPE/Tengine /TensorFlow Lite/ MACE/ NCNN 等。

項(xiàng)目代碼已經(jīng)開源到Github，鏈接為: https://github.com/AIIABenchmark/AIIABenchmark

　　v1.0 版評(píng)估方案即將發(fā)布

會(huì)上，西安交通大學(xué)任鵬舉教授對(duì)AIIA DNN benchmark V0.5首輪評(píng)測(cè)的結(jié)果進(jìn)行了解讀，并向業(yè)界公布了評(píng)估方案的后續(xù)推進(jìn)計(jì)劃，AIIA DNN benchmark項(xiàng)目v1.0 正式版預(yù)計(jì)將于今年上半年正式發(fā)布。

　　圖7：西安交通大學(xué)任鵬舉教授解讀v0.5版本評(píng)估結(jié)果

　　圖8：v0.5版本評(píng)測(cè)結(jié)果分析

　　圖9：v0.5版本評(píng)測(cè)結(jié)果分析

　　最后，ARM中國(guó)AI技術(shù)市場(chǎng)經(jīng)理分享了題為《ARM中國(guó)周易開放AIoT應(yīng)用平臺(tái)》的演講。他表示，ARM人工智能周易平臺(tái)已順利對(duì)接AIIA DNN Benchmark項(xiàng)目，旨在助力芯片公司為ARM芯片取得客觀公正的AI性能評(píng)估報(bào)告，同時(shí)也方便應(yīng)用算法公司的芯片選型。

　　圖10：ARM中國(guó)AI技術(shù)市場(chǎng)經(jīng)理發(fā)表演講

　　未來，AIIA將順應(yīng)行業(yè)發(fā)展需要，持續(xù)迭代評(píng)估規(guī)范。AIIA DNN benchmark項(xiàng)目v1.0 正式版的評(píng)測(cè)對(duì)象將進(jìn)一步豐富，覆蓋語(yǔ)音、自動(dòng)駕駛、安防等應(yīng)用場(chǎng)景下的AI芯片?？梢灶A(yù)見，基于開放、共贏的產(chǎn)業(yè)生態(tài)，AIIA DNN benchmark項(xiàng)目將吸引更多企業(yè)與開發(fā)者加入。

有關(guān)大會(huì)及AIIA聯(lián)盟更多信息，請(qǐng)?jiān)L問：http://www.aiiaorg.cn/index.php?m=content&c=index&a=show&catid=14&id=67

songjy