盡管亞馬遜并沒有與外界分享內(nèi)部軟件生產(chǎn)情況的習慣,但近幾個月以來,眾多擁有開源深度學習技術的網(wǎng)絡行業(yè)巨頭們顯然發(fā)生了一些心理變化。因此,一些公司于昨日的C++庫發(fā)布之際悄然加入了開發(fā)神經(jīng)網(wǎng)絡的戰(zhàn)局。

名為DSSTNE的一套框架,在亞馬遜分布式處理并行機制中的速度欠佳。通常的替代法是,通過在每個GPU代碼的單獨副本和同步協(xié)調機制中執(zhí)行活動模型。其他方式是將算法的每一個主要因素分配到不同的芯片,這樣工作效率會更高,但仍然沒有最大限度地利用現(xiàn)有的硬件。 對于DSSTNE,反過來,優(yōu)化利用后者方法可以計算出一臺給定處理器能處理并分配負載的最佳數(shù)量。

當框架被用來分析所謂的稀疏數(shù)據(jù)集而發(fā)現(xiàn)其中缺少很多細節(jié)時,其性能的提升就顯得尤為突出了。為了處理的部分信息,亞馬遜將DSSTNE優(yōu)化,幫助加快推薦引擎的創(chuàng)立,這種方式通常不能獲取編程權衡的所有信息。關于零售巨頭網(wǎng)站的產(chǎn)品建議功能,比如,如果訪客沒有登錄到帳戶中,是不能將他們的購買歷史記錄在內(nèi)的。同時,搜索應用程序將能夠利用該框架,并處理經(jīng)常出現(xiàn)在用戶查詢中的語義差別。

亞馬遜還計劃增加對圖像和語音識別算法的支持,努力進一步提升DSSTNE在未來的影響力。該庫已構成對現(xiàn)有深度學習引擎的威脅:零售巨頭聲稱,此深度學習庫在一次內(nèi)部基準測試中的表現(xiàn)更勝一籌,優(yōu)于Alphabet目前流行的TensorFlow系統(tǒng)的2.1倍。

【更多行業(yè)資訊,請關注DOIT官方微信(微信號:doitmedia),關注科技與數(shù)據(jù)經(jīng)濟,洞察IT走向DT?!?/p>

分享到

zhangnn

相關推薦