雖然神經(jīng)網(wǎng)絡(luò)通常由 GPU 加速，但支持神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺(jué)和圖像處理算法往往是當(dāng)今 AI 應(yīng)用中的 CPU 瓶頸。

CV-CUDA 通過(guò)將前處理和后處理步驟從 CPU 轉(zhuǎn)移到 GPU，幫助在單個(gè) GPU 上處理4倍的串流。因此，CV-CUDA能夠以四分之一的云計(jì)算成本處理同樣的工作負(fù)載。

CV-CUDA 庫(kù)為開(kāi)發(fā)者提供30多種高性能的計(jì)算機(jī)視覺(jué)算法，包含原生 Python API 和與 PyTorch、TensorFlow2、ONNX 與TensorRT機(jī)器學(xué)習(xí)框架的零拷貝集成。

其結(jié)果是為云 AI 業(yè)務(wù)提供了更高的吞吐量，同時(shí)降低計(jì)算成本并減少了碳足跡。

全球?qū)τ?jì)算機(jī)視覺(jué)AI的應(yīng)用情況

全球行業(yè)領(lǐng)導(dǎo)者的采用體現(xiàn)了CV-CUDA 為越來(lái)越多大規(guī)模視覺(jué)應(yīng)用所帶來(lái)的益處以及多樣的支持。擁有大規(guī)模圖像處理工作負(fù)載的企業(yè)可以節(jié)省數(shù)千萬(wàn)乃至數(shù)億美元的費(fèi)用。

微軟正將 CV-CUDA 整合到必應(yīng)視覺(jué)搜索中，以支持用戶使用圖像而非文本來(lái)搜索，尋找類似的圖像、產(chǎn)品或網(wǎng)頁(yè)。

2019年，微軟在 GTC 上分享了他們?nèi)绾卫?NVIDIA 技術(shù)將語(yǔ)音識(shí)別、智能回答、文字-語(yǔ)音轉(zhuǎn)換技術(shù)和物體檢測(cè)無(wú)縫、實(shí)時(shí)地結(jié)合起來(lái)。

騰訊已部署 CV-CUDA 來(lái)加速其廣告創(chuàng)作和內(nèi)容理解流程，該流程每天處理30多萬(wàn)個(gè)視頻。

相比之前經(jīng)過(guò) GPU 優(yōu)化的工作流，在使用CV-CUDA后，這家總部位于深圳的多媒體集團(tuán)在圖像處理方面的能耗和成本均降低了20%。

而總部位于北京的搜索巨頭百度正在將 CV-CUDA 整合到 FastDeploy中。FastDeploy 是百度飛漿深度學(xué)習(xí)框架的開(kāi)源部署工具包之一，可以為開(kāi)源社區(qū)的開(kāi)發(fā)者提供無(wú)縫的計(jì)算機(jī)視覺(jué)加速。

從內(nèi)容創(chuàng)建到汽車用例

CV-CUDA 的應(yīng)用正在不斷增加。在Alpha版本發(fā)布后的幾個(gè)月內(nèi)，就有500多家公司提出了100多個(gè)用例。

內(nèi)容創(chuàng)作和電子商務(wù)中的圖像會(huì)使用前處理和后處理算子來(lái)幫助推薦引擎識(shí)別、定位和策劃內(nèi)容。

在測(cè)繪領(lǐng)域，來(lái)自測(cè)繪車輛的視頻需要預(yù)處理和后處理算子來(lái)訓(xùn)練云端神經(jīng)網(wǎng)絡(luò)，從而識(shí)別基礎(chǔ)設(shè)施和道路特征。

在自動(dòng)駕駛模擬和驗(yàn)證軟件的基礎(chǔ)設(shè)施應(yīng)用中，CV-CUDA 使 GPU能夠加速在車輛上發(fā)生的算法，例如顏色轉(zhuǎn)換、失真校正、卷積和雙邊過(guò)濾等。

未來(lái)，生成式 AI 將改變視頻內(nèi)容創(chuàng)作和管理，使創(chuàng)作者能夠接觸到全球受眾。

位于紐約的初創(chuàng)企業(yè) Runway 已通過(guò)集成 CV-CUDA，緩解了其視頻對(duì)象分割模型中的一個(gè)關(guān)鍵的高分辨率視頻預(yù)處理瓶頸。

在部署 CV-CUDA 后，其速度提高了3.6倍，支持Runway 優(yōu)化其創(chuàng)作工具套件中的實(shí)時(shí)內(nèi)容點(diǎn)擊響應(yīng)速度。

Runway 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Cristóbal Valenzuela表示：“對(duì)于創(chuàng)作者來(lái)說(shuō)，將一個(gè)想法變?yōu)楝F(xiàn)實(shí)過(guò)程中的每一秒都很寶貴。CV-CUDA 為數(shù)百萬(wàn)使用我們工具的創(chuàng)作者帶來(lái)了積極且重要的變化?！?/p>

如需使用 CV-CUDA，請(qǐng)?jiān)L問(wèn)CV-CUDA GitHub。

zhupb