三芯：CPU、GPU和DPU；二意：CUDA和DOCA;AI世界就是以AI為核心應(yīng)用的世界。其中，CUDA和GPU已經(jīng)被AI技術(shù)開發(fā)人員所熟知，并得到了廣泛的應(yīng)用，成為了生成式AI等深度機(jī)器學(xué)習(xí)的基石。相比CUDA和GPU，DPU和DOCA會(huì)是下一個(gè)輝煌嗎?

在《數(shù)據(jù)處理器: DPU 編程入門》的序言中，對(duì)于DPU有這樣的描述：可以與CPU和GPU等處理芯片以及其他設(shè)備協(xié)同工作，緊密配合，實(shí)現(xiàn)數(shù)據(jù)處理任務(wù)在多個(gè)芯片之間的優(yōu)化、分配和協(xié)同，進(jìn)一步釋放CPU的處理能力，最小化延遲，從而提高數(shù)據(jù)中心集群和整體數(shù)據(jù)處理的性能。

注意這里特別強(qiáng)調(diào)釋放CPU的處理能力，那么是不是也可以釋放GPU的處理能力呢?在采訪中，我問了這個(gè)問題，主要的考慮是在AI大模型訓(xùn)練中，同樣存在著GPU利用率的問題，那么DPU可否協(xié)助解決呢?答案是肯定的，DPU可以通過NVIDIA GPUDirect技術(shù)和NVIDIA DOCA GPUNetIO API庫優(yōu)化GPU的數(shù)據(jù)訪問和傳輸，可以在CPU不干預(yù)的情況下執(zhí)行網(wǎng)絡(luò)和計(jì)算任務(wù)，并實(shí)現(xiàn)網(wǎng)絡(luò)與GPU之間的直接通信。

正如 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在發(fā)布 DPU 時(shí)所表示的那樣：“DPU 將與 CPU、GPU 成為未來計(jì)算的三大支柱，數(shù)據(jù)中心將成為新的計(jì)算單元”。通過把數(shù)據(jù)中心基礎(chǔ)設(shè)施操作從 CPU 卸載到 DPU 上，可以將 CPU 和 GPU 的計(jì)算資源集中到應(yīng)用程序和業(yè)務(wù)負(fù)載上。這是數(shù)據(jù)中心演變的大勢(shì)所趨，也是推出 NVIDIA? BlueField? 系列 DPU 的核心價(jià)值。

NVIDIA DOCA 是一個(gè)為 NVIDIA BlueField 系列 DPU 量身定做的軟件開發(fā)環(huán)境， 在程序開發(fā)和服務(wù)方面扮演著靈魂的作用，是釋放 DPU 潛力的關(guān)鍵。據(jù)透露，全球 DOCA 開發(fā)者中將近一半來自中國(guó)。為了幫助更多的中國(guó)開發(fā)者， NVIDIA十余位資深系統(tǒng)架構(gòu)師，歷經(jīng)數(shù)月編寫該圖書，其內(nèi)容涵蓋 DPU 簡(jiǎn)介、技術(shù)優(yōu)勢(shì)及未來技術(shù)發(fā)展路徑，包括NVIDIA BlueField 系列 DPU 在結(jié)構(gòu)通用化、功能多樣化、應(yīng)用廣泛化和場(chǎng)景豐富化方面的前景展望，NVIDIA DOCA 軟件開發(fā)環(huán)境配置，以及基于NVIDIA BlueField 系列 DPU 利用 NVIDIA DOCA 軟件開發(fā)環(huán)境的程序開發(fā)實(shí)踐案例。

NVIDIA 全球副總裁，中國(guó)企業(yè)營(yíng)銷負(fù)責(zé)人劉念寧表示: “在生成式 AI 時(shí)代，DPU 是企業(yè)構(gòu)建加速計(jì)算平臺(tái)、AI工廠的關(guān)鍵。NVIDIA BlueField 系列 DPU 在 NVIDIA DOCA軟件開發(fā)環(huán)境的支持下，能幫助企業(yè)構(gòu)建一個(gè)軟件定義、硬件加速的數(shù)據(jù)中心基礎(chǔ)設(shè)施，從而更好地支撐大模型訓(xùn)練的苛刻要求，值得廣大開發(fā)者投入研究和學(xué)習(xí)。”

NVIDIA 中國(guó)區(qū)工程和解決方案高級(jí)總監(jiān)賴俊杰表示: “全球企業(yè)正在從通用計(jì)算向加速計(jì)算和生成式 AI 轉(zhuǎn)變，DPU 作為全新的處理器類型，滿足了數(shù)據(jù)中心基礎(chǔ)設(shè)施在性能、效率、規(guī)模、彈性、安全和能效等方面的需求。軟件開發(fā)者和數(shù)據(jù)科學(xué)家可以通過本書深刻地理解NVIDIA BlueField 系列 DPU 和 NVIDIA DOCA 軟件開發(fā)環(huán)境，并利用它們構(gòu)建云和 AI 應(yīng)用所需的數(shù)據(jù)中心基礎(chǔ)設(shè)施?！?/p>

百度智能云技術(shù)委員會(huì)主席王耀: “這是一本由淺入深介紹 NVIDIA BlueField 系列 DPU 及 NVIDIA DOCA 軟件框架的入門書籍，內(nèi)容覆蓋了DPU 及其編程開發(fā)的方方面面，讓讀者從更官方的資料中輕松獲得構(gòu)建軟件定義、硬件加速的數(shù)據(jù)中心基礎(chǔ)設(shè)施應(yīng)用程序或服務(wù)的基礎(chǔ)知識(shí)，并通過DOCA開發(fā)環(huán)境和實(shí)踐用例，逐步掌握編程開發(fā)技能。”

UCloud 聯(lián)席 CTO 王凱: “人工智能正在呈爆發(fā)式發(fā)展，成為數(shù)據(jù)中心算力需求的主要驅(qū)動(dòng)力之一。為了卸載、加速和隔離數(shù)據(jù)中心基礎(chǔ)設(shè)施工作負(fù)載，DPU 應(yīng)運(yùn)而生。本書是一本應(yīng)用NVIDIA BlueField 系列 DPU 和NVIDIA DOCA 的實(shí)用指南，使開發(fā)人員和數(shù)據(jù)科學(xué)家能走近 DPU 的應(yīng)用和編程，是一本非常好的 DPU 入門書籍。”

VMware 資深總監(jiān)兼中國(guó)區(qū)云平臺(tái)部門總經(jīng)理宋向軍: “本書是全球第一本系統(tǒng)性介紹 DPU 及其軟件開發(fā)的書籍，對(duì) DPU 在現(xiàn)代數(shù)據(jù)中心中的應(yīng)用有重要的普及作用。廣大讀者能深入了解DPU 的技術(shù)發(fā)展、軟硬件特性、軟硬件安裝、開發(fā)環(huán)境實(shí)踐、應(yīng)用用例和生態(tài)體系。對(duì)期望從事基于NVIDIA BlueField 系列 DPU 進(jìn)行軟件開發(fā)的開發(fā)人員有非常好的學(xué)習(xí)和借鑒意義。”

EE Times China 資深產(chǎn)業(yè)分析師黃燁峰: “社會(huì)數(shù)字化轉(zhuǎn)型浪潮下，潛在海量數(shù)據(jù)待處理，DPU 的邊界、職能、價(jià)值都尚在探討前期。而本書從硬件到軟件，定義到應(yīng)用實(shí)操，技術(shù)特性到生態(tài)體系，對(duì) DPU 做了概論式解讀;是了解 DPU 自身技術(shù)與市場(chǎng)的窗口，亦為開啟 DPU 開發(fā)實(shí)踐的上佳入口?！?/p>

songjy