Akamai Inference Cloud 能夠在靠近用戶和設(shè)備的邊緣實(shí)現(xiàn)智能化的智能體 AI 推理。與傳統(tǒng)系統(tǒng)不同，該平臺(tái)是專為在全球范圍內(nèi)提供低延遲、實(shí)時(shí)邊緣 AI 處理而打造的。此次推出的 Akamai Inference Cloud 依托 Akamai 在全球分布式架構(gòu)方面的專業(yè)能力以及 NVIDIA Blackwell AI 基礎(chǔ)架構(gòu)，對釋放 AI 真正潛力所需的加速計(jì)算進(jìn)行了顛覆性的重構(gòu)與擴(kuò)展。

從個(gè)性化數(shù)字體驗(yàn)、智能體到實(shí)時(shí)決策系統(tǒng)，下一代的 AI 應(yīng)用程序迫切要求將 AI 推理部署在更靠近用戶的位置，從而在用戶的交互點(diǎn)實(shí)現(xiàn)即時(shí)互動(dòng)，并就請求的路由路徑做出智能決策。智能體工作負(fù)載日益需要低延遲推理、本地環(huán)境感知以及即時(shí)進(jìn)行全球擴(kuò)展的能力。專為推動(dòng)此變革而打造的 Akamai Inference Cloud 是一個(gè)分布式、生成式邊緣平臺(tái)，它可以將 NVIDIA AI 技術(shù)棧部署在更靠近數(shù)據(jù)生成和決策制定的位置。

Akamai首席執(zhí)行官兼聯(lián)合創(chuàng)始人Tom Leighton博士表示：”下一波AI浪潮的發(fā)展同樣需要靠近用戶——這正是互聯(lián)網(wǎng)能夠擴(kuò)展為今天廣泛應(yīng)用的全球平臺(tái)的原因。Akamai過去曾成功解決過這一難題，如今我們再次應(yīng)對這一課題。依托NVIDIA的AI基礎(chǔ)設(shè)施，Akamai Inference Cloud將通過部署在全球數(shù)千個(gè)節(jié)點(diǎn)的AI決策能力，來滿足日益增長的AI推理算力與性能擴(kuò)展的需求，從而實(shí)現(xiàn)更快速、更智能以及更安全的響應(yīng)。”

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛指出：”推理已成為AI中計(jì)算最密集的環(huán)節(jié)——需要在全球范圍內(nèi)進(jìn)行實(shí)時(shí)推理。NVIDIA與Akamai共同協(xié)作正在將推理能力部署更靠近每一位用戶，提供更快速、可擴(kuò)展性更強(qiáng)的生成式AI服務(wù)，釋放新一代智能應(yīng)用的潛力。”

Akamai Inference Cloud 通過將智能化的智能體 AI 推理擴(kuò)展到更靠近用戶和設(shè)備的位置，重新定義了應(yīng)用 AI 的場景和方式。該平臺(tái)將 NVIDIA RTX PRO Server（配備 NVIDIA RTX PRO 6000 Blackwell 服務(wù)器版 GPU、NVIDIA BlueField-3 DPU 和 NVIDIA AI Enterprise 軟件）與 Akamai 的分布式云計(jì)算基礎(chǔ)架構(gòu)及在全球擁有超過 4,200 個(gè)位置的全球邊緣網(wǎng)絡(luò)相結(jié)合。Akamai Inference Cloud 將充分利用 NVIDIA 最新的技術(shù)（包括最近發(fā)布的 NVIDIA BlueField-4 DPU）來進(jìn)一步加速和保護(hù)從核心到邊緣的數(shù)據(jù)訪問及 AI 推理工作負(fù)載，以推動(dòng) Akamai 實(shí)現(xiàn)其打造全球高度可擴(kuò)展、分布式 AI 性能的愿景。

Akamai 與 NVIDIA 共同協(xié)作，通過 Akamai Inference Cloud，以前所未有的大膽舉措將 AI 推理拓展至全新領(lǐng)域，共同開創(chuàng) AI 的新篇章：

• 將企業(yè)級 AI 工廠擴(kuò)展到邊緣，以賦能商業(yè)智能體并實(shí)現(xiàn)個(gè)性化的數(shù)字體驗(yàn)：AI 工廠是強(qiáng)大的動(dòng)力引擎，負(fù)責(zé)統(tǒng)籌管理從數(shù)據(jù)提取到大規(guī)模生成智能的整個(gè) AI 生命周期。Akamai Inference Cloud 將 AI 工廠擴(kuò)展到邊緣，實(shí)現(xiàn)數(shù)據(jù)和處理的去中心化，并利用 Akamai 的大規(guī)模分布式邊緣位置將請求路由至最優(yōu)模型。這將使智能體能夠即時(shí)適應(yīng)用戶的位置、行為和意圖，并自主地實(shí)時(shí)完成協(xié)商、購買和交易優(yōu)化。
• 賦能流式推理和智能體，以提供即時(shí)金融見解并執(zhí)行實(shí)時(shí)決策：AI 智能體需要多次連續(xù)推理才能完成復(fù)雜的任務(wù)，這會(huì)產(chǎn)生延遲，進(jìn)而削弱用戶參與度。智能體 AI 工作流程需要多次推理調(diào)用，而如果每次調(diào)用都會(huì)產(chǎn)生網(wǎng)絡(luò)延遲，那么將導(dǎo)致體驗(yàn)出現(xiàn)遲滯，或者響應(yīng)過慢而無法滿足機(jī)器對機(jī)器的延遲要求。Akamai Inference Cloud 的邊緣原生架構(gòu)可提供近乎即時(shí)的響應(yīng)，使 AI 智能體能夠在多步驟工作流程中以媲美人類的響應(yīng)速度運(yùn)行。這在欺詐檢測、加快安全支付速度以及為工業(yè)邊緣實(shí)現(xiàn)高速?zèng)Q策方面非常有用。
• 使實(shí)時(shí)實(shí)體 AI 能夠以超越人類的響應(yīng)速度運(yùn)行：無人駕駛汽車、工業(yè)機(jī)器人和智慧城市基礎(chǔ)設(shè)施等實(shí)體 AI 系統(tǒng)需要毫秒級精度的決策能力，才能安全地與現(xiàn)實(shí)世界進(jìn)行交互。Akamai Inference Cloud 旨在為實(shí)體 AI 賦能，使其能夠?qū)崟r(shí)處理傳感器數(shù)據(jù)、制定安全決策以及協(xié)調(diào)行動(dòng)。這有助于將從工廠車間、配送無人機(jī)到手術(shù)機(jī)器人和無人駕駛交通網(wǎng)絡(luò)的一切，轉(zhuǎn)變?yōu)槟軌蚺c人類進(jìn)行安全協(xié)作、響應(yīng)迅速的智能系統(tǒng)。
• 加快價(jià)值實(shí)現(xiàn)速度：在多個(gè)云區(qū)域中編排復(fù)雜的分布式 AI 工作負(fù)載需要專業(yè)的技能和團(tuán)隊(duì)。Akamai Inference Cloud 的智能編排層會(huì)自動(dòng)將 AI 任務(wù)路由到最優(yōu)位置——常規(guī)推理會(huì)在邊緣通過 NVIDIA? NIM 微服務(wù)即時(shí)執(zhí)行，而復(fù)雜的推理會(huì)利用集中式的 AI 工廠，所有這些都通過統(tǒng)一的平臺(tái)進(jìn)行管理，從而消除了基礎(chǔ)架構(gòu)的復(fù)雜性。

Akamai Inference Cloud 現(xiàn)已推出，首批將覆蓋全球 20 個(gè)地點(diǎn)，并且正在計(jì)劃進(jìn)一步擴(kuò)大部署范圍。

lixiangjing

算力豹主編