DataEngine將在VAST?DataStore上運(yùn)行，處理實(shí)時(shí)的豐富內(nèi)容、物聯(lián)網(wǎng)數(shù)據(jù)和文本。該軟件通過關(guān)聯(lián)VAST存儲(chǔ)群集的所有元數(shù)據(jù)，訪問所有群集的全球位置，包括存檔數(shù)據(jù)，來做出決策。

VAST聲稱，全球聯(lián)盟的機(jī)器將在全球范圍內(nèi)處理數(shù)據(jù)，以獲取最大的洞察力和最大的基礎(chǔ)設(shè)施效率。這將是一個(gè)全局命名空間——DataSpace，允許任意位置存儲(chǔ)、檢索和處理高性能數(shù)據(jù)。這意味著，做計(jì)算的是分布式的VAST?DataStore群集，而不是單個(gè)數(shù)據(jù)中心。

VAST OS支持公有云，現(xiàn)已在 AWS、Azure 和谷歌云上可用。

DataEngine軟件在DataSpace上運(yùn)行，創(chuàng)建一個(gè)計(jì)算資源（包括CPU、GPU和DPU）的網(wǎng)狀結(jié)構(gòu)，可以將數(shù)據(jù)移動(dòng)到計(jì)算（計(jì)算比重較大時(shí)），或?qū)⒂?jì)算轉(zhuǎn)移到數(shù)據(jù)（數(shù)據(jù)比重較大時(shí)）。

VAST Data表示，其Universal Storage是NFS的一種解聚共享實(shí)現(xiàn)，其底層有一個(gè)非常精細(xì)的準(zhǔn)對(duì)象存儲(chǔ)。該系統(tǒng)可以處理大量的AI工作負(fù)載，構(gòu)建模型所需的海量數(shù)據(jù)，以及對(duì)新數(shù)據(jù)進(jìn)行推斷的大量計(jì)算，同時(shí)提供強(qiáng)大的性能。

人工智能工作負(fù)載需要大量數(shù)據(jù)構(gòu)建模型，需要大量計(jì)算在新數(shù)據(jù)進(jìn)入模型時(shí)對(duì)其進(jìn)行推理，此外還有高性能要求。 因?yàn)檫@些都給存儲(chǔ)系統(tǒng)傳遞信息帶來了巨大的壓力。Vast Data 表示，其通用存儲(chǔ)（一個(gè)分離的非共享式NFS，底層有支持大細(xì)粒度的對(duì)象存儲(chǔ)）能處理此問題。

VAST 表示，DataStore 將通過可查詢的語義層嵌入到數(shù)據(jù)中來理解自然數(shù)據(jù)。它將持續(xù)遞歸地對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，并隨著每次交互而演化。

Hallak 認(rèn)為，未來的AI系統(tǒng)在數(shù)據(jù)整合和學(xué)習(xí)方面可能會(huì)比現(xiàn)在的大型語言模型走得更遠(yuǎn)。 這將需要一個(gè)能吸收“整個(gè)自然數(shù)據(jù)范圍——視頻、圖像、文本、儀器數(shù)據(jù)形式的非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù)類型”的平臺(tái)，這些數(shù)據(jù)將在世界各地生成，并使用實(shí)時(shí)推理和持續(xù)的遞歸人工智能模型訓(xùn)練進(jìn)行處理。這就是函數(shù)和應(yīng)用觸發(fā)器發(fā)揮作用的地方。

VAST的數(shù)據(jù)庫產(chǎn)品已經(jīng)面市，一些客戶已經(jīng)在使用。DataEngine將在2024年初推出。

崔歡歡

<pre id="cl6dd"></pre>