DataEngine將在VAST?DataStore上運行,處理實時的豐富內(nèi)容、物聯(lián)網(wǎng)數(shù)據(jù)和文本。該軟件通過關(guān)聯(lián)VAST存儲群集的所有元數(shù)據(jù),訪問所有群集的全球位置,包括存檔數(shù)據(jù),來做出決策。
VAST聲稱,全球聯(lián)盟的機器將在全球范圍內(nèi)處理數(shù)據(jù),以獲取最大的洞察力和最大的基礎(chǔ)設(shè)施效率。這將是一個全局命名空間——DataSpace,允許任意位置存儲、檢索和處理高性能數(shù)據(jù)。這意味著,做計算的是分布式的VAST?DataStore群集,而不是單個數(shù)據(jù)中心。
VAST OS支持公有云,現(xiàn)已在 AWS、Azure 和谷歌云上可用。
DataEngine軟件在DataSpace上運行,創(chuàng)建一個計算資源(包括CPU、GPU和DPU)的網(wǎng)狀結(jié)構(gòu),可以將數(shù)據(jù)移動到計算(計算比重較大時),或?qū)⒂嬎戕D(zhuǎn)移到數(shù)據(jù)(數(shù)據(jù)比重較大時)。
VAST Data表示,其Universal Storage是NFS的一種解聚共享實現(xiàn),其底層有一個非常精細的準對象存儲。該系統(tǒng)可以處理大量的AI工作負載,構(gòu)建模型所需的海量數(shù)據(jù),以及對新數(shù)據(jù)進行推斷的大量計算,同時提供強大的性能。
人工智能工作負載需要大量數(shù)據(jù)構(gòu)建模型,需要大量計算在新數(shù)據(jù)進入模型時對其進行推理,此外還有高性能要求。 因為這些都給存儲系統(tǒng)傳遞信息帶來了巨大的壓力。Vast Data 表示,其通用存儲(一個分離的非共享式NFS,底層有支持大細粒度的對象存儲)能處理此問題。
VAST 表示,DataStore 將通過可查詢的語義層嵌入到數(shù)據(jù)中來理解自然數(shù)據(jù)。它將持續(xù)遞歸地對數(shù)據(jù)進行實時計算,并隨著每次交互而演化。
Hallak 認為,未來的AI系統(tǒng)在數(shù)據(jù)整合和學習方面可能會比現(xiàn)在的大型語言模型走得更遠。 這將需要一個能吸收“整個自然數(shù)據(jù)范圍——視頻、圖像、文本、儀器數(shù)據(jù)形式的非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù)類型”的平臺,這些數(shù)據(jù)將在世界各地生成,并使用實時推理和持續(xù)的遞歸人工智能模型訓練進行處理。這就是函數(shù)和應用觸發(fā)器發(fā)揮作用的地方。
VAST的數(shù)據(jù)庫產(chǎn)品已經(jīng)面市,一些客戶已經(jīng)在使用。DataEngine將在2024年初推出。