這個文章中提到的存儲和計算分離的技術,是在計算框架和存儲系統(tǒng)之間,從新構建了一個新的數(shù)據(jù)編排平臺,通過添加一層抽象來解決數(shù)據(jù)訪問的挑戰(zhàn)。
Alluxio系統(tǒng)是全球首個分布式超大規(guī)模數(shù)據(jù)編排系統(tǒng),孵化于加州大學伯克利分校AMP實驗室。自項目開源以來,已有超過來自300多個組織機構的1200多位貢獻者參與開發(fā),包括全球最頭部科技公司、最頂尖的計算機科研院所等,現(xiàn)已成為發(fā)展最快的開源大數(shù)據(jù)項目之一。
李浩源本科畢業(yè)于北京大學計算機系,隨后在康奈爾大學攻讀碩士,后赴UC Berkeley AMPLab 獲得博士學位,師從分布式系統(tǒng)和網(wǎng)絡領域泰斗Ion Stoica教授和Scott Shenker教授。李浩源在讀期間創(chuàng)立了Alluxio(曾用名Tachyon)技術原型,并隨后創(chuàng)建Alluxio公司并致力于推廣技術商業(yè)化,于2021年完成5000萬美元C輪融資。
近日,Alluxio發(fā)布了Alluxio Enterprise AI 3.5最新版本。該版本憑借僅緩存寫入模式 ( Cache Only Write Mode )、高級緩存管理策略以及 Python 的深度集成等創(chuàng)新功能,大幅加速 AI 模型訓練并簡化基礎設施運維,助力企業(yè)高效處理海量數(shù)據(jù)集、優(yōu)化 AI 工作負載性能。AI驅動的工作負載常因海量的數(shù)據(jù)管理復雜度高導致效率瓶頸以及訓練周期延長。Alluxio Enterprise AI 3.5 通過快速優(yōu)先訪問關鍵數(shù)據(jù)、無縫集成主流AI框架等優(yōu)化手段來提升性能,從而加速模型開發(fā)。
Alluxio Enterprise AI 3.5版本下載地址:https://www.alluxio.com.cn/product/download/