近年來，隨著 AI、大數(shù)據(jù)的逐漸推廣和完善，特別是 AI 大模型（LLM、多模態(tài)、文生視頻等）的廣泛推廣，超大數(shù)據(jù)量的存儲以及訪問已經成為了企業(yè)面臨的一個重大的技術以及成本挑戰(zhàn)。
對象存儲具有擴展性好、安全性高、成本可控等特點，成為了目前最熱門的海量數(shù)據(jù)存儲技術選型。但是對象存儲在數(shù)據(jù)訪問性能方面也面臨一系列挑戰(zhàn)，特別在 AI 模型訓練場景下，數(shù)據(jù)訪問性能的增強，成為了提升 GPU 利用率的關鍵因素，市場亟需一個能夠和對象存儲有效結合，兼具對象存儲優(yōu)勢且性能卓越的一體化解決方案。
XEOS 與 Alluxio 數(shù)據(jù)平臺的這一合作將為用戶提供更高性能、更低成本、更靈活的數(shù)據(jù)管理和加速方案，有望推動 AI 技術在各個領域的應用和發(fā)展。
Alluxio Enterprise AI 與 XEOS 的強強聯(lián)合
1.1 針對 AI 場景的數(shù)據(jù)平臺 Alluxio Enterprise AI
Alluxio Enterprise AI 是針對 AI 相關場景的數(shù)據(jù)平臺，可在本地、云、混合或多云環(huán)境中，支持無縫訪問、管理和運行您的數(shù)據(jù)和人工智能工作負載。
智能緩存能力：Alluxio 推出的 Alluxio Enterprise AI 平臺可以提供高性能分布式緩存系統(tǒng)，因此 AI 引擎等計算應用可以通過訪問高性能 Alluxio 緩存提高數(shù)據(jù) I/O， 而非相對緩慢對象存儲來讀寫數(shù)據(jù)。其智能緩存策略針對 AI 等工作負載的 I/O 模式量身定制，可為整個 AI 等計算工作流提供高吞吐量和低延遲。Alluxio 可將 GPU 利用率提高至90%以上，使得數(shù)據(jù)與 GPU 周期同步，并加速模型訓練和模型服務。
1.2 為海量非結構化數(shù)據(jù)而生的 XEOS 對象存儲
XEOS 是 XSKY 推出的企業(yè)級對象存儲產品。它支持無縫擴展、跨異構存儲系統(tǒng)的統(tǒng)一管理、高性能訪問、智能數(shù)據(jù)管理等功能，幫助企業(yè)輕松構建安全可靠、高性能、低成本的對象存儲平臺，滿足日益增長的海量數(shù)據(jù)管理需求。
XEOS 作為全面的對象存儲解決方案，是數(shù)據(jù)湖的理想底座，特別適用于 AI 場景的數(shù)據(jù)存儲和管理。作為數(shù)據(jù)湖的底層存儲，XEOS 具備以下優(yōu)勢：
XEOS 與 Alluxio 深度結合 充分利用二者優(yōu)勢的聯(lián)合方案
XEOS 與 Alluxio 的融合充分利用了 XEOS 和 Alluxio 的能力，實現(xiàn)了更高性能、更低成本、更靈活的數(shù)據(jù)管理和加速方案。在完成兩款產品的基礎融合后，雙方不僅僅完成了基本功能的驗證，還基于 AI 場景探索 Alluxio 與 XEOS 進行深度結合開發(fā)。
Alluxio 和 XEOS 進行了元數(shù)據(jù)接口的深度集成和調試，實現(xiàn)了百億到千億級對象基礎上的高性能數(shù)據(jù)請求，支持數(shù)百萬級高性能低時延 IOPS。
XEOS 提供了分布式元數(shù)據(jù)服務能力，Alluxio 提供了無狀態(tài)可擴展的元數(shù)據(jù)存儲和服務能力，都保證了良好的擴展性，同時 Alluxio 和 XEOS 在元數(shù)據(jù)相關接口集成上有效降低了非必要的接口調用以及非必要的數(shù)據(jù)傳輸，大大提升了元數(shù)據(jù)接口之間的交互性能。
通過 Alluxio 的無狀態(tài)擴展性，每個 Alluxio 節(jié)點獨立支撐相當數(shù)量的元數(shù)據(jù)的請求以及緩存，利用 XEOS 自身的高性能元數(shù)據(jù)訪問接口能力，在不損耗元數(shù)據(jù)請求性能的基礎上擴展元數(shù)據(jù)服務支撐能力，特別是在海量小文件的高并發(fā)數(shù)據(jù)請求下，既可以降低高并發(fā)元數(shù)據(jù)請求對 XEOS 的壓力，又能大大提升元數(shù)據(jù)請求的服務性能。
Alluxio 和 XEOS 之間可以充分利用 XEOS 提供的數(shù)據(jù)集消息通知能力。當 XEOS 感知到數(shù)據(jù)發(fā)生變更時，會實時推送通知給 Alluxio。Alluxio 可以利用消息通知機制，精準快速地決定哪些數(shù)據(jù)需要被預熱到緩存中。
這種基于消息通知的緩存預熱機制，能夠確保 Alluxio 緩存的實時性和準確性。應用程序無需人工干預，Alluxio 就能自動感知數(shù)據(jù)變化，快速完成緩存的更新和預取，大幅提升緩存的時效性，保障了數(shù)據(jù)訪問性能，大大降低預熱對計算的影響。
這種深度融合不僅提高了緩存的命中率，還最大限度地減少了不必要的數(shù)據(jù)移動，大大優(yōu)化了整體的 I/O 性能和資源利用效率。通過 Alluxio 與 XEOS 的協(xié)同，AI 應用可以獲得卓越的數(shù)據(jù)訪問體驗。
XEOS 提供的追加寫和隨機寫能力，與 Alluxio 緩存層的數(shù)據(jù)寫入能力可以實現(xiàn)高度融合，提供更高效的數(shù)據(jù)寫入能力。
XEOS 作為 Alluxio 的持久化存儲層，不僅提供了海量的存儲容量，還支持豐富的寫入模式，如追加寫、隨機寫等。Alluxio 可以充分利用 XEOS 的這些寫入功能來優(yōu)化緩存寫入功能和性能。對于需要頻繁更新的熱點數(shù)據(jù)，Alluxio 可以直接以追加寫或隨機寫的方式將數(shù)據(jù)寫入 XEOS，避免了傳統(tǒng)對象存儲僅支持覆蓋寫所帶來的性能瓶頸。這大幅提升了 Alluxio 緩存層的寫入效率。
通過 Alluxio 和 XEOS 的深度融合，可以最大限度地減少數(shù)據(jù)在兩者之間的不必要移動。這提供了更高效的數(shù)據(jù)寫入能力，提升了整體的寫入性能，大幅降低了 Alluxio 自身的寫入開銷，優(yōu)化了系統(tǒng)的資源利用效率。
2.4 開放數(shù)據(jù)流動，提高數(shù)據(jù)流轉效率
XEOS 憑借其出色的數(shù)據(jù)生命周期管理和流動能力，為 Alluxio 提供了強大的支撐。在最新的 6.4 版本中，XEOS 通過開放數(shù)據(jù)流動 API 進一步增強了這些核心優(yōu)勢：
通過 XEOS 全面的數(shù)據(jù)流動 API，應用程序可以輕松實現(xiàn)跨云廠商、NAS、藍光/磁帶等不同存儲介質的數(shù)據(jù)流動。Alluxio 只需下發(fā)數(shù)據(jù)流動規(guī)則，XEOS 就可以負責執(zhí)行具體的數(shù)據(jù)復制、分層、歸檔等操作。這種深度集成大大減少了 Alluxio 在讀取數(shù)據(jù)后再次寫入到統(tǒng)一文件系統(tǒng)（UFS）的開銷，降低了整體的數(shù)據(jù)寫入開銷。
同時，XEOS 還提供了復制、分層、校驗、QoS 等豐富的數(shù)據(jù)管理功能。通過與 Alluxio 的緊密結合，雙方可以根據(jù)實際需求，優(yōu)化數(shù)據(jù)的存儲和訪問策略，不僅提升了數(shù)據(jù)訪問性能，也大幅提高了整個數(shù)據(jù)生命周期的管理效率。
XEOS 6.4 版本在數(shù)據(jù)流動和生命周期管理方面的創(chuàng)新能力，為 Alluxio 構建高性能、高效、智能的 AI 數(shù)據(jù)管理平臺提供了堅實的基礎。
針對 AI 的優(yōu)勢場景：以對象為底座且需要高性能文件訪問
Alluxio 和 XEOS 的聯(lián)合方案，針對尤其是在 AI 場景下，以對象存儲作為底座，并且需要高性能文件協(xié)議訪問的客戶具備非常大的價值，包括如下四點：
Alluxio 和 XEOS 結合，可以有效綜合 XEOS 的高性能對象存儲接口能力以及 Alluxio 貼近計算側的高性能共享緩存層的能力，為計算應用提供高性能數(shù)據(jù)訪問能力。
XEOS 提供了海量數(shù)據(jù)存儲能力，Alluxio 提供了無狀態(tài)可擴展的共享緩存能力，都可以隨著數(shù)據(jù)存儲以及數(shù)據(jù)訪問規(guī)模的增大而擴展，既能支撐海量存儲又能提供高性能的大規(guī)模數(shù)據(jù)訪問能力。
XEOS 作為成熟的對象存儲產品，利用一系列技術實現(xiàn)了更加經濟的海量數(shù)據(jù)存儲方案，有效降低了企業(yè)的海量數(shù)據(jù)存儲成本；Alluxio 則可以通過靈活的部署策略，有效利用企業(yè)計算側的高性能存儲空間提供貼近計算側的共享緩存能力，在不增加額外硬件成本的基礎上實現(xiàn)高性能數(shù)據(jù)訪問能力的構建。
XEOS 構建了安全可靠、高性能、低成本的對象存儲平臺，Alluxio 基于 XEOS 提供了高效數(shù)據(jù)緩存以及數(shù)據(jù)訪問平臺，Alluxio 某種意義上是 XEOS 的擴展客戶端，實現(xiàn) 1+1>2 的架構。
