此前，AWS有一個(gè)叫Amazon OpenSearch的服務(wù)，也可以存儲(chǔ)向量數(shù)據(jù)，支持向量搜索功能。這一服務(wù)性能比較高，但是成本也比較高。為了降低成本，把OpenSearch中不常用的數(shù)據(jù)轉(zhuǎn)移到對(duì)象存儲(chǔ)上，于是就有了Amazon S3 Vector。

AWS的專家在博客中提到，Amazon S3 Vector是一種專門構(gòu)建的持久向量存儲(chǔ)解決方案，可以將上傳、存儲(chǔ)和查詢向量的總成本降低高達(dá)90%。

企業(yè)部署大模型幾乎都會(huì)采用RAG技術(shù)，RAG技術(shù)需要對(duì)接大量非結(jié)構(gòu)化數(shù)據(jù)，需要將大量數(shù)據(jù)轉(zhuǎn)變成向量存儲(chǔ)起來。過程中需要設(shè)置向量數(shù)據(jù)庫，配置計(jì)算資源，還要手動(dòng)與大語言模型進(jìn)行集成。

現(xiàn)在，Amazon S3 Vector直接與Amazon Bedrock知識(shí)庫和Amazon SageMaker Unified Studio原生集成，在創(chuàng)建知識(shí)庫時(shí)，可以選擇S3 Vector桶作為向量存儲(chǔ)選項(xiàng)，它可以降低對(duì)構(gòu)建和使用RAG技術(shù)的成本。

用戶也可以讓Amazon S3 Vector與Amazon OpenSearch 服務(wù)結(jié)合使用，以降低低頻訪問的向量的存儲(chǔ)成本，隨著需求增加或需要更高的性能，也可以快速將其遷回到 OpenSearch。

Amazon S3 Vector通過新的向量存儲(chǔ)桶實(shí)現(xiàn)，該存儲(chǔ)桶“擁有一套專用的API，用于存儲(chǔ)、訪問和查詢向量數(shù)據(jù)，無需配置任何基礎(chǔ)設(shè)施”。該存儲(chǔ)桶包含兩種類型的數(shù)據(jù)：一類是向量，另一類是用于向量索引。

Amazon S3 Vector本質(zhì)上還是對(duì)象存儲(chǔ)，按照常規(guī)S3的計(jì)費(fèi)方式來收費(fèi)，存儲(chǔ)會(huì)收取基礎(chǔ)的存儲(chǔ)費(fèi)用，讀寫部分按照次數(shù)單獨(dú)計(jì)費(fèi)。

Amazon S3 Vector省去了配置計(jì)算實(shí)例的麻煩。如果沒有Amazon S3 Vector，企業(yè)需要配置一個(gè)高端的計(jì)算實(shí)例。比如，在r7g.2xlarge實(shí)例上部署一個(gè)一千萬向量的數(shù)據(jù)集，就算你根本沒查詢多少下，這臺(tái)機(jī)器每月也得花300多美元。

如果把這套數(shù)據(jù)放到 S3 Vector上，即便每月有25萬次查詢，還更新了一半的向量數(shù)據(jù)，成本也才剛剛超過30美元。如果某段時(shí)間查詢特別多，你也可以把這個(gè)向量索引暫時(shí)遷移到更傳統(tǒng)的向量數(shù)據(jù)庫OpenSearch。

AWS并非唯一一家為對(duì)象存儲(chǔ)添加矢量支持的廠商。本月初，Cloudian使用Milvus數(shù)據(jù)庫擴(kuò)展了其HyperStore對(duì)象存儲(chǔ)，增加了矢量數(shù)據(jù)庫支持?？磥韺?duì)象存儲(chǔ)支持向量數(shù)據(jù)也是大勢(shì)所趨啊。

zhupb