模型太多，變化太快，不知道怎么選？

與側(cè)重訓(xùn)練的Amazon SageMaker不同，Amazon Bedrock主要是將訓(xùn)練好的基礎(chǔ)模型進(jìn)行推理，幫助開發(fā)人員構(gòu)建和擴(kuò)展生成式AI應(yīng)用，由于更靠近應(yīng)用創(chuàng)新的部分，因此受到了更多關(guān)注。

亞馬遜云科技人工智能與數(shù)據(jù)副總裁Dr. Swami Sivasubramanian將Amazon Bedrock的更新細(xì)分成了五個(gè)方面，如果非要挑選Amazon Bedrock現(xiàn)階段最大的價(jià)值或者賣點(diǎn)的話，就是它對(duì)于多個(gè)模型的支持。

當(dāng)前，生成式AI大模型技術(shù)仍在快速發(fā)展當(dāng)中，不同模型在不同應(yīng)用場(chǎng)景中的表現(xiàn)會(huì)有很大差異。對(duì)于希望應(yīng)用生成式AI大模型的企業(yè)而言，如何選擇合適的模型，如何在新模型出現(xiàn)時(shí)快速完成技術(shù)切換就顯得尤為重要。

亞馬遜云科技人工智能、機(jī)器學(xué)習(xí)與基礎(chǔ)設(shè)施服務(wù)副總裁Baskar Sridharan在采訪中表示，從原型到產(chǎn)品化的過程中，模型選擇是至關(guān)重要的關(guān)鍵因素之一。亞馬遜云科技通過整合來自領(lǐng)先供應(yīng)商的廣泛模型，為用戶提供了極大的自由度。然而，今天可能模型A是最佳選擇，幾個(gè)月后模型B可能更適合，再過一段時(shí)間可能需要模型C。因此，用戶需要的是既能跟上模型進(jìn)化步伐，又能保持技術(shù)堆棧穩(wěn)定的解決方案。

于是，亞馬遜云科技開始在這兩方面發(fā)力：一方面提供豐富的模型選擇，滿足用戶多樣化的需求；另一方面確保整個(gè)生態(tài)系統(tǒng)的穩(wěn)定性，為企業(yè)打造兼具靈活性與可靠性的生成式AI平臺(tái)。這種平衡無疑是推動(dòng)技術(shù)落地的重要支撐點(diǎn)。

Amazon Bedrock給了用戶自由選擇模型的權(quán)利，平臺(tái)上不僅整合了來自Anthropic、Meta、Stability AI以及Amazon等23家開發(fā)商的模型，覆蓋文本生成、多模態(tài)理解、圖像與視頻生成等多個(gè)領(lǐng)域。

其中，新推出的Amazon Bedrock Marketplace使用戶能夠訪問另外120多個(gè)大模型。與原來最大的不同點(diǎn)在于，Marketplace都需要用戶自己創(chuàng)建推理模型的主機(jī)，而原來的都是Serverless這種高級(jí)的方式。不過，兩者都可以用統(tǒng)一的API調(diào)用。

看得出來，Amazon Bedrock在竭盡所能地提供更多模型可供選擇，用戶可以在這里評(píng)估模型的效果。當(dāng)用戶面對(duì)N多模型不知如何選擇的時(shí)候，可以在這里做出選擇，哪怕模型并不是最理想的，也不用焦慮。

這是因?yàn)?，Amazon Bedrock提供的是統(tǒng)一的API，這意味著可以簡(jiǎn)化模型集成和切換的過程。當(dāng)有新的更合適的模型出現(xiàn)，開發(fā)者可以快速完成切換，無需進(jìn)行大量代碼修改即可升級(jí)到最新的模型，真正克服大模型選擇困難癥。

除了推出更多模型，亞馬遜云科技還在將Amazon Bedrock打造成更適合大模型的云服務(wù)。

Amazon Bedrock優(yōu)化推理的成本、延遲和準(zhǔn)確性

過去兩年以來，AI算力關(guān)注的絕對(duì)焦點(diǎn)就是訓(xùn)練。然而，隨著文生視頻大模型越來越多，同時(shí)，專家發(fā)現(xiàn)，依靠模型“慢思考”的模式可以提高模型的最終表現(xiàn)，依靠推理算力提高模型表現(xiàn)的做法受到關(guān)注。于是，未來推理的負(fù)載會(huì)越來越多。

在re:Invent期間，亞馬遜云科技的Amazon Bedrock為優(yōu)化生成式AI推理效率推出了多項(xiàng)創(chuàng)新功能，幫助開發(fā)者在成本、延遲和模型準(zhǔn)確性之間找到更好的平衡。

其中，新的模型蒸餾功能支持將大型模型的知識(shí)轉(zhuǎn)移到更小、更高效的模型上，可實(shí)現(xiàn)高達(dá)500%的速度提升和75%的成本降低。

此外，新增的延遲優(yōu)化推理選項(xiàng)讓開發(fā)者能夠利用最新的AI硬件和軟件優(yōu)化，進(jìn)一步提升推理性能，滿足多樣化的業(yè)務(wù)需求。

Amazon Bedrock新推出的提示詞緩存功能能夠緩存重復(fù)使用的提示前綴，從而避免模型重復(fù)計(jì)算，延遲最多降低85%，成本最多降低90%，特別適合文檔問答、代碼助手、智能搜索或長(zhǎng)對(duì)話等需要復(fù)雜提示的應(yīng)用場(chǎng)景。

Amazon Bedrock新推出的智能提示詞路由功能，通過動(dòng)態(tài)分配提示請(qǐng)求到模型家族中的不同基礎(chǔ)模型，實(shí)現(xiàn)高質(zhì)量響應(yīng)的同時(shí)降低成本，最多可節(jié)省30%。

它幫助開發(fā)者優(yōu)化任務(wù)的處理，用更高效的模型處理簡(jiǎn)單任務(wù)，而復(fù)雜需求則交給更強(qiáng)大的模型，它提供了一種更高效、更經(jīng)濟(jì)的模型管理方式，加速開發(fā)并提升整體性能。

Amazon Bedrock讓用戶更高效地使用用戶自己的數(shù)據(jù)

用戶向通用模型發(fā)出提示詞，只會(huì)得到一個(gè)通用的答案，而如果模型能使用用戶自己的數(shù)據(jù)，就可以得到有更多上下文的回復(fù)。

在過去兩年中，我們知道用戶可以對(duì)模型的微調(diào)和RAG（檢索增強(qiáng)生成）技術(shù)來使用自己的數(shù)據(jù)，從而生成更符合上下文的答案。

RAG是一個(gè)相對(duì)技術(shù)化的語言，Amazon Bedrock把它包裝成了知識(shí)庫服務(wù)。在re:Invent期間，亞馬遜云科技對(duì)RAG技術(shù)能力，也就是知識(shí)庫相關(guān)的服務(wù)提供了四項(xiàng)增強(qiáng)的能力，其核心思想就是幫助用戶更方便地把自己的數(shù)據(jù)交給模型。

第一個(gè)叫GraphRAG。這里的Graph不是指圖像，而是知識(shí)圖譜。它用知識(shí)圖譜來幫助生成式AI更智能地整合和理解分散在多個(gè)數(shù)據(jù)源的信息。幸運(yùn)的是，開發(fā)者不需要了解復(fù)雜的知識(shí)圖譜技術(shù)，GraphRAG會(huì)自動(dòng)完成這些工作，最終讓模型給出更相關(guān)、更可信的答案。

知識(shí)庫結(jié)構(gòu)化數(shù)據(jù)檢索功能：讓生成式AI能夠直接從Amazon Redshift中提取結(jié)構(gòu)化數(shù)據(jù)，并生成精準(zhǔn)的自然語言響應(yīng)。通過這一功能，開發(fā)者無需構(gòu)建復(fù)雜的SQL查詢，系統(tǒng)會(huì)自動(dòng)將自然語言請(qǐng)求轉(zhuǎn)換為SQL，查詢所需數(shù)據(jù)并整合到AI模型的響應(yīng)中。該功能簡(jiǎn)化了企業(yè)利用結(jié)構(gòu)化數(shù)據(jù)開發(fā)生成式AI應(yīng)用的過程。

Amazon Kendra GenAI Index是一款高精準(zhǔn)的智能搜索工具，通過高精準(zhǔn)的智能搜索和數(shù)據(jù)整合能力，快速接入和整合內(nèi)容，無需開發(fā)復(fù)雜的自定義搜索機(jī)制或進(jìn)行繁瑣的數(shù)據(jù)遷移，全面提升數(shù)據(jù)利用效率。它無縫集成Amazon Bedrock知識(shí)庫及相關(guān)功能，幫助企業(yè)輕松構(gòu)建高級(jí)生成式AI應(yīng)用。

Data Automation數(shù)據(jù)自動(dòng)化功能：該功能通過一個(gè)簡(jiǎn)單的API，將非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)提取、轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，并生成符合生成式AI應(yīng)用需求的自定義輸出，無需開發(fā)者編寫任何代碼。這項(xiàng)技術(shù)可大幅降低數(shù)據(jù)處理復(fù)雜度和成本，讓企業(yè)能夠充分利用多模態(tài)數(shù)據(jù)，構(gòu)建更智能、更高效的生成式AI應(yīng)用。

構(gòu)建具有安全性和負(fù)責(zé)任的AI

可以說，生成式AI在企業(yè)應(yīng)用場(chǎng)景中落地最優(yōu)先考慮的就是安全性，Amazon Bedrock Guardrails可以為生成式AI應(yīng)用實(shí)施定制的保護(hù)措施。

Automated reasoning checks自動(dòng)推理檢查功能（預(yù)覽版）：該功能通過數(shù)學(xué)驗(yàn)證技術(shù)檢測(cè)大型語言模型（LLM）的幻覺現(xiàn)象，確保生成的答案準(zhǔn)確，并提供可驗(yàn)證的證據(jù)，從而提升生成式AI在關(guān)鍵場(chǎng)景下的透明性和可信度。該功能允許領(lǐng)域?qū)＜覄?chuàng)建規(guī)則化的推理政策，將復(fù)雜業(yè)務(wù)邏輯融入AI模型的驗(yàn)證流程。

Amazon Bedrock Guardrails的多模態(tài)毒性檢測(cè)功能新增圖像內(nèi)容的檢測(cè)與過濾能力，能夠識(shí)別并屏蔽包含仇恨、暴力、侮辱或不當(dāng)行為的圖像內(nèi)容。該功能適用于所有支持圖像數(shù)據(jù)的模型，包括微調(diào)模型，與文本過濾功能共同構(gòu)建統(tǒng)一的安全保護(hù)層，幫助開發(fā)者確保生成內(nèi)容的安全性與合規(guī)性，滿足多模態(tài)AI應(yīng)用安全需求。

多智能體協(xié)作功能，解決更復(fù)雜的任務(wù)

智能體（Agent）是指能夠感知環(huán)境、進(jìn)行決策并采取行動(dòng)的系統(tǒng)，它是AI系統(tǒng)中不可或缺的部分，其自主性和適應(yīng)性使其在眾多場(chǎng)景中具備巨大價(jià)值，推動(dòng)了AI的實(shí)際應(yīng)用與發(fā)展。

Amazon Bedrock新增多智能體協(xié)作功能，支持多個(gè)專屬智能體共同協(xié)作，通過智能編排實(shí)現(xiàn)從語言理解到主動(dòng)推理和執(zhí)行的全流程自動(dòng)化。開發(fā)者可輕松構(gòu)建和管理智能體系統(tǒng)，將高級(jí)目標(biāo)分解為可執(zhí)行的步驟，大幅提升解決復(fù)雜任務(wù)的能力。

小結(jié)

Amazon Bedrock在此次更新中全面提升了生成式AI的實(shí)用性，從模型選擇、推理優(yōu)化到數(shù)據(jù)整合、安全性保障，再到智能體的編排與應(yīng)用，為開發(fā)者提供了更強(qiáng)大且靈活的工具組合。

這些功能降低了生成式AI的開發(fā)門檻，還加速了其在企業(yè)場(chǎng)景中的落地與價(jià)值釋放。在生成式AI蓬勃發(fā)展的當(dāng)下，Amazon Bedrock無疑為企業(yè)提供了通向智能未來的重要橋梁，為推動(dòng)整個(gè)行業(yè)邁向更高水平貢獻(xiàn)了強(qiáng)勁動(dòng)力。

zhupb