模型太多,變化太快,不知道怎么選?
與側(cè)重訓(xùn)練的Amazon SageMaker不同,Amazon Bedrock主要是將訓(xùn)練好的基礎(chǔ)模型進(jìn)行推理,幫助開發(fā)人員構(gòu)建和擴(kuò)展生成式AI應(yīng)用,由于更靠近應(yīng)用創(chuàng)新的部分,因此受到了更多關(guān)注。
亞馬遜云科技人工智能與數(shù)據(jù)副總裁Dr. Swami Sivasubramanian將Amazon Bedrock的更新細(xì)分成了五個(gè)方面,如果非要挑選Amazon Bedrock現(xiàn)階段最大的價(jià)值或者賣點(diǎn)的話,就是它對(duì)于多個(gè)模型的支持。
當(dāng)前,生成式AI大模型技術(shù)仍在快速發(fā)展當(dāng)中,不同模型在不同應(yīng)用場景中的表現(xiàn)會(huì)有很大差異。對(duì)于希望應(yīng)用生成式AI大模型的企業(yè)而言,如何選擇合適的模型,如何在新模型出現(xiàn)時(shí)快速完成技術(shù)切換就顯得尤為重要。
亞馬遜云科技人工智能、機(jī)器學(xué)習(xí)與基礎(chǔ)設(shè)施服務(wù)副總裁Baskar Sridharan在采訪中表示,從原型到產(chǎn)品化的過程中,模型選擇是至關(guān)重要的關(guān)鍵因素之一。亞馬遜云科技通過整合來自領(lǐng)先供應(yīng)商的廣泛模型,為用戶提供了極大的自由度。然而,今天可能模型A是最佳選擇,幾個(gè)月后模型B可能更適合,再過一段時(shí)間可能需要模型C。因此,用戶需要的是既能跟上模型進(jìn)化步伐,又能保持技術(shù)堆棧穩(wěn)定的解決方案。
于是,亞馬遜云科技開始在這兩方面發(fā)力:一方面提供豐富的模型選擇,滿足用戶多樣化的需求;另一方面確保整個(gè)生態(tài)系統(tǒng)的穩(wěn)定性,為企業(yè)打造兼具靈活性與可靠性的生成式AI平臺(tái)。這種平衡無疑是推動(dòng)技術(shù)落地的重要支撐點(diǎn)。
Amazon Bedrock給了用戶自由選擇模型的權(quán)利,平臺(tái)上不僅整合了來自Anthropic、Meta、Stability AI以及Amazon等23家開發(fā)商的模型,覆蓋文本生成、多模態(tài)理解、圖像與視頻生成等多個(gè)領(lǐng)域。
其中,新推出的Amazon Bedrock Marketplace使用戶能夠訪問另外120多個(gè)大模型。與原來最大的不同點(diǎn)在于,Marketplace都需要用戶自己創(chuàng)建推理模型的主機(jī),而原來的都是Serverless這種高級(jí)的方式。不過,兩者都可以用統(tǒng)一的API調(diào)用。
看得出來,Amazon Bedrock在竭盡所能地提供更多模型可供選擇,用戶可以在這里評(píng)估模型的效果。當(dāng)用戶面對(duì)N多模型不知如何選擇的時(shí)候,可以在這里做出選擇,哪怕模型并不是最理想的,也不用焦慮。
這是因?yàn)?,Amazon Bedrock提供的是統(tǒng)一的API,這意味著可以簡化模型集成和切換的過程。當(dāng)有新的更合適的模型出現(xiàn),開發(fā)者可以快速完成切換,無需進(jìn)行大量代碼修改即可升級(jí)到最新的模型,真正克服大模型選擇困難癥。
除了推出更多模型,亞馬遜云科技還在將Amazon Bedrock打造成更適合大模型的云服務(wù)。
Amazon Bedrock優(yōu)化推理的成本、延遲和準(zhǔn)確性
過去兩年以來,AI算力關(guān)注的絕對(duì)焦點(diǎn)就是訓(xùn)練。然而,隨著文生視頻大模型越來越多,同時(shí),專家發(fā)現(xiàn),依靠模型“慢思考”的模式可以提高模型的最終表現(xiàn),依靠推理算力提高模型表現(xiàn)的做法受到關(guān)注。于是,未來推理的負(fù)載會(huì)越來越多。
在re:Invent期間,亞馬遜云科技的Amazon Bedrock為優(yōu)化生成式AI推理效率推出了多項(xiàng)創(chuàng)新功能,幫助開發(fā)者在成本、延遲和模型準(zhǔn)確性之間找到更好的平衡。
其中,新的模型蒸餾功能支持將大型模型的知識(shí)轉(zhuǎn)移到更小、更高效的模型上,可實(shí)現(xiàn)高達(dá)500%的速度提升和75%的成本降低。
此外,新增的延遲優(yōu)化推理選項(xiàng)讓開發(fā)者能夠利用最新的AI硬件和軟件優(yōu)化,進(jìn)一步提升推理性能,滿足多樣化的業(yè)務(wù)需求。
Amazon Bedrock新推出的提示詞緩存功能能夠緩存重復(fù)使用的提示前綴,從而避免模型重復(fù)計(jì)算,延遲最多降低85%,成本最多降低90%,特別適合文檔問答、代碼助手、智能搜索或長對(duì)話等需要復(fù)雜提示的應(yīng)用場景。
Amazon Bedrock新推出的智能提示詞路由功能,通過動(dòng)態(tài)分配提示請(qǐng)求到模型家族中的不同基礎(chǔ)模型,實(shí)現(xiàn)高質(zhì)量響應(yīng)的同時(shí)降低成本,最多可節(jié)省30%。
它幫助開發(fā)者優(yōu)化任務(wù)的處理,用更高效的模型處理簡單任務(wù),而復(fù)雜需求則交給更強(qiáng)大的模型,它提供了一種更高效、更經(jīng)濟(jì)的模型管理方式,加速開發(fā)并提升整體性能。
Amazon Bedrock讓用戶更高效地使用用戶自己的數(shù)據(jù)
用戶向通用模型發(fā)出提示詞,只會(huì)得到一個(gè)通用的答案,而如果模型能使用用戶自己的數(shù)據(jù),就可以得到有更多上下文的回復(fù)。
在過去兩年中,我們知道用戶可以對(duì)模型的微調(diào)和RAG(檢索增強(qiáng)生成)技術(shù)來使用自己的數(shù)據(jù),從而生成更符合上下文的答案。
RAG是一個(gè)相對(duì)技術(shù)化的語言,Amazon Bedrock把它包裝成了知識(shí)庫服務(wù)。在re:Invent期間,亞馬遜云科技對(duì)RAG技術(shù)能力,也就是知識(shí)庫相關(guān)的服務(wù)提供了四項(xiàng)增強(qiáng)的能力,其核心思想就是幫助用戶更方便地把自己的數(shù)據(jù)交給模型。
第一個(gè)叫GraphRAG。這里的Graph不是指圖像,而是知識(shí)圖譜。它用知識(shí)圖譜來幫助生成式AI更智能地整合和理解分散在多個(gè)數(shù)據(jù)源的信息。幸運(yùn)的是,開發(fā)者不需要了解復(fù)雜的知識(shí)圖譜技術(shù),GraphRAG會(huì)自動(dòng)完成這些工作,最終讓模型給出更相關(guān)、更可信的答案。
知識(shí)庫結(jié)構(gòu)化數(shù)據(jù)檢索功能:讓生成式AI能夠直接從Amazon Redshift中提取結(jié)構(gòu)化數(shù)據(jù),并生成精準(zhǔn)的自然語言響應(yīng)。通過這一功能,開發(fā)者無需構(gòu)建復(fù)雜的SQL查詢,系統(tǒng)會(huì)自動(dòng)將自然語言請(qǐng)求轉(zhuǎn)換為SQL,查詢所需數(shù)據(jù)并整合到AI模型的響應(yīng)中。該功能簡化了企業(yè)利用結(jié)構(gòu)化數(shù)據(jù)開發(fā)生成式AI應(yīng)用的過程。
Amazon Kendra GenAI Index是一款高精準(zhǔn)的智能搜索工具,通過高精準(zhǔn)的智能搜索和數(shù)據(jù)整合能力,快速接入和整合內(nèi)容,無需開發(fā)復(fù)雜的自定義搜索機(jī)制或進(jìn)行繁瑣的數(shù)據(jù)遷移,全面提升數(shù)據(jù)利用效率。它無縫集成Amazon Bedrock知識(shí)庫及相關(guān)功能,幫助企業(yè)輕松構(gòu)建高級(jí)生成式AI應(yīng)用。
Data Automation數(shù)據(jù)自動(dòng)化功能:該功能通過一個(gè)簡單的API,將非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)提取、轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù),并生成符合生成式AI應(yīng)用需求的自定義輸出,無需開發(fā)者編寫任何代碼。這項(xiàng)技術(shù)可大幅降低數(shù)據(jù)處理復(fù)雜度和成本,讓企業(yè)能夠充分利用多模態(tài)數(shù)據(jù),構(gòu)建更智能、更高效的生成式AI應(yīng)用。
構(gòu)建具有安全性和負(fù)責(zé)任的AI
可以說,生成式AI在企業(yè)應(yīng)用場景中落地最優(yōu)先考慮的就是安全性,Amazon Bedrock Guardrails可以為生成式AI應(yīng)用實(shí)施定制的保護(hù)措施。
Automated reasoning checks自動(dòng)推理檢查功能(預(yù)覽版):該功能通過數(shù)學(xué)驗(yàn)證技術(shù)檢測大型語言模型(LLM)的幻覺現(xiàn)象,確保生成的答案準(zhǔn)確,并提供可驗(yàn)證的證據(jù),從而提升生成式AI在關(guān)鍵場景下的透明性和可信度。該功能允許領(lǐng)域?qū)<覄?chuàng)建規(guī)則化的推理政策,將復(fù)雜業(yè)務(wù)邏輯融入AI模型的驗(yàn)證流程。
Amazon Bedrock Guardrails的多模態(tài)毒性檢測功能新增圖像內(nèi)容的檢測與過濾能力,能夠識(shí)別并屏蔽包含仇恨、暴力、侮辱或不當(dāng)行為的圖像內(nèi)容。該功能適用于所有支持圖像數(shù)據(jù)的模型,包括微調(diào)模型,與文本過濾功能共同構(gòu)建統(tǒng)一的安全保護(hù)層,幫助開發(fā)者確保生成內(nèi)容的安全性與合規(guī)性,滿足多模態(tài)AI應(yīng)用安全需求。
多智能體協(xié)作功能,解決更復(fù)雜的任務(wù)
智能體(Agent)是指能夠感知環(huán)境、進(jìn)行決策并采取行動(dòng)的系統(tǒng),它是AI系統(tǒng)中不可或缺的部分,其自主性和適應(yīng)性使其在眾多場景中具備巨大價(jià)值,推動(dòng)了AI的實(shí)際應(yīng)用與發(fā)展。
Amazon Bedrock新增多智能體協(xié)作功能,支持多個(gè)專屬智能體共同協(xié)作,通過智能編排實(shí)現(xiàn)從語言理解到主動(dòng)推理和執(zhí)行的全流程自動(dòng)化。開發(fā)者可輕松構(gòu)建和管理智能體系統(tǒng),將高級(jí)目標(biāo)分解為可執(zhí)行的步驟,大幅提升解決復(fù)雜任務(wù)的能力。
小結(jié)
Amazon Bedrock在此次更新中全面提升了生成式AI的實(shí)用性,從模型選擇、推理優(yōu)化到數(shù)據(jù)整合、安全性保障,再到智能體的編排與應(yīng)用,為開發(fā)者提供了更強(qiáng)大且靈活的工具組合。
這些功能降低了生成式AI的開發(fā)門檻,還加速了其在企業(yè)場景中的落地與價(jià)值釋放。在生成式AI蓬勃發(fā)展的當(dāng)下,Amazon Bedrock無疑為企業(yè)提供了通向智能未來的重要橋梁,為推動(dòng)整個(gè)行業(yè)邁向更高水平貢獻(xiàn)了強(qiáng)勁動(dòng)力。