我們看到,亞馬遜云科技不僅在云的核心服務層面持續(xù)創(chuàng)新,更在從芯片到模型,再到應用的每一個技術堆棧取得突破,讓不同層級的創(chuàng)新相互賦能、協(xié)同進化。
如果要了解亞馬遜云科技的生成式AI布局,可以分三個層面。
第一,提供豐富的AI大模型供用戶選擇。
“乾坤未定,你我皆是黑馬”描述了一種充滿可能性的狀態(tài),非常適合描述大模型的發(fā)展現狀,也描繪了廣大企業(yè)在選擇大模型時的焦慮心情。
如何找出適合自己的大模型,如何能在未來用上更合適的模型,已成為許多企業(yè)在面對AI技術變革時的共同難題。
亞馬遜云科技通過Amazon Bedrock托管了多種大模型,包括已完成Serverless化的熱門通用大模型Claude和LLama,此外,Marketplace上還提供了120多個行業(yè)垂類大模型,幾乎涵蓋了各個領域。
為了提供更豐富的選擇,亞馬遜更是親自上發(fā)布了Amazon Nova系列大模型,包括Micro、Lite、Pro和Premier(未正式發(fā)布)四款。其中,Amazon Nova在一系列評分中,與Claude、GPT-4o等熱門模型各有千秋,達到了同一水平。
沙利文大中華區(qū)總監(jiān)李慶表示:“新發(fā)布的Amazon Nova大模型家族備受期待,這一系列的模型和亞馬遜云科技的開放選擇理念將為用戶帶來更多創(chuàng)新機會,進一步推動AI的發(fā)展?!?/p>
Amazon Nova的能力令人矚目,而Amazon Micro和Lite也有其存在的必要。亞馬遜云科技大中華區(qū)數據分析與生成式AI的產品總監(jiān) 崔瑋指出,企業(yè)在選擇大模型時,需要根據延時、成本和性能的權衡來做決策。
崔瑋介紹稱,對于一些追求高準確度的客戶,可以選擇最強的模型,它的響應速度較慢且成本較高。而對于大流量的互聯網企業(yè),則傾向于選擇成本較低、性能可接受的模型。企業(yè)通常會根據具體的用例和ROI來選擇模型,以適應多樣化的任務需求。
在多樣性選擇的基礎上,用戶可以通過Amazon Bedrock直接驗證和對比模型,選定模型后直接調用API即可集成到自己的業(yè)務應用當中。如果,未來有更強的,或者更合適的模型出現,用戶可以在Bedrock的支持下輕松切換到新的模型。
如果用戶想利用自己的數據來構建自定義的模型,可以在Amazon Bedrock中進行微調、模型蒸餾和二次訓練,也可以使用知識庫服務,利用RAG技術將自己的私有數據交給大模型來構建企業(yè)的知識庫。
而且,Amazon Bedrock不只是簡單地托管模型,它還通過自動推理檢查和Guardrails多模態(tài)毒性檢測,確保輸出結果的準確性與安全性,助力企業(yè)構建負責任的AI。
Amazon Bedrock不僅有豐富多樣的模型可供選擇,還提供了各種實用工具,讓用戶在云上快速構建生成式AI應用,同時確保了高效、靈活和負責任的AI部署,以此吸引更多用戶在云上構建生成式AI。
第二,為開發(fā)者提供更多AI開發(fā)的便利工具。
“2024年我們看到許多客戶從思考階段進入實踐階段,2025年,很多客戶將從原型驗證階段轉化為生產階段。屆時客戶需求將更加復雜,不僅是選擇模型,還需要各種技術支持?!标悤越▽τ?025年的AI技術新趨勢做出了判斷。
在re:Invent期間,亞馬遜云科技發(fā)布了多種工具,幫助開發(fā)人員更好地開發(fā)模型,構建應用。
首先,全新一代的Amazon SageMaker已經整合了數據分析和AI開發(fā)的所有必要工具,成為一個統(tǒng)一的平臺。這些更新可以提升數據和AI開發(fā)的效率,幫助用戶更方便地處理和分析數據,同時降低了數據處理的復雜度。
新的Amazon SageMaker AI也帶來了多項實用功能。其中,HyperPod新訓練配方可以大大簡化了模型訓練的入門過程。新的HyperPod靈活訓練計劃,能根據用戶的時間和預算自動預留資源并生成訓練計劃,幫助用戶節(jié)省數周的模型訓練時間。
此外,HyperPod新增了任務治理功能,可以讓用戶為不同模型開發(fā)任務設定優(yōu)先級,動態(tài)調配計算資源,確保高優(yōu)先級任務及時完成。這項功能可減少最多40%的開發(fā)成本,同時優(yōu)化資源使用并減少任務等待時間。
在推理階段,Amazon Bedrock提供了延遲優(yōu)化選項提升模型的推理性能,提供了模型蒸餾功能來降低模型蒸餾的操作難度,通過GraphRAG來自動生成知識圖譜,還通過自動推理檢查功能來應對模型幻覺的問題。
陳曉建在采訪中提到,Agent智能體是將生成式AI應用于實際任務的重要方式,預計明年將迎來爆發(fā)。為解決應用中的挑戰(zhàn),Amazon Bedrock推出了智能體功能,并新增加了多智能體協(xié)作功能,可以更好地處理復雜任務。
除此之外,亞馬遜還面向更廣泛的開發(fā)者群體更新了Amazon Q Developer,更新后,它可以自己進行單元測試、自動生成文檔,自動進行代碼審查,可以提高開發(fā)者的工作效率。
與此同時,Amazon Q Developer現在還支持用戶將運行在VMware虛擬機環(huán)境IBM大型機環(huán)境,以及運行在微軟.Net開發(fā)框架下的應用遷移到亞馬遜的云平臺上,它可以讓整個過程變得更絲滑。
第三,提供自研的AI芯片以降低訓練和推理成本。
生成式AI技術浪潮來襲,帶動了新一輪的數據中心建設狂潮,需要更多服務器提供更多算力來運行推理和訓練負載,這意味著全球范圍內將會投入很多資源,為了提高資源的利用率,需要一系列的創(chuàng)新技術方案。
亞馬遜云科技在基礎計算能力方面積累頗深,自研的Nitro來提供存儲、算力、安全以及虛擬化卸載能力,它還像服務器里的服務器一樣,為構建多樣化的Amazon EC2主機提供了非常大的便利。
與此同時,亞馬遜云科技自研的Arm服務器芯片Graviton將Arm架構成功引入數據中心領域。自研Arm芯片不僅給亞馬遜構建了面向工作負載優(yōu)化的靈活性,還給用戶提供了無法抗拒的高性價比。過去兩年,超過一半新增的云主機都選擇了Arm主機。
在生成式AI沒有爆火之前,亞馬遜云科技就推出了面向推理的Amazon Inferentia 和用于訓練的Amazon Trainium。這兩款芯片不僅提供了更高的性價比,而且,搭配UltraCluster這樣的集群技術還可以構建超強的計算能力。
在re:Invent活動期間,亞馬遜云科技發(fā)布了基于Trainium2芯片的Trn2 實例,該實例配備了16個Trainium2 芯片,提供了20.8 PetaFlops的FP8算力,可用來訓練和部署數百億到萬億參數的模型。值得一提的是,Trn2提供比當前一代基于GPU的EC2 P5e 和 P5en 實例提供了30-40% 的性價比。
Poolside 是一家為開發(fā)者提供智能化的編程助手的AI公司,該公司計劃在Trn2 實例上訓練模型,預計能夠降低40%的訓練成本。同樣,知名數據和AI公司 Databricks 希望通過 EC2 Trn2 實例為共同客戶創(chuàng)造更多價值,同時將整體成本降低 30%。
為了縮短訓練時間,提供更強的算力,亞馬遜云科技還使用了NeuronLink(類似于NVLink)構建了Trn2 UltraServer,將64個Trainium2芯片通過四個Trn2 實例連接起來,從而提供更強的計算、內存和網絡帶寬。
有意思的是,UltraServer已有了標桿客戶。熱門AI公司Anthropic正在與亞馬遜云科技打造名為Rainier的Trn2 UltraCluster集群,用數十萬顆Trainium2芯片來訓練模型,其性能將是當前使用的集群的五倍以上。
Rainier的出現其實是為業(yè)界提供了基于英偉達顯卡的替代方案,同時提供了更具成本效益的AI訓練服務。亞馬遜還宣布,明年還會推出Amazon Trainium3芯片,采用3納米工藝,其性能將是Amazon Trainium2的兩倍,能效更是能直接提升40%。
結束語
在生成式AI技術浪潮面前,亞馬遜云科技通過一系列戰(zhàn)略性布局,從基礎設施、AI大模型以及開發(fā)工具、芯片的創(chuàng)新下手,為全球企業(yè)提供靈活、可擴展且高效的AI解決方案,讓公有云抓住生成式AI帶來的機遇。