華為AI Fabric真正實現(xiàn)0丟包,100%釋放存儲性能
如何構建一個0丟包的網(wǎng)絡成為分布式存儲突破性能天花板必須解決的問題。
我們知道大規(guī)模網(wǎng)絡中流量超過交換機的處理和緩存能力時,基本的以太網(wǎng)處理機制就是丟棄報文。無損網(wǎng)絡的實現(xiàn)雖然包含一系列流量調度機制和措施,但其核心都在于控制發(fā)送端的發(fā)送速度,從而避免超過交換機處理能力的擁塞形成。
如何根據(jù)交換機當前的擁塞情況精準的控制源端的發(fā)送速度?當前業(yè)界基本的做法是在交換機端口設置隊列報文排隊,一旦超過某一個閾值(臨界水線),則意味著可能發(fā)生擁塞,就向源端反送反壓降速信號,從而對可能發(fā)生的擁塞丟包。因此閾值非常非常關鍵,它影響發(fā)送反壓信號的時機,是網(wǎng)絡中是否發(fā)生擁塞的決定性關鍵因素。如何設置閾值成為無損網(wǎng)絡技術創(chuàng)新的焦點和技術發(fā)展主線,大致可以分為三個階段。
過去:靜態(tài)設置,粗暴反壓
最早的無損以太交換機的基本實現(xiàn)依賴網(wǎng)絡管理員靜態(tài)設置閾值,特別考驗管理員能力,一旦設置的太保守,則可能降速太多,吞吐率很差;設置太激進則無法起到無損的效果。在早期FCoE階段,流量模型相對簡單,基本能夠滿足業(yè)務的訴求。但是隨著當前RoCE流量模型復雜多變,一個靜態(tài)的閾值無法滿足變化的需求,當前這種設置方式正在被拋棄。
現(xiàn)在:動態(tài)調整,實時反饋
一些領先的網(wǎng)絡廠商,在靜態(tài)設置的基礎上,提出了根據(jù)流量模型的變化實時調整閾值從而不斷的逼近最優(yōu)值,在吞吐和丟包之間進行平衡,取得了較好的效果,目前已經(jīng)成為領先企業(yè)的主流選擇。
但是,動態(tài)調整的問題,需要對流量進行實時采集分析,在大型框式設備上實現(xiàn)有一定的難度,另外雖然通過不斷調整力爭達到最優(yōu)值,調整過程中與最優(yōu)值還存在差距。
未來:智能預測,精準控制
2019年初,華為發(fā)布了業(yè)界首款面向AI時代的CloudEngine數(shù)據(jù)中心交換機,率先將AI芯片內嵌交換機中,獨創(chuàng)iLossless 智能無損交換算法,實現(xiàn)網(wǎng)絡100%吞吐下的真正0丟包與E2E μs級時延。據(jù)測試結果,效果已經(jīng)無限逼近了最優(yōu)值,確保無論多么網(wǎng)絡擁塞,0丟包的基礎上接近100%吞吐,這就是AI Fabric。通過AI Fabric構建的業(yè)界真正實現(xiàn)0丟包的以太網(wǎng),可以將分布式存儲網(wǎng)絡時延持續(xù)的穩(wěn)定在10us以下,揭開存儲的天花板,充分的釋放存儲的性能。
AI Fabric助力華為分布式存儲系統(tǒng)沖擊全球性能之巔
目前AI Fabric已經(jīng)應用到華為最新的OceanStor D系列分布式存儲中,通過AI Fabric可以在同等的條件下,將時延降低15%,助力存儲IOPS性能提升20%以上,沖擊單節(jié)點16.8萬IOPS的新高度。特別是AI Fabric確保通過增加存儲節(jié)點可以接近線性的提升性能,而保持時延基本不變。
以下是實驗室模擬的不同的業(yè)務負載下,分布式存儲時延和性能情況??梢钥吹剑珹I Fabric開啟后,時延降低了15%以上,IOPS最高提升了45%。
同時,今年華為云上線了基于OceanStor分布式存儲底座的云盤,目前已經(jīng)成為全球性能最高的云盤,單卷性能突破100萬IOPS,時延控制在75us,這背后,也是AI Fabric在支撐海量數(shù)據(jù)場景的極致低時延。(文/王新)
華為公司簡介
華為是全球領先的ICT(信息與通信)基礎 設施和智能終端提供商,致力于把數(shù)字世界帶入每個人、每個家庭、每個組織,構建萬物互聯(lián)的智能世界。我們在通信網(wǎng)絡、IT、智能終端和云服務等領域為客戶提供有競爭力、安全可信賴的產(chǎn)品、解決方案與服務,助力各行業(yè)數(shù)字化轉型。