以EC4+2冗余策略為例
Ceph系架構(gòu)通過SSD加速存儲池性能方案在提升I/O效率的同時,帶來了以下問題:
交叉故障風(fēng)險:單塊SSD故障導(dǎo)致整組HDD不可用,疊加其他故障時數(shù)據(jù)丟失風(fēng)險增加。
修復(fù)效率低下:單塊SSD故障需重建144TB數(shù)據(jù)(以SSD:HDD=1:9,HDD容量為16T為例),理想狀態(tài)下修復(fù)時間也需要72小時。
擴展僵化:SSD與HDD需按比例擴容,無法獨立擴展SSD提升性能。
針對上述問題,EDS存儲在架構(gòu)上將SSD與HDD完全解耦,通過數(shù)據(jù)熱度動態(tài)遷移與跨層異步IO調(diào)度,實現(xiàn)性能與容量的彈性平衡,規(guī)避傳統(tǒng)方案中SSD-HDD綁定的數(shù)據(jù)可靠性風(fēng)險與緩存層擴展性問題。
1.跨層故障隔離
SSD與HDD完全解耦,SSD故障僅影響自身數(shù)據(jù)副本,HDD層數(shù)據(jù)完整可用且無需重建,徹底規(guī)避傳統(tǒng)方案中SSD故障造成的全磁盤組數(shù)據(jù)失效風(fēng)險,以及SSD-HDD交叉故障導(dǎo)致的數(shù)據(jù)風(fēng)險。
2.字節(jié)級精準重建
SSD層采用獨立冗余策略(如3副本),SSD單盤故障時僅需重建該SSD數(shù)據(jù)上的臟數(shù)據(jù)(分鐘級內(nèi)可完成),數(shù)據(jù)修復(fù)范圍可精準到字節(jié)級別,相比傳統(tǒng)磁盤組方案,修復(fù)時間可縮短99%,窗口期數(shù)據(jù)丟失風(fēng)險接近于零。
3.全SSD高性能引擎
前端業(yè)務(wù)讀寫100%由SSD性能層承載,基于熱力圖智能識別熱數(shù)據(jù),確保高頻I/O全閃存響應(yīng),隨機讀寫性能提升10倍以上,時延降至亞毫秒級。
數(shù)據(jù)異步下沉至HDD容量層,通過智能回刷機制規(guī)避HDD寫入瓶頸,業(yè)務(wù)高峰期仍可保持穩(wěn)定吞吐。
4.性能層彈性擴展
緩存層、持久化存儲層無綁定比例限制,單節(jié)點擴容一塊SSD即可線性提升全局緩存層容量,無需同步擴容HDD,實現(xiàn)“按需投資,即時生效”的性能升級。
數(shù)據(jù)修復(fù)「新解法」
智能QoS調(diào)控+全局參與重建
1.智能QoS調(diào)控、修復(fù)不搶業(yè)務(wù)資源
通過秒級精度監(jiān)控業(yè)務(wù)IO流量、延遲及帶寬利用率,精準判斷業(yè)務(wù)壓力等級,實現(xiàn)動態(tài)感知業(yè)務(wù)負載。
自適應(yīng)限速策略
業(yè)務(wù)高峰期:自動降低數(shù)據(jù)重建的任務(wù)并發(fā)數(shù)和任務(wù)優(yōu)先級,優(yōu)先保障業(yè)務(wù)資源供給,避免性能波動。
業(yè)務(wù)低谷期:提升重建任務(wù)的并發(fā)數(shù)與優(yōu)先級,充分利用閑置資源,修復(fù)效率提升3倍。
2.全局參與重建,修復(fù)速度質(zhì)的飛躍
全局參與重建技術(shù)通過創(chuàng)新的多源并行機制徹底改變了傳統(tǒng)數(shù)據(jù)修復(fù)模式,有效解決了傳統(tǒng)存儲系統(tǒng)在重建過程中面臨的資源利用率低下問題。
核心原理
一方面采用多源讀取策略,基于EC分片分布從多個健康故障域同時獲取數(shù)據(jù)分片,使聚合帶寬提升2-3倍,實現(xiàn)全局存儲資源的高效利用。
另一方面通過多目的端寫入技術(shù),將恢復(fù)數(shù)據(jù)分塊并行寫入多塊磁盤,充分調(diào)用目標端磁盤IO與網(wǎng)絡(luò)帶寬資源,形成端到端的并行加速通道,從而大幅提升數(shù)據(jù)重建效率。
流程詳解
1. 選擇與故障盤不屬于同一故障域的完好硬盤作為數(shù)據(jù)源。
2. 通過跨域數(shù)據(jù)重構(gòu),將數(shù)據(jù)恢復(fù)至原故障盤所屬故障域內(nèi)的其他正常硬盤(如修復(fù)數(shù)據(jù)1、數(shù)據(jù)a)。
深信服EDS存儲通過SSD與HDD解耦架構(gòu)實現(xiàn)性能與容量的彈性平衡,結(jié)合智能QoS調(diào)控與全局參與重建技術(shù),讓數(shù)據(jù)修復(fù)“隱身運行”!深信服EDS存儲希望通過持續(xù)的技術(shù)創(chuàng)新,為用戶的數(shù)字化轉(zhuǎn)型提供堅實的存儲底座。