圖1,存儲現場服務過程

AI技術可以解決存儲系統運行和管理的復雜性問題。AI系統會不斷地從存儲及其運行環(huán)境中采集存儲的各種狀態(tài)信息和性能數據,用機器學習算法分析、學習用戶的存儲使用情況,進而自動化的調整并優(yōu)化存儲系統,使存儲服務能更好地適應用戶的需求。比如:智能化的把數據保存在合適的區(qū)域、自動的完成數據均衡、預測未來的需求、預防潛在的問題、自動參數調優(yōu)等。有AI加持的智能存儲可以增強系統的可靠性、降低存儲的復雜性和維護成本。

權威IT調研與咨詢服務公司Gartner也在持續(xù)關注存儲智能化的發(fā)展,并給出了AIOps(Artificial Intelligence IT Operations)的定義: AIOps利用大數據和AI技術增強IT管理和運維的能力,包括:可用性和性能監(jiān)測、事件關聯和分析、IT服務管理和自動化。

客戶需要存儲的智能管理

全球的客戶也期待著智能化的存儲產品。IDC在2018年6月完成了一項全球存儲客戶的智能化特性調查,客戶對使用AI / ML算法推動存儲系統的改進抱以積極的態(tài)度:

圖2,IDC調研:客戶對AI存儲的需求

同時,IDC還調研了已經使用了存儲AIOps的客戶,詢問他們從中得到了哪些好處。圖3展示了客戶目前最關心的五項智能服務。其中,排第一的AIOps用途是改善系統的整體可用性。其次是加快問題解決速度及提高性能容量規(guī)劃。預測性地識別任何即將發(fā)生的故障,監(jiān)視與存儲相關的其他IT基礎架構也被客戶重點關注。

圖3,IDC調研:用戶最希望使用的AIOps特性

存儲AIOps的關鍵技術

圖4,存儲的AIOps框架

一個完整的存儲AIOps框架包括5個過程:

1) 監(jiān)控:系統首先通過日志、SNMP、RestAPI等技術手段抓取并保存存儲系統中的運行狀態(tài)、性能和故障報錯數據,這為AI自優(yōu)化系統創(chuàng)造了數據基礎。

2) 學習:在長時間、海量的監(jiān)控數據基礎上,AI會不斷分析用戶的IO模型和系統狀態(tài)信息,學習最佳的應用實踐,并自動分析問題根因和發(fā)現異常行為。

3) 預測:對于新發(fā)現的問題,AI算法都可以自動學習并提取可重復的模式,并將新的算法模型應用到其他尚未發(fā)現該問題的設備上,從而準確預測風險和故障。

4) 推薦:除了智能化預測新問題外,AI還會學習出解決和優(yōu)化問題的具體建議。如修改內外部配置參數、更換部件、系統軟件升級等。

5) 實施:AI系統可以自動運行優(yōu)化措施并解決問題。如果處于安全考慮,也可以停止自動優(yōu)化系統,人工操作來解決現場問題。

總結起來,AIOps為存儲提供了根因分析、預測、自動調優(yōu)三大功能。Gartner則給出了更為完成的存儲AIOps功能。

圖5,AIOps的主要功能

學術界也非常關注存儲的AIOps。國外的存儲和系統領域的頂級會議FAST、ATC、SRE、KDD有很多相關文章,清華大學、中科院、華中科技大學等國內科研機構也在故障預測、根因分析、異常檢測、自動調優(yōu)等方面有優(yōu)秀的科研成果。

清華大學在《計算機學會通訊》上發(fā)表了 “基于機器學習的運維”,系統地闡述了智能運維的關鍵技術。文中把AIOps分成歷史事件、當前事件、未來事件三類應用場景。

歷史事件場景中瓶頸分析指的是制約存儲或系統服務的硬件或軟件瓶頸。熱點分析指的是自動挖掘出大于正常閾值性能指標。KPI聚類是對類似的指標曲線進行聚類。KPI曲線關聯挖掘是針對兩條曲線的關聯關系進行挖掘。全鏈路模塊調用分析能分析出模塊間的調用關系。異常事件關聯挖掘是指對異常事件之間的關系進行關聯分析。故障傳播關系圖融合了以上四種技術,推斷出異常事件之間的故障傳播關系。

當前事件場景主要是根據當前的日志和告警,快速檢測、定位異常,并完成故障的根因分析,最終實現快速止損,控制故障的影響范圍。

未來事件場景的技術原理都是通過AI技術自動挖掘故障發(fā)生前的日志、性能參數指標,找到故障前的可重復的模式,從而在今后出現類似的日志模式時,提前預測故障、性能容量變化趨勢以及系統可能的熱點瓶頸。根據IDC的客戶調查來看,針對未來事件的預測場景是存儲用戶關注的重點。

圖6 AIOps的關鍵場景和技術

存儲AIOps的產業(yè)落地

存儲產業(yè)界中,HPE在2010年就推出了智能化的存儲軟件Infosight,提供了預測性分析、端到端的故障定位、性能洞察等一系列的智能化功能。幫助用戶分析復雜應用環(huán)境下從虛擬機到后端存儲端到端的性能瓶頸,確定影響性能瓶頸的主要因素,并最終給出可行的優(yōu)化或解決問題的建議。浪潮的智能化存儲管理軟件Inview也實現了磁盤故障預測、性能容量預測的智能化功能,幫助客戶預防硬件故障帶來的損失,并給出具體的擴容建議,為客戶提供更好的存儲服務。其他存儲領域的主流廠商Netapp、IBM、EMC也在2017年以后推出了自己的智能化產品ActiveIQ、StorageInsights和CloudIQ。

分享到

zhangnn

相關推薦