???????????? ICOS 高可用計算架構(gòu)

業(yè)務層高可用：確保業(yè)務高可用的關鍵在于能敏銳感知Hypervisor虛擬化層面異常事件并及時采取合適的保護動作。ICOS的集群HA管理服務方案在計算主機配置云主機監(jiān)控服務，輪詢底層虛擬化接口，關注虛擬機異常事件，例如“異常退出”。當事件發(fā)生時，云主機監(jiān)控服務封裝并發(fā)送“云主機異常退出通知”到集群HA管理服務，由異常事件處理引擎甄別事件，并發(fā)送“云主機重啟”請求到ICOS計算服務接口，完成對問題業(yè)務的恢復。

關鍵進程高可用：如果要確保業(yè)務云主機的健康運行，僅僅從Hypervisor層關注虛擬機是否宕機顯然是不夠的，因為在復雜的云環(huán)境下，業(yè)務的健康不僅取決于其掛載的后端分布式存儲是否可用，業(yè)務網(wǎng)絡是否暢通，還在于云環(huán)境中能否被良好地治理等諸多因素。在計算集群中，負責維護這些因素良好狀態(tài)的進程就是我們所關注的“關鍵進程”。ICOS的集群HA管理服務方案提供了一套高度可配置化，自由定制化架構(gòu)以實現(xiàn)對計算主機進程的監(jiān)控：監(jiān)控進程列表可配置，監(jiān)控腳本以及異常處理Action可以自定義，支持基于Action列表的工作流定制化。

系統(tǒng)默認提供“嘗試重新啟動失敗進程”的處理方式，一旦目標進程發(fā)生異常，可以在數(shù)秒內(nèi)檢測到并恢復服務以解決問題，如果多次嘗試無果，即自動發(fā)送“進程不可用”事件到集群HA管理服務，由其通知云平臺Disable本節(jié)點計算服務，使該計算主機不在為新建虛擬機提供計算資源，但并不妨礙既有業(yè)務運行，這時配合外部的集群監(jiān)控系統(tǒng)告知運維人員，使其進行系統(tǒng)修復，并可以將該修復方法定義為新的Action以實現(xiàn)系統(tǒng)的進化。

主機高可用：各個計算主機上的主機監(jiān)控進程集成了業(yè)界成熟開源的高可用心跳檢測工具Pacemaker Remote，不僅可以提供高效率的運行狀態(tài)探測，而且突破了Pacemaker集群最多16節(jié)點的限制，極大地擴展了計算集群大規(guī)模彈性的上限。主機監(jiān)控進程借助該工具感知集群Peer節(jié)點的運行狀態(tài)，一旦發(fā)生物理主機宕機，那么就會由心跳集群主控節(jié)點的主機監(jiān)控進程產(chǎn)生“宕機事件通知”，并告知集群HA管理服務，并經(jīng)后者的事件處理引擎甄別，觸發(fā)ICOS計算服務的“云主機疏散”，將故障主機上的業(yè)務遷移到集群其他可用計算節(jié)點，從發(fā)現(xiàn)宕機到虛擬機重啟并且能夠正常運行，整體時間可以控制在1分鐘左右。此外，ICOS還可以基于可配置策略對物理主機進行諸如重啟或者關機的相應處理策略，從而防止業(yè)務虛擬機出現(xiàn)腦裂現(xiàn)象。當主機故障清除后，主機健康運行后，還可以根據(jù)配置策略決定是否自動加入高可用監(jiān)控集群中，使得高可用的配置策略更加簡單化、人性化。

借助于浪潮自研的高可靠分布式存儲以及ICOS全方位的集群高可用管理服務，在主機硬件故障，機房斷電等不可抗因素引發(fā)宕機的場景下，ICOS確保業(yè)務連續(xù)性，有效降低宕機時間。

zhangnn