從“可選”到“必選”

    作為青島市勞動(dòng)和社會(huì)保障信息系統(tǒng)的副處長張帥來說，怎樣萬無一失地保證業(yè)務(wù)系統(tǒng)的不間斷運(yùn)行，一直是最讓他牽掛的事情。

    說起來也難怪，一方面，現(xiàn)代企業(yè)和社會(huì)，對(duì)于信息系統(tǒng)的依賴性越來越強(qiáng)，并逐步成為其生存運(yùn)轉(zhuǎn)的命脈：根據(jù)權(quán)威調(diào)查，企業(yè)如果在災(zāi)難后兩個(gè)星期內(nèi)無法恢復(fù)信息系統(tǒng)的使用，超過80%的公司業(yè)務(wù)將不得不停頓下來，而這會(huì)直接導(dǎo)致近一半的公司永遠(yuǎn)關(guān)閉。如果信息系統(tǒng)停頓的時(shí)間超過一個(gè)月，那么幸存的公司不會(huì)超過20%。

    另一方面，火災(zāi)、水災(zāi)、爆炸、地震、雷擊或設(shè)備線路故障等自然原因以及黑客破壞、人為破壞等非自然原因引起的災(zāi)難，又時(shí)刻縈繞在我們的周圍，使我們無法做到高枕無憂。如果說對(duì)于大多數(shù)企業(yè)而言，災(zāi)難意味著財(cái)產(chǎn)和企業(yè)名譽(yù)的損失，那么對(duì)于“社?！边@樣重要的系統(tǒng)，更要考慮到重大的社會(huì)影響和政治影響，這是一個(gè)任何人都難以承擔(dān)的巨大責(zé)任。

    據(jù)張帥介紹，關(guān)于社保系統(tǒng)安全與持續(xù)運(yùn)行的問題，很早就列入了他們重點(diǎn)工作的日程表。青島市勞動(dòng)和社會(huì)保障信息系統(tǒng)采用了全市大集中模式，并且包括多個(gè)業(yè)務(wù)系統(tǒng)；同時(shí)，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流量、數(shù)據(jù)處理量和數(shù)據(jù)存儲(chǔ)量也越來越大。因此，業(yè)務(wù)系統(tǒng)的穩(wěn)定與否、系統(tǒng)的保護(hù)和數(shù)據(jù)的保護(hù)是否健全，已成為青島市社會(huì)保障業(yè)務(wù)系統(tǒng)正常運(yùn)行的關(guān)鍵?！坝捎谌轂?zāi)備份涉及到系統(tǒng)的安全運(yùn)營，而本身它又是面向未來發(fā)生概率較小的事件，因此我們更需要謹(jǐn)慎，尋找一個(gè)可靠穩(wěn)妥，切合我們工作實(shí)際需求的解決方案。”

    從現(xiàn)有的系統(tǒng)情況來看，數(shù)據(jù)集中處理的實(shí)施，讓勞動(dòng)保障的業(yè)務(wù)運(yùn)作、管理模式將越來越依賴于計(jì)算機(jī)系統(tǒng)的可靠運(yùn)行。青島市各級(jí)勞動(dòng)保障機(jī)構(gòu)所提供服務(wù)的連續(xù)性以及業(yè)務(wù)數(shù)據(jù)的完整性、正確性、有效性，會(huì)直接關(guān)系到業(yè)務(wù)的生產(chǎn)、管理與決策活動(dòng)。

    隨著時(shí)間的推移，對(duì)網(wǎng)絡(luò)、通信線路、服務(wù)器主機(jī)等關(guān)鍵硬件設(shè)備以及數(shù)據(jù)庫，應(yīng)用服務(wù)器等軟硬件進(jìn)行相應(yīng)的故障保護(hù)和容災(zāi)備份部署，已經(jīng)由原來的“可選”變成了“必選”。因?yàn)橐坏┘刑幚眢w系的任何一個(gè)環(huán)節(jié)因?yàn)榛馂?zāi)、地震等導(dǎo)致異常情況，都會(huì)使正常業(yè)務(wù)無法正常進(jìn)行，造成重要數(shù)據(jù)的丟失、破壞，使相關(guān)的青島市各級(jí)勞動(dòng)保障部門的勞動(dòng)保障經(jīng)辦業(yè)務(wù)系統(tǒng)中斷，從而最終導(dǎo)致無法預(yù)計(jì)的后果。

    于是，尋找適合的災(zāi)難備份系統(tǒng)，成為他們當(dāng)時(shí)最為迫切的任務(wù)。

    “適合”就是第一準(zhǔn)則

    “雖然提供相關(guān)解決方案的廠商有不少，但是選擇起來卻頗費(fèi)工夫?！睋?jù)負(fù)責(zé)該項(xiàng)目后期實(shí)施的項(xiàng)目經(jīng)理趙軍介紹，“由于容災(zāi)所承擔(dān)的是青島社保系統(tǒng)最關(guān)鍵的核心業(yè)務(wù)，其重要作用勿庸置疑，容災(zāi)本身的復(fù)雜性也是十分明顯的，這就決定了該容災(zāi)項(xiàng)目并不是簡(jiǎn)單的產(chǎn)品方案采購，而是一項(xiàng)需要認(rèn)真對(duì)待的系統(tǒng)工程?！?br />

    在考察了多家企業(yè)后，用戶最終把目光鎖定在了賽門鐵克的身上，除了因?yàn)橘愰T鐵克旗下的VERITAS遠(yuǎn)程容災(zāi)解決方案早已在業(yè)界聲名遠(yuǎn)播，更重要的是，他們能夠從客戶的角度考慮問題。賽門鐵克的工程師在初期接觸項(xiàng)目時(shí)就建議用戶：備份容災(zāi)是涉及到眾多技術(shù)以及眾多產(chǎn)品的解決方案。因此性能、靈活性以及價(jià)格都是必須考慮的因素，需要根據(jù)用戶的實(shí)際需求量身打造，而不是盲目選用最貴的產(chǎn)品。許多用戶的生產(chǎn)站點(diǎn)都是經(jīng)過長期積累、多次改造后形成的，對(duì)于特殊的應(yīng)用還采用特定的設(shè)備。那么當(dāng)考慮構(gòu)建容災(zāi)站點(diǎn)時(shí)就必須把所有這些情況都考慮進(jìn)來??“選擇適合自己的”是構(gòu)建容災(zāi)方案的一條基本準(zhǔn)則。當(dāng)然，賽門鐵克也建議與此同時(shí)用戶還要考慮長遠(yuǎn)一些，盡量采用先進(jìn)而不是將要淘汰的技術(shù)，畢竟冗余站點(diǎn)與生產(chǎn)站點(diǎn)一樣會(huì)長期使用。

    從具體的項(xiàng)目需求來看，青島市社會(huì)保障信息系統(tǒng)的故障恢復(fù)和災(zāi)難備份系統(tǒng)的建設(shè)要求采用應(yīng)用級(jí)別的容災(zāi)方案，在系統(tǒng)建設(shè)過程中，不僅考慮數(shù)據(jù)中心端的容錯(cuò)，還應(yīng)該考慮對(duì)重要關(guān)鍵業(yè)務(wù)的系統(tǒng)進(jìn)行異地容災(zāi)備份和對(duì)重要數(shù)據(jù)的定時(shí)、實(shí)時(shí)備份。這樣不但保證了用戶的關(guān)鍵業(yè)務(wù)數(shù)據(jù)的不丟失性和高安全性，而且還避免了當(dāng)生產(chǎn)中心發(fā)生意外災(zāi)難時(shí)（如生產(chǎn)中心停電時(shí)間超過UPS保障時(shí)間1個(gè)小時(shí)），業(yè)務(wù)中斷時(shí)間過長等問題，將損失降到最低點(diǎn)，同時(shí)保障業(yè)務(wù)運(yùn)行的持續(xù)性。

    “社?！钡谋ｋU(xiǎn)方案

    在經(jīng)過與用戶的多次討論和實(shí)際演練之后，最終選擇的解決方案技術(shù)條理已變得十分清晰。青島社保容災(zāi)系統(tǒng)主節(jié)點(diǎn)為青島市勞動(dòng)局的中心機(jī)房，同時(shí)，為了能夠在災(zāi)難發(fā)生后，業(yè)務(wù)系統(tǒng)依然可以不間斷地被訪問，其在青島市社保機(jī)關(guān)大樓建立了一個(gè)備用系統(tǒng)，以便適時(shí)接管業(yè)務(wù)。青島市社會(huì)保障信息系統(tǒng)數(shù)據(jù)中心與災(zāi)備中心之間采用專線連接方式，通過主機(jī)邏輯卷遠(yuǎn)程復(fù)制功能，實(shí)現(xiàn)數(shù)據(jù)的同步復(fù)制。

    數(shù)據(jù)中心數(shù)據(jù)庫服務(wù)器采用雙機(jī)集群配置，磁盤采用RAID技術(shù)提供磁盤鏡像，并配備磁帶庫數(shù)據(jù)備份系統(tǒng)。當(dāng)某一通信線路、路由器、防火墻、交換機(jī)、服務(wù)器出現(xiàn)故障，相應(yīng)的備份通信線路，以及冗余的路由器、防火墻、交換機(jī)、服務(wù)器接管工作。當(dāng)數(shù)據(jù)磁盤出現(xiàn)故障時(shí)，可以采用RAID磁盤鏡像以及數(shù)據(jù)備份系統(tǒng)進(jìn)行數(shù)據(jù)恢復(fù)。

    在災(zāi)備中心相應(yīng)配置一臺(tái)數(shù)據(jù)庫服務(wù)器、一臺(tái)應(yīng)用服務(wù)器、一臺(tái)磁盤陣列、一臺(tái)備份服務(wù)器、二臺(tái)網(wǎng)絡(luò)交換機(jī)，二臺(tái)路由器。

    災(zāi)備中心的業(yè)務(wù)數(shù)據(jù)庫和應(yīng)用服務(wù)器采用與生產(chǎn)中心性能一致的主機(jī)系統(tǒng)，進(jìn)行單主機(jī)配置，磁盤采用RAID磁盤鏡像。當(dāng)由于生產(chǎn)中心的災(zāi)難造成數(shù)據(jù)丟失時(shí)，災(zāi)備中心可以快速恢復(fù)生產(chǎn)中心的數(shù)據(jù)，以便快速恢復(fù)應(yīng)用。

    為保證遠(yuǎn)程數(shù)據(jù)同步復(fù)制的實(shí)現(xiàn), 兩個(gè)節(jié)點(diǎn)間通過10M SDH網(wǎng)絡(luò)互連, 兩個(gè)節(jié)點(diǎn)之間采用VERITAS的數(shù)據(jù)復(fù)制管理軟件VERITAS Volume Replicator，將數(shù)據(jù)庫和應(yīng)用數(shù)據(jù)作遠(yuǎn)程復(fù)制。VVR采用可靠的連接和監(jiān)聽協(xié)議，保證遠(yuǎn)程備份站點(diǎn)與本地邏輯卷數(shù)據(jù)的一致性。該軟件能容忍網(wǎng)絡(luò)延遲：在同步模式下，若網(wǎng)絡(luò)發(fā)生堵塞，可自動(dòng)切換到異步模式，當(dāng)網(wǎng)絡(luò)恢復(fù)后，再重新同步。

    為了能夠監(jiān)測(cè)應(yīng)用系統(tǒng)的運(yùn)行情況，并能夠在災(zāi)難發(fā)生時(shí)實(shí)現(xiàn)應(yīng)用系統(tǒng)從青島市勞動(dòng)局中心機(jī)房到備份中心的切換，青島社保選用專門的VERITAS Global Cluster Manager廣域網(wǎng)集群管理軟件來實(shí)現(xiàn)多集群的管理和應(yīng)用系統(tǒng)的容災(zāi)。GCM主要管理由青島市勞動(dòng)局和青島市社保機(jī)關(guān)大樓兩個(gè)節(jié)點(diǎn)組成的廣域集群，集中管理廣域范圍的網(wǎng)管應(yīng)用，并結(jié)合VVR做應(yīng)用級(jí)的容災(zāi)，在青島市勞動(dòng)局和青島市社保機(jī)關(guān)大樓之間做自動(dòng)的或管理員確認(rèn)的或計(jì)劃內(nèi)人工發(fā)起的網(wǎng)管應(yīng)用切換。

    VERITAS的GCM還可以在青島市勞動(dòng)局和青島市社保機(jī)關(guān)大樓之間建立心跳線以檢測(cè)兩地的系統(tǒng)，一旦青島市勞動(dòng)局系統(tǒng)發(fā)生故障，GCM將自動(dòng)或由系統(tǒng)管理員確認(rèn)或手工將網(wǎng)管應(yīng)用在青島市社保機(jī)關(guān)大樓接管運(yùn)行。由此保證網(wǎng)管系統(tǒng)的不間斷運(yùn)行。另一方面，對(duì)于計(jì)劃內(nèi)的停機(jī)情況，如青島市勞動(dòng)局機(jī)房的地點(diǎn)整體搬遷，也可以手工將網(wǎng)管系統(tǒng)切換到青島市社保機(jī)關(guān)大樓運(yùn)行，直到青島市勞動(dòng)局的新機(jī)房建立好后再將網(wǎng)管系統(tǒng)切換回青島市勞動(dòng)局。

    該容災(zāi)備份建設(shè)結(jié)構(gòu)可滿足未來幾年業(yè)務(wù)增長的需要，整個(gè)結(jié)構(gòu)具有非常好的擴(kuò)展能力以適應(yīng)業(yè)務(wù)發(fā)展的需求。當(dāng)業(yè)務(wù)增加、數(shù)據(jù)傳輸量增大、數(shù)據(jù)處理量增大、數(shù)據(jù)存儲(chǔ)量增大，可以通過增加相應(yīng)的硬件設(shè)備來實(shí)現(xiàn)負(fù)載均衡、分布服務(wù)、高性能運(yùn)行和容錯(cuò)、容災(zāi)。該系統(tǒng)投入運(yùn)行以來, 運(yùn)行正常, 性能良好。最終為青島市勞動(dòng)和社會(huì)保障核心應(yīng)用系統(tǒng)提供了7×24小時(shí)全面的數(shù)據(jù)和應(yīng)用安全保障。

    附：

多易