圖 1) 數(shù)據(jù)保留要求。來源:SNIA 調(diào)查

在本文中,我將解釋長(zhǎng)期歸檔面臨的挑戰(zhàn),討論您現(xiàn)在可以使用的一些最佳實(shí)踐,以及通過我擔(dān)任主席的 SNIA 長(zhǎng)期歸檔和法規(guī)遵從存儲(chǔ)計(jì)劃 (LTACSI) 談?wù)務(wù)谶M(jìn)行的工作。

長(zhǎng)期歸檔面臨的挑戰(zhàn)是什么?

圖 2) 存儲(chǔ)系統(tǒng)、應(yīng)用程序及物理介質(zhì)與信息保留的典型周期對(duì)比。

簡(jiǎn)而言之,我們需要保留信息的時(shí)間(即使使用相對(duì)保守的 50 年圖)遠(yuǎn)遠(yuǎn)超過存儲(chǔ)系統(tǒng)(磁盤或磁帶)和應(yīng)用程序的典型生命周期。甚至保留期還要很久才過期,物理介質(zhì)就開始退化,變得無法讀取。

當(dāng)前的實(shí)踐是每隔 3 至 5 年遷移數(shù)據(jù)(同時(shí)在物理上和邏輯上)。物理遷移需要將信息從一個(gè)物理存儲(chǔ)系統(tǒng)移到另一個(gè)系統(tǒng),或從一種介質(zhì)格式移到另一種格式以維持物理可讀性、可訪問性和完整性。這種類型的遷移的推動(dòng)因素包括介質(zhì)故障、介質(zhì)或存儲(chǔ)系統(tǒng)過時(shí)、系統(tǒng)更改及運(yùn)作成本(人員、電力、空間)。

邏輯遷移需要將信息從一種邏輯格式移到另一種格式(如從應(yīng)用程序的舊版本移到新版本),以保持可讀性和可解釋性。推動(dòng)因素可能包括更改應(yīng)用程序格式、過時(shí)的應(yīng)用程序及合并。這兩種遷移類型的障礙因素包括成本、復(fù)雜性、巨大的信息量以及時(shí)間和/或預(yù)算的不足。

上述 SNIA 調(diào)查表明,邏輯和物理遷移不能有效地規(guī)?;杀緛頋M足當(dāng)前和未來的需要。事實(shí)上,只有 30% 的被調(diào)查者每隔 3 到 5 年遷移磁盤上的數(shù)據(jù)。顯然,需要使用新的方法來滿足長(zhǎng)期數(shù)字信息保留的法律、法規(guī)、業(yè)務(wù)、成本及可擴(kuò)展性要求。

過渡解決方案

由當(dāng)前存儲(chǔ)系統(tǒng)和應(yīng)用程序引起的限制近期不會(huì)消除。那么,現(xiàn)在您應(yīng)采取什么措施來解決長(zhǎng)期保留問題?當(dāng)前最佳的建議是,針對(duì)您的應(yīng)用程序、操作及數(shù)據(jù)存儲(chǔ)庫實(shí)施正式生命周期管理流程,以在使用壽命中解決數(shù)據(jù)管理的效率問題。最佳實(shí)踐應(yīng)包括:

所有相關(guān)人員 (IT、RIM、法律、業(yè)務(wù)、安全性) 密切協(xié)作,以確保解決所有需要

清晰地標(biāo)識(shí)現(xiàn)有的所有資產(chǎn)和資源

將信息分類,以便確定保留需求

制定保留、保護(hù)、安全性、法規(guī)遵從等等的要求

滿足要求的服務(wù)實(shí)施

測(cè)評(píng)和改進(jìn)

有用的實(shí)踐可能包括:

按一些常用存儲(chǔ)段將信息分類

設(shè)置保留期限及刪除過期的數(shù)據(jù)

控 制您針對(duì)數(shù)據(jù)保護(hù)維持的數(shù)據(jù)副本數(shù)

設(shè)置審計(jì)策略并加以執(zhí)行

使用基于標(biāo)準(zhǔn)的存儲(chǔ)平臺(tái)

長(zhǎng)期保存策略應(yīng)確定業(yè)務(wù)、法律及法規(guī)遵從目標(biāo),且包括每個(gè)存儲(chǔ)庫遵守的最佳實(shí)踐說明(包括物理和邏輯遷移)。物理遷移的目標(biāo)應(yīng)從固定期限(3 到 5 年)遷移到“所需的”策略。聯(lián)合的、基于標(biāo)準(zhǔn)的虛擬化系統(tǒng)(如運(yùn)行 Data ONTAP® GX 的 NetApp® 存儲(chǔ)系統(tǒng))有助于最大限度地減少遷移所涉及的中斷、復(fù)雜性和人工。

對(duì)于邏輯遷移,您必須能維持真實(shí)性,即保證數(shù)據(jù)完好如初。此外,您應(yīng)僅根據(jù)需要遷移,在保留某些數(shù)據(jù)時(shí)可能要考慮其它方法:將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)格式 (XML、PDF等),將硬件歸檔(若適用)或使用縮微膠片。

這似乎很復(fù)雜。雖然您必須按需執(zhí)行物理和邏輯遷移,且這兩種操作不能同時(shí)進(jìn)行, 但目前幾乎沒有辦法可確保保留的數(shù)據(jù)長(zhǎng)期保持可讀性。幸運(yùn)的是,可以執(zhí)行一些重要的工作來幫助解決這種情況。

標(biāo)準(zhǔn)工作

顯然,迄今為止,存儲(chǔ)行業(yè)還無法解決長(zhǎng)期數(shù)據(jù)保留的問題。目前的歸檔應(yīng)用程序所使用的專有數(shù)據(jù)格式會(huì)明顯地將 您限定在解決方案中,將來可能會(huì)使遷移工作更加復(fù)雜。所有這一切即將改變。

對(duì)于長(zhǎng)期歸檔(15 年以上),最大的挑戰(zhàn)是邏輯遷移。與專有存儲(chǔ)格式相反,使用有效的生命周期管理流程和當(dāng)前基于標(biāo)準(zhǔn)的存儲(chǔ)技術(shù)足以解決物理遷移情況。此情況應(yīng)該會(huì)得到進(jìn)一 步改善,因?yàn)楣?yīng)商開始將注意力更加集中在可滿足長(zhǎng)期存儲(chǔ)需求的硬件上。(見側(cè)欄的示例:協(xié)作研究長(zhǎng)期歸檔。)

另一方面,邏輯遷移保持了應(yīng)用程序的特定性,自動(dòng)化主要流程變得更困難。完整“保存”不僅需要保持?jǐn)?shù)據(jù)的可讀性和可解釋性,還需要使用元數(shù)據(jù)長(zhǎng)期保留數(shù) 據(jù),元數(shù)據(jù)包括起源、參考信息(上下文)及確保完整性和真實(shí)性的機(jī)制。

為此,SNIA LTACSI 建議 SNIA 成立長(zhǎng)期數(shù)字信息保留和保存技術(shù)工作組來研究封裝(見側(cè)欄)。封裝定義由內(nèi)容(數(shù)據(jù))及關(guān)聯(lián)的保存元數(shù)據(jù)組成的“面向保存的”邏輯容器??梢栽?OAIS AIP(歸檔信息包)上模擬封裝。圖 2 顯示了 OAIS AIP 容器的內(nèi)容。

 

 

圖 3) OAIS AIP 包括要存儲(chǔ)的信息內(nèi)容和描述該內(nèi)容的元數(shù)據(jù)。(來源:SNIA)

封裝意味著“自包含”,因?yàn)槿萜靼畔⒌臄?shù)據(jù)、元數(shù)據(jù)、參考信息、完整性和真實(shí)性檢查、訪問控制及日志。此內(nèi)容使容器更便攜且獨(dú)立于存儲(chǔ)設(shè)備。它可根據(jù)您為信息制定的要求,獨(dú)立于應(yīng)用程序來管理容器。封 裝是“自描述的”,因?yàn)槿萜骺梢杂刹煌愋偷南到y(tǒng)進(jìn)行解釋,且可以包括閱讀器,從而獨(dú)立于應(yīng)用程序解釋內(nèi)容。對(duì)于長(zhǎng)期保存,此功能非常重要。

封裝提供了任何應(yīng)用程序可以理解的標(biāo)準(zhǔn)格式,而且在理論上可讓許多應(yīng)用程序類型訪問歸檔的內(nèi)容,如 ECM、法律、遷移、保存等等。

 

圖 4) 在邏輯上,封裝會(huì)創(chuàng)建適應(yīng)于位層(物理介質(zhì))和應(yīng)用程序之間的標(biāo)準(zhǔn)數(shù)據(jù)層。(來源:SNIA)

目標(biāo)是消除對(duì)頻繁的邏輯遷移的需要,以便組織在經(jīng)過長(zhǎng)時(shí)間后根據(jù)需要繼續(xù)訪問和使用歸檔數(shù)據(jù),消除了因定期更新數(shù)據(jù)以適應(yīng)應(yīng)用程序更改而導(dǎo)致的開銷和復(fù)雜性。

NetApp和長(zhǎng)期歸檔

從硬件角度來看,NetApp 長(zhǎng)期以來就認(rèn)識(shí)到,物理數(shù)據(jù)遷移(無論用于歸檔還是其他目的)很復(fù)雜且容易中斷。因此,NetApp 正朝支持分層存儲(chǔ)的擴(kuò)展硬件體系結(jié)構(gòu)的方向發(fā)展(包括滿足法規(guī)遵從需求的一次寫入,多次讀取 (WORM) 卷),從而以不中斷的方式減少數(shù)據(jù)從一個(gè)層到另一個(gè)層的遷移。除現(xiàn)有的存儲(chǔ)設(shè)備以外,此體系結(jié)構(gòu)還允許透明地合并新的存儲(chǔ)構(gòu)建塊(物理介質(zhì)、存儲(chǔ)控制 器),極大地簡(jiǎn)化了物理遷移流程。

為滿足歸檔和法規(guī)遵從要求,NetApp open SnapLock® 技術(shù)可在 NetApp 存儲(chǔ)設(shè)備上創(chuàng)建 WORM 卷來滿足公司管理和法規(guī)要求,而無需單獨(dú)的物理存儲(chǔ)系統(tǒng)。NetApp 與業(yè)界領(lǐng)先的歸檔合作伙伴(如 Symantec、Zantaz 和 CommVault)通力合作,提供可利用 NetApp 硬件和軟件技術(shù)的獨(dú)特功能的解決方案。NetApp 還與這些合作伙伴合作研究長(zhǎng)期解決方案。

從邏輯遷移的角度而言,NetApp 深知解決近期歸檔問題只是解決方案的一部分。我們很早就認(rèn)識(shí)到需要行業(yè)標(biāo)準(zhǔn),且對(duì)標(biāo)準(zhǔn)化工作作出了重要貢獻(xiàn)。我在 NetApp 的職責(zé)中,其中一個(gè)主要職責(zé)是擔(dān)任 LTACSI 的主席,與對(duì)解決長(zhǎng)期數(shù)字信息保留、歸檔及法規(guī)遵從相關(guān)的存儲(chǔ)實(shí)踐感興趣的最終用戶、IT 專業(yè)人士、供應(yīng)商、集成商及服務(wù)提供商通力合作。

您現(xiàn)在應(yīng)該做什么?

最重要的事是立即采取措施,避免陷入將 TB 數(shù)據(jù)需要物理和/或邏輯遷移的危機(jī)中。最好的方法是遵循“過渡解決方案”中所述的準(zhǔn)則,包括盡可能地使用開放式標(biāo)準(zhǔn)。開放式標(biāo)準(zhǔn)可在開始遷移時(shí)為您提供更多選擇,有助于防止受制約。

如果您的組織尚未進(jìn)行這些操作,請(qǐng)考慮實(shí)施數(shù)據(jù)分類以更好地了解數(shù)據(jù)及支持生命周期管理。然后,尋找可執(zhí)行策略及簡(jiǎn)化物理遷移流程的解決方案(硬件和軟件)?,F(xiàn)在采取這些措施后,在未來幾年制定了新的長(zhǎng)期歸檔標(biāo)準(zhǔn)時(shí),您將可以很好地利用這些標(biāo)準(zhǔn)。

分享到

lixuyang

相關(guān)推薦