資料來(lái)源:IDC
不僅如此,在傳統(tǒng)的生產(chǎn)協(xié)作流程中,當(dāng)開(kāi)發(fā)和測(cè)試人員想要獲取必須的數(shù)據(jù)副本時(shí),往往需要從提交申請(qǐng),到完全準(zhǔn)備好環(huán)境,耗時(shí)幾天甚至以月為單位(數(shù)據(jù)交付時(shí)間視數(shù)據(jù)規(guī)模,環(huán)境準(zhǔn)備情況等而定)。
這樣的數(shù)據(jù)管理實(shí)踐并非最佳,不僅大量浪費(fèi)了存儲(chǔ)資源,而且還帶來(lái)了數(shù)據(jù)合規(guī)和敏捷性等方面的問(wèn)題,影響了用戶應(yīng)用程序的快速迭代,這對(duì)于今天追求敏捷轉(zhuǎn)型和DevOps轉(zhuǎn)型的企業(yè)而言難以接受。
為了幫助企業(yè)統(tǒng)一管理海量的非關(guān)鍵性數(shù)據(jù),尤其是冗余的數(shù)據(jù)副本,業(yè)界采用了CDM技術(shù)。什么是CDM?它的主要應(yīng)用場(chǎng)景又是什么?Gartner對(duì)此提出:它從生產(chǎn)環(huán)境通過(guò)快照技術(shù)獲取有應(yīng)用一致性保證的數(shù)據(jù),在非生產(chǎn)存儲(chǔ)上生成“黃金副本”(Golden Image),這個(gè)“黃金副本”數(shù)據(jù)格式是原始的磁盤格式,可再虛擬化成多個(gè)副本直接掛載給服務(wù)器,分別用于備份恢復(fù)、容災(zāi)或開(kāi)發(fā)測(cè)試。
Gartner《Hype Cycle for Storage and Data Protection Technologies, 2020》報(bào)告指出,CDM技術(shù)已經(jīng)度過(guò)了了早期的技術(shù)炒作期,目前處于“泡沫化的低谷期”(trough of disillusionment),這從側(cè)面說(shuō)明一些客戶開(kāi)始在非關(guān)鍵性業(yè)務(wù)場(chǎng)景集中部署這項(xiàng)技術(shù),而且Gartner也預(yù)測(cè)CDM技術(shù)將在未來(lái)5-10年內(nèi)進(jìn)入“實(shí)質(zhì)生產(chǎn)的高峰期”(plateau of productivity)。
聚焦到CDM技術(shù)實(shí)現(xiàn)的業(yè)務(wù)價(jià)值,主要體現(xiàn)在以下幾個(gè)方面:
第一,降低存儲(chǔ)成本。利用數(shù)據(jù)虛擬化技術(shù),單個(gè)數(shù)據(jù)副本即可滿足開(kāi)發(fā)、測(cè)試、備份、恢復(fù)、數(shù)據(jù)脫敏、統(tǒng)計(jì)分析等多種工作負(fù)載需求,同時(shí)利用高效的數(shù)據(jù)壓縮技術(shù),進(jìn)一步節(jié)省了存儲(chǔ)空間,減少企業(yè)不必要的存儲(chǔ)開(kāi)支(以下圖上訊信息ADM產(chǎn)品數(shù)據(jù)拷貝方式為例)。
ADM數(shù)據(jù)拷貝方式,資料來(lái)源:上訊信息
第二,縮短數(shù)據(jù)交付周期。數(shù)據(jù)準(zhǔn)備從原來(lái)的按天或者月為單位,縮短到分鐘級(jí),數(shù)據(jù)分發(fā)達(dá)到秒級(jí)?;贑DM技術(shù)的數(shù)據(jù)副本的交付與管理,大大節(jié)省了數(shù)據(jù)交付的時(shí)間,為企業(yè)構(gòu)建了更加敏捷的數(shù)據(jù)管理基礎(chǔ)架構(gòu),加速了企業(yè)的DevOps建設(shè),縮短了業(yè)務(wù)的開(kāi)發(fā)測(cè)試周期,實(shí)現(xiàn)了產(chǎn)品的快速迭代。
第三,降低人力時(shí)間投入。傳統(tǒng)方式下,數(shù)據(jù)的導(dǎo)入和導(dǎo)出無(wú)法自動(dòng)完成,面對(duì)開(kāi)發(fā)和測(cè)試人員的需求,需要通過(guò)人為的傳遞才能完成數(shù)據(jù)從生產(chǎn)環(huán)境到測(cè)試環(huán)境的遷移,而且這個(gè)過(guò)程中還可能需要持續(xù)的獲取增量數(shù)據(jù)資源。CDM技術(shù)實(shí)現(xiàn)了全流程的自動(dòng)化配置和編排,從審批到數(shù)據(jù)的導(dǎo)入和導(dǎo)出,這個(gè)過(guò)程只需要在統(tǒng)一的管理界面上鼠標(biāo)點(diǎn)擊操作,幾步即可自動(dòng)完成,極大減輕了存儲(chǔ)管理員和DBA的工作負(fù)荷,降低人力時(shí)間投入。
第四,提升數(shù)據(jù)集中管控能力。過(guò)去,數(shù)據(jù)移交到使用部門之后,管控權(quán)利完全在使用部門,只能用流程來(lái)控制數(shù)據(jù)的用后銷毀,存在較高的安全管控風(fēng)險(xiǎn)。CDM融合了數(shù)據(jù)動(dòng)態(tài)和靜態(tài)脫敏,權(quán)限管控,合規(guī)審計(jì)等多種數(shù)據(jù)保護(hù)策略,以集中的數(shù)據(jù)管控,防范敏感數(shù)據(jù)泄露,杜絕不當(dāng)或者誤操作,以及保留事后的可追溯。交付使用的數(shù)據(jù),可以通過(guò)CDM管控平臺(tái)實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一集中管控,杜絕測(cè)試數(shù)據(jù)出現(xiàn)數(shù)據(jù)孤島,在數(shù)據(jù)使用完之后,可以實(shí)現(xiàn)數(shù)據(jù)的快速回收以釋放占用資源,杜絕暗數(shù)據(jù)的出現(xiàn)。
備份和CDM,孰是孰非
在國(guó)內(nèi),備份和CDM容易被混淆,有不少備份廠商在其備份產(chǎn)品上通過(guò)增加一些CDM功能,作為備份的補(bǔ)充,比如用作快速拉起恢復(fù)或者備份校驗(yàn),也許從用戶肉眼可見(jiàn)的角度看,功能上都?xì)w整到了統(tǒng)一的界面上,但實(shí)際上二者的后臺(tái)邏輯相差甚遠(yuǎn)。
備份從根本上是作為數(shù)據(jù)的保底存在,一旦發(fā)生物理或邏輯故障,為用戶提供了災(zāi)難恢復(fù)的手段。而CDM側(cè)重于對(duì)數(shù)據(jù)的生命周期管理,是牽涉到用戶數(shù)據(jù)獲取,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)使用的全流程的生產(chǎn)力工具。
傳統(tǒng)備份技術(shù)是將數(shù)據(jù)恢復(fù)后交付使用,恢復(fù)的過(guò)程很長(zhǎng),而CDM保存的是原始格式數(shù)據(jù),可以直接交付使用。
從功能上看,備份更多是作為CDM其中的一項(xiàng)數(shù)據(jù)獲取手段。CDM副本數(shù)據(jù)管理基于數(shù)據(jù)虛擬化等核心技術(shù),自動(dòng)化實(shí)現(xiàn)了從數(shù)據(jù)獲取到數(shù)據(jù)使用再到數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的全生命周期管理。其中,在數(shù)據(jù)獲取環(huán)節(jié)既可以通過(guò)用戶既有備份系統(tǒng)內(nèi)獲取數(shù)據(jù),也可以通過(guò)從生產(chǎn)環(huán)境實(shí)時(shí)獲取數(shù)據(jù),又或者用戶以腳本的方式自助上傳數(shù)據(jù)等多種方式。相比備份,CDM更加關(guān)心的是數(shù)據(jù)的交付使用與管理。
全球生態(tài),風(fēng)景這邊獨(dú)好
過(guò)去的十多年時(shí)間,CDM的主要玩家分布在北美。在國(guó)內(nèi),從上訊信息2016年發(fā)布了國(guó)內(nèi)第一款真正意義上的CDM產(chǎn)品開(kāi)始,近兩年CDM技術(shù)在金融和運(yùn)營(yíng)商這兩個(gè)行業(yè)的蓬勃發(fā)展,推動(dòng)了開(kāi)發(fā)測(cè)試場(chǎng)景的數(shù)據(jù)架構(gòu)轉(zhuǎn)型,并且大有替代傳統(tǒng)備份之勢(shì)。
1、Actifio
Actifio成立于2009年。2020年,谷歌宣布收購(gòu)Actifio,收購(gòu)?fù)瓿珊?,Actifio會(huì)并入Google Cloud。
Actifio的多云復(fù)制數(shù)據(jù)管理(Copy Data Management)軟件平臺(tái)虛擬化拷貝數(shù)據(jù),允許以原生格式對(duì)數(shù)據(jù)的虛擬副本進(jìn)行完整的生命周期管理。通過(guò)一套豐富的API,Actifio的軟件可以無(wú)縫地集成到任何IT服務(wù)管理工具、DevOps工具鏈或定制的腳本和應(yīng)用程序中。
Actifio數(shù)據(jù)虛擬化IT架構(gòu)及實(shí)現(xiàn)原理
2、Cohesity
Cohesity成立于2013年,公司CEO兼聯(lián)合創(chuàng)始人Mohit Aron,之前還聯(lián)合創(chuàng)立過(guò)Nutanix,目前該公司最新的市場(chǎng)估值達(dá)到37億美元。
對(duì)于Cohesity公司來(lái)說(shuō),在線備份只是其完整數(shù)據(jù)管理平臺(tái)的一部分,該平臺(tái)專注于解決大規(guī)模數(shù)據(jù)碎片所造成的問(wèn)題。它側(cè)重于幫助企業(yè)保護(hù)和管理位于許多不同位置的二級(jí)數(shù)據(jù)。
3、Rubrik
Rubrik也是由前Nutanix的人員發(fā)起創(chuàng)立,提供跨越本地、云端和混合云環(huán)境中的企業(yè)數(shù)據(jù)管理和備份服務(wù)。
全球有2500多家企業(yè)和政府使用Rubrik公司的Cloud Data Management解決方案來(lái)管理和協(xié)調(diào)跨數(shù)據(jù)中心和云的數(shù)據(jù)。其提供一個(gè)單一的數(shù)據(jù)平臺(tái),可以跨數(shù)據(jù)中心和云安全地提供備份,恢復(fù),分析和合規(guī)性。承諾快速恢復(fù),提供接近0的RTO。另外還提供SLA自動(dòng)化和API優(yōu)先的架構(gòu)。
4、Delphix
Delphix成立于2008年。Delphix提供了一個(gè)API優(yōu)先的數(shù)據(jù)平臺(tái),該平臺(tái)跨越多云并支持從云原生主機(jī)到舊式大型機(jī)的所有應(yīng)用程序。Delphix可自動(dòng)執(zhí)行一系列關(guān)鍵的復(fù)雜數(shù)據(jù)操作,包括遵守GDPR和CCPA等隱私法規(guī)。
Delphix聲稱借助其平臺(tái),可將數(shù)據(jù)占用空間減少10倍,將資源調(diào)配速度提高100倍。借助Delphix虛擬化,用戶可在幾分鐘內(nèi)大規(guī)模配置輕量級(jí)虛擬數(shù)據(jù)庫(kù)副本,大規(guī)模地將數(shù)據(jù)從生產(chǎn)環(huán)境復(fù)制到非生產(chǎn)環(huán)境,以及使用刷新,回滾和快照功能管理虛擬數(shù)據(jù)庫(kù)等操作。
5、Catalogic
Catalogic 2013年成立,總部位于美國(guó)新澤西州。ECX是該公司提供的CDM軟件產(chǎn)品,大大簡(jiǎn)化了副本數(shù)據(jù)管理,實(shí)現(xiàn)了數(shù)據(jù)副本的自動(dòng)化和編排,可以在整個(gè)企業(yè)和云中利用該副本進(jìn)行各種創(chuàng)造價(jià)值的用例。借助Catalogic ECX,將開(kāi)發(fā)/測(cè)試基礎(chǔ)架構(gòu)管理時(shí)間減少了多達(dá)99%。
ECX還可以幫助用戶將數(shù)據(jù)移動(dòng)到云中,利用云中成本更低,更具彈性的計(jì)算基礎(chǔ)架構(gòu),借助ECX,在某些用例中利用云時(shí),用戶的投資回報(bào)率超過(guò)300%。
6、上訊信息想訊信息
上訊信息2010年成立,2016年率先發(fā)布了國(guó)內(nèi)首款CDM產(chǎn)品—敏捷數(shù)據(jù)管理平臺(tái)(ADM),這是一款集數(shù)據(jù)驗(yàn)證恢復(fù)、數(shù)據(jù)虛擬化、數(shù)據(jù)脫敏和數(shù)據(jù)庫(kù)審計(jì)為一體的數(shù)據(jù)全生命周期管理產(chǎn)品。通過(guò)一個(gè)平臺(tái),解決數(shù)據(jù)獲取,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)構(gòu)建,數(shù)據(jù)使用,數(shù)據(jù)歸檔,數(shù)據(jù)銷毀的所有數(shù)據(jù)問(wèn)題。
數(shù)據(jù)使用的全生命周期管理,資料來(lái)源:上訊信息
ADM核心技術(shù)-數(shù)據(jù)虛擬化技術(shù),可以通過(guò)一份數(shù)據(jù)的“黃金副本”快速創(chuàng)建出多份數(shù)據(jù)副本交付使用,所交付的數(shù)據(jù)都是可讀可寫的,并且可以達(dá)到分鐘級(jí)的數(shù)據(jù)交付效率,以及實(shí)現(xiàn)10倍以上的存儲(chǔ)成本節(jié)省。目前,ADM獲得了金融和運(yùn)營(yíng)商行業(yè)多家頭部客戶的使用和持續(xù)復(fù)購(gòu)。
CDM:我的未來(lái)不是夢(mèng)
對(duì)每一家致力于數(shù)據(jù)驅(qū)動(dòng)的企業(yè)和組織而言,CDM技術(shù)無(wú)疑重塑了其過(guò)去臃腫的數(shù)據(jù)架構(gòu)和繁冗的數(shù)據(jù)管理流程,以敏捷的數(shù)據(jù)架構(gòu)就緒企業(yè)數(shù)字化轉(zhuǎn)型,加速業(yè)務(wù)交付,提高企業(yè)的決策效率以及生產(chǎn)力水平。
但這并不是CDM的全部,這項(xiàng)令人著迷不已的技術(shù)未來(lái)又將擁有怎樣的蛻變?做一些預(yù)測(cè):
第一,跨越本地?cái)?shù)據(jù)中心,邊緣和多公有云的數(shù)據(jù)流動(dòng)和存儲(chǔ)。CDM需要滿足混合多云時(shí)代用戶對(duì)數(shù)據(jù)在不同端的流動(dòng)和統(tǒng)一管理的需求,支持不同位置的基礎(chǔ)環(huán)境,例如可利用公有云更加經(jīng)濟(jì)、彈性的存儲(chǔ)資源,進(jìn)一步降低OPEX。而無(wú)論是部署于邊緣,本地還是多公有云,都需要滿足一致性和可用性服務(wù)體驗(yàn)。
第二,以數(shù)據(jù)為中心,打通數(shù)據(jù)上中下游鏈條,實(shí)現(xiàn)數(shù)據(jù)的全生命周期管理。從產(chǎn)品的角度,可以基于靈活的license授權(quán),為用戶按需交付備份容災(zāi),備份校驗(yàn),數(shù)據(jù)虛擬化,數(shù)據(jù)脫敏,合規(guī)審計(jì)等不同功能,而從后臺(tái)邏輯來(lái)看,支持一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái),能夠無(wú)縫連通數(shù)據(jù)的全生命周期統(tǒng)一管理。
第三,CDM技術(shù)與垂直應(yīng)用場(chǎng)景的緊耦合,強(qiáng)關(guān)聯(lián)。例如,開(kāi)發(fā)測(cè)試場(chǎng)景下,能否基于一套數(shù)據(jù)平臺(tái),跑通所有的開(kāi)發(fā)測(cè)試作業(yè),而無(wú)需額外使用第三方平臺(tái),例如測(cè)試版本控制,以降低額外的資源消費(fèi),提高開(kāi)發(fā)測(cè)試效率。
相信隨著技術(shù)的不斷完善以及生態(tài)的成熟,CDM,未來(lái)可期!