聯(lián)想凌拓對(duì)于數(shù)據(jù)層次有自己的理解和領(lǐng)悟,首先我們的定位是一家數(shù)據(jù)管理和智能解決方案的公司。那么我們要做的目標(biāo)是以數(shù)據(jù)的價(jià)值層次來(lái)提供優(yōu)秀的產(chǎn)品和服務(wù),幫助各行各業(yè)的客戶實(shí)現(xiàn)數(shù)據(jù)洞察和創(chuàng)新。在數(shù)據(jù)存儲(chǔ)領(lǐng)域,我們要實(shí)現(xiàn)靈活的數(shù)據(jù)架構(gòu),來(lái)適合多變的需求。從數(shù)據(jù)的冗余結(jié)構(gòu)到數(shù)據(jù)的分配,以及數(shù)據(jù)維護(hù)等,我們要做的是快速、高效的數(shù)據(jù)持久化存儲(chǔ)。
第二層是在存儲(chǔ)的基礎(chǔ)上,讓數(shù)據(jù)管理更加具備智能。要根據(jù)數(shù)據(jù)的業(yè)務(wù)特點(diǎn)和使用方式,來(lái)幫助客戶優(yōu)化存儲(chǔ)管理和數(shù)字管理,來(lái)減少運(yùn)維成本。
第三層是數(shù)據(jù)洞察。這也是數(shù)據(jù)變現(xiàn)、數(shù)據(jù)資產(chǎn)化的過(guò)程。這個(gè)部分?jǐn)?shù)字化轉(zhuǎn)型的關(guān)鍵,數(shù)據(jù)價(jià)值的層次與客戶現(xiàn)有數(shù)據(jù)體系是不矛盾的。應(yīng)用決定了數(shù)據(jù)存儲(chǔ)方式以及存儲(chǔ)類型、服務(wù),采用專業(yè)化的存儲(chǔ)設(shè)備,能夠讓你更加專注在上層的數(shù)據(jù)洞察。聯(lián)想凌拓幫助大家解決數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理的后顧之憂。
存儲(chǔ)技術(shù)發(fā)展趨勢(shì)是由軟件定義存儲(chǔ)來(lái)引領(lǐng)的。
為什么這么說(shuō)呢?
數(shù)據(jù)管理的核心是存儲(chǔ),這幾年其實(shí)有了非常大的變化,最顯著的當(dāng)然是軟件定義存儲(chǔ),變得越來(lái)越流行了。這也是因?yàn)榈搅嘶ヂ?lián)網(wǎng)時(shí)代,流量和數(shù)據(jù)增長(zhǎng)非??欤瑪?shù)據(jù)文件的系統(tǒng)化應(yīng)用場(chǎng)景變了,開(kāi)始需要大量的存儲(chǔ)空間,傳統(tǒng)集中式存儲(chǔ)存在的性能天花版上限沒(méi)有辦法滿足需求,惟有采用橫向擴(kuò)展的軟件定義的分布式存儲(chǔ)架構(gòu)。軟件定義存儲(chǔ)無(wú)論在成本、效率上,都有大幅的提升。經(jīng)過(guò)了軟硬件解偶,存儲(chǔ)系統(tǒng)不再依賴于專有的硬件,而采用了通用x86服務(wù)器平臺(tái),在PB級(jí)存儲(chǔ)場(chǎng)景,分布式存儲(chǔ)的優(yōu)勢(shì)就集中體現(xiàn)出來(lái)了,其成本比集中式存儲(chǔ)的低很多。當(dāng)分布式存儲(chǔ)集群越來(lái)越大的時(shí)候,需要管理的節(jié)點(diǎn)數(shù)量增多,情況就會(huì)變得越來(lái)越復(fù)雜。因此智能化,具有自我進(jìn)化的簡(jiǎn)化管理就成為分布式存儲(chǔ)的必然選擇。
分布式存儲(chǔ)涉及的關(guān)鍵技術(shù),首先是標(biāo)準(zhǔn)文件接口,需要支持符合POSIX文件接口標(biāo)準(zhǔn),保障了分布式存儲(chǔ)系統(tǒng)可以使用,同時(shí)用戶的遺留系統(tǒng)也無(wú)需改造。其次操作對(duì)用戶透明,用戶能夠像使用本地文件系統(tǒng)一樣進(jìn)行操作,如打開(kāi)、關(guān)閉或刪除修改文件。在持久化方面,要求保證數(shù)據(jù)不丟失,數(shù)據(jù)從內(nèi)存到硬盤(pán)的過(guò)程需要一定的保護(hù)措施,不會(huì)因?yàn)橹袛喽斐蓴?shù)據(jù)丟失。與此同時(shí),存儲(chǔ)集群需要具備伸縮性,當(dāng)數(shù)據(jù)壓力逐漸增長(zhǎng),要做一些擴(kuò)容的時(shí)候,需要往集群添加節(jié)點(diǎn),在實(shí)際操作中,需要防止瞬時(shí)流量把新節(jié)點(diǎn)擠爆呢?此外,數(shù)據(jù)一致性的問(wèn)題,也就是說(shuō),只要文件內(nèi)容不發(fā)生變化,讀到內(nèi)容都應(yīng)該是一樣的,這里涉及內(nèi)部數(shù)據(jù)訪問(wèn)的安全性特性。
那么分布式存儲(chǔ)的技術(shù)趨勢(shì)有哪些呢?首先是接口的標(biāo)準(zhǔn)化,并不是所有的產(chǎn)品在接口規(guī)范上都相同,這意味著兩個(gè)人對(duì)話,時(shí)不時(shí)冒出一句方言,另外一個(gè)人就會(huì)聽(tīng)得糊涂了。對(duì)于智能技術(shù)融合,存儲(chǔ)需要更加適應(yīng)上層業(yè)務(wù)特征,要具備自適應(yīng)上層業(yè)務(wù)應(yīng)用特點(diǎn)智能化特性。此外,我們知道分布式存儲(chǔ)多采用副本、EC糾刪碼算法進(jìn)行數(shù)據(jù)保護(hù),而這種會(huì)是一種強(qiáng)抑制性,如果受到一些網(wǎng)絡(luò)因素干擾,就會(huì)造成響應(yīng)緩慢,如今新的技術(shù)趨勢(shì)需要做到最終一致性,來(lái)滿足實(shí)時(shí)化業(yè)務(wù)的需求。
至于降本增效,其實(shí)很好理解,就是在大容量的情況下,更加省錢(qián),這里需要考慮后期的運(yùn)維成本。再有就是數(shù)據(jù)分級(jí)存儲(chǔ),根據(jù)數(shù)據(jù)的生命周期,采用適配的存儲(chǔ)介質(zhì),追求最優(yōu)的性價(jià)比。
聯(lián)想凌拓自研的ThinKSystem DXN分布式存儲(chǔ)有哪些特點(diǎn)呢?
從硬件型號(hào)上,有2U性能容量均衡型,稱為DXN2000 G2;也是2U高密集型,稱為DXN2200 G2。如此,在2U空間里面能夠提供16PB數(shù)據(jù)容量。此外,有4U高密集型,主要是用在海量存儲(chǔ)業(yè)務(wù)需求上,或者說(shuō)高帶寬的需求上面。
DXN分布式存儲(chǔ)支持x86服務(wù)器,也支持國(guó)產(chǎn)服務(wù)器,再配上高速網(wǎng)絡(luò)就構(gòu)成了分布式存儲(chǔ)的硬件底座。借助DXN數(shù)據(jù)管理平臺(tái)核心軟件,可以將集群所有服務(wù)器節(jié)點(diǎn)內(nèi)部的磁盤(pán),構(gòu)建成存儲(chǔ)資源池,對(duì)外提供文件和對(duì)象存儲(chǔ)服務(wù)。分布式存儲(chǔ)是軟件定義存儲(chǔ)的一種,核心軟件搭配國(guó)產(chǎn)化處理器芯片,如說(shuō)海光、飛騰、申威等,這就符合了國(guó)產(chǎn)化信創(chuàng)的需求。DXN分布式存儲(chǔ)的核心存儲(chǔ)軟件是MCS 3.0 (MagnaScale 3.0),真正做到軟件和硬件解偶。聯(lián)想凌拓分布式存儲(chǔ)軟件解決方案能夠覆蓋不同行業(yè)客戶不同業(yè)務(wù)系統(tǒng),如銀行票據(jù)影像、醫(yī)院PACS影像、學(xué)校和政府?dāng)?shù)字檔案、云盤(pán),或者是自然資源、遙感勘測(cè)文件,制造業(yè)圖形、圖紙或者廣電媒體的媒資、影音文件等數(shù)據(jù)的存儲(chǔ)。MagnaScale 3.0增加了一系列業(yè)務(wù)模式,推出了MCS認(rèn)證,用于構(gòu)建分布式存儲(chǔ)系統(tǒng)生態(tài),共同服務(wù)客戶。
橫向擴(kuò)展是分布式最大的特點(diǎn),橫向擴(kuò)展前提是將數(shù)據(jù)均衡打散,性能能夠線性增長(zhǎng)。DXN依托于MDS的AA架構(gòu),也就是元數(shù)據(jù)的多核架構(gòu),可以最大擴(kuò)展到128個(gè)集群,并且每個(gè)集群有4096個(gè)節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)最大可以支持到1.6PB容量,總共管理超過(guò)5000萬(wàn)片硬盤(pán),真正實(shí)現(xiàn)了海量的數(shù)據(jù)存儲(chǔ),數(shù)據(jù)在集群之間均衡打散,最終會(huì)達(dá)到橫向平滑擴(kuò)展的目標(biāo)。
這張圖展示了如何進(jìn)行高線性擴(kuò)展,從最初的3節(jié)點(diǎn)開(kāi)始,可以一個(gè)節(jié)點(diǎn)、一個(gè)節(jié)點(diǎn)擴(kuò)容增加,或者是一次性擴(kuò)展更多的數(shù)據(jù)節(jié)點(diǎn)。這么多的節(jié)點(diǎn)資源都是在一個(gè)統(tǒng)一命名空間下訪問(wèn)的,統(tǒng)一管理,讓客戶可以輕松的管理超過(guò)1EB存儲(chǔ)容量。
此外,數(shù)據(jù)需要全方位安全保護(hù)。我們知道,造成數(shù)據(jù)丟失的原因很多,有硬件故障,有邏輯故障,還有人為誤刪除等原因。對(duì)數(shù)據(jù)安全保護(hù)要更加具有針對(duì)性,要做到滴水不漏。因?yàn)檎嬲袃r(jià)值的是存儲(chǔ)中的數(shù)據(jù),要充分多層級(jí)的數(shù)據(jù)的防護(hù)。DXN數(shù)據(jù)保護(hù)三角,在每一層里面的保護(hù)都有明確的應(yīng)對(duì)故障風(fēng)險(xiǎn)的方法,如本地的數(shù)據(jù)保護(hù),聯(lián)想凌拓采用了副本和糾刪碼,防止磁盤(pán)、節(jié)點(diǎn)或者或者機(jī)柜的故障所導(dǎo)致的數(shù)據(jù)丟失風(fēng)險(xiǎn)。
數(shù)據(jù)校驗(yàn)與恢復(fù)是為了防范應(yīng)對(duì)靜默錯(cuò)誤造成的數(shù)據(jù)不可用。
什么叫做靜默錯(cuò)誤呢?
靜默錯(cuò)誤就是磁盤(pán)受到電子干擾,導(dǎo)致磁盤(pán)內(nèi)的電極反轉(zhuǎn)問(wèn)題。表面上文件可能是完整無(wú)損的,但是當(dāng)我打開(kāi)文件的時(shí)候,就會(huì)有故障提示,無(wú)法打開(kāi)。
數(shù)據(jù)快照與保護(hù)主要是應(yīng)對(duì)邏輯故障和人為的誤操作的安全技術(shù)。當(dāng)某一個(gè)重要文件莫名其妙被刪除了,可能是邏輯上的錯(cuò)誤問(wèn)題導(dǎo)致我的文件不可用。這是所有的副本、糾刪碼、遠(yuǎn)程復(fù)制都無(wú)法判斷的。所以對(duì)于邏輯故障問(wèn)題的時(shí)候,我們需要通過(guò)嵌套快照與WORM方式來(lái)留下數(shù)據(jù)的快照、不同版本的副本來(lái)做這樣的防護(hù)。相比業(yè)務(wù)連續(xù)性是最高級(jí)別的安全保護(hù),需要在不同的集群之間,通過(guò)文件的數(shù)據(jù)復(fù)制來(lái)應(yīng)對(duì)各種災(zāi)害發(fā)生的場(chǎng)景。這對(duì)于數(shù)據(jù)安全要求比較嚴(yán)格的行業(yè)來(lái)說(shuō)是必備的功能。
遠(yuǎn)程復(fù)制是業(yè)務(wù)高可靠性的一種手段。
DXN遠(yuǎn)程復(fù)制可以用4個(gè)關(guān)鍵詞來(lái)形容:簡(jiǎn)單、靈活、可靠、快速。
簡(jiǎn)單,因?yàn)槭俏募?jí)的數(shù)據(jù)復(fù)制,是基于文件目錄卡片式管理復(fù)制對(duì),每一個(gè)片對(duì)都是一張復(fù)制卡。我們?cè)谶@張復(fù)制卡上可以監(jiān)控?cái)?shù)據(jù)狀態(tài)和數(shù)據(jù)增量。在DXN中,可以設(shè)置不同的復(fù)制節(jié)點(diǎn)和復(fù)制節(jié)點(diǎn)角色,可以自己選擇,并且自由的擴(kuò)展和縮減。
靈活是指它的復(fù)制策略的靈活性,按照時(shí)間周期的維度來(lái)設(shè)置,按照年月日或者是每周幾來(lái)進(jìn)行復(fù)制,甚至說(shuō)指定的時(shí)間段來(lái)進(jìn)行復(fù)制。對(duì)于復(fù)制的網(wǎng)絡(luò),可以選用具有業(yè)務(wù)網(wǎng)絡(luò)的復(fù)用,或者是選擇單獨(dú)的復(fù)制網(wǎng)絡(luò),可以保證復(fù)制的質(zhì)量。
可靠是指DXN采用全對(duì)稱式的架構(gòu),所以它的復(fù)制節(jié)點(diǎn)的故障也會(huì)自動(dòng)切換,不會(huì)出現(xiàn)復(fù)制節(jié)點(diǎn)故障導(dǎo)致業(yè)務(wù)中斷的風(fēng)險(xiǎn)。并且在恢復(fù)的時(shí)候,需要回切到接口的復(fù)制關(guān)系的時(shí)候,我們也可以選擇兩種選擇:一種是直接保留原有的災(zāi)備站點(diǎn)的數(shù)據(jù),一種是不保留原有的災(zāi)備站點(diǎn)的數(shù)據(jù)。
快速是指最小的RPO,恢復(fù)點(diǎn)目標(biāo)可以設(shè)置成5分鐘,并且通過(guò)QoS的方式來(lái)限定復(fù)制流量,讓它不會(huì)對(duì)業(yè)務(wù)造成影響。對(duì)災(zāi)難發(fā)生的時(shí)候,最主要的是要用災(zāi)備站點(diǎn)來(lái)接管主站點(diǎn)用。眾所周知,文件目錄是有自己的屬主和權(quán)限的,可以通過(guò)一鍵共享的方式,文件目錄的權(quán)限和存儲(chǔ)自動(dòng)會(huì)同步到災(zāi)備站點(diǎn)的復(fù)制的配對(duì)的文件目錄上來(lái),能夠?qū)崿F(xiàn)對(duì)業(yè)務(wù)的快速的接管。
分布式存儲(chǔ)架構(gòu)問(wèn)題會(huì)導(dǎo)致IO路徑過(guò)長(zhǎng)、文件變大的問(wèn)題。那么在進(jìn)行大文件的數(shù)據(jù)訪問(wèn)的時(shí)候,讀寫(xiě)的時(shí)候它的性能還好。但是對(duì)于處理一些小文件,其實(shí)是有災(zāi)難般的結(jié)果。在進(jìn)行分布式存儲(chǔ)配制的時(shí)候,一般要在存儲(chǔ)節(jié)點(diǎn)上面配制一定數(shù)量的SSD盤(pán)緩存,會(huì)把一些訪問(wèn)頻率較高的隨機(jī)小文件存入到SSD中,利用其高速I(mǎi)O能力來(lái)提升對(duì)小文件的處理速度。
小文件寫(xiě)入時(shí),它首先會(huì)在SSD盤(pán)上進(jìn)行落盤(pán),達(dá)到一定數(shù)量的時(shí)候,數(shù)據(jù)會(huì)在SSD盤(pán)同步下發(fā)到機(jī)械盤(pán)上面。那么,當(dāng)小文件讀出的時(shí)候,它首先也會(huì)到SSD盤(pán)緩存空間上去找到這個(gè)小文件。如果緩存空間上沒(méi)有上的話,才會(huì)到、后端的機(jī)械盤(pán)上去尋找。這非常適合一些隨機(jī)的小塊數(shù)據(jù)文件或者是讀取密集型的路徑上來(lái)使用。
聯(lián)想凌拓做過(guò)一些對(duì)比,發(fā)現(xiàn)緩存能夠有效的提升小文件處理的速度。如圖右下角所示張,4K純讀IOPS能夠提升76%以上的性能。
文件智能負(fù)載均衡策略是3.0的一個(gè)功能,主要是為了防止節(jié)點(diǎn)訪問(wèn)局部“熱點(diǎn)”。
什么是熱點(diǎn)呢?
分布式存儲(chǔ)往往需要面對(duì)不同應(yīng)用的特點(diǎn),其定位是海量的數(shù)據(jù)存儲(chǔ),有的應(yīng)用系統(tǒng)訪問(wèn)存儲(chǔ)數(shù)量越多,有的訪問(wèn)比較少,如此就可能造成某些節(jié)點(diǎn)會(huì)造成訪問(wèn)過(guò)熱的現(xiàn)象。這個(gè)時(shí)候可以將策略調(diào)整為根據(jù)連接數(shù)、或者是CPU、內(nèi)存的綜合負(fù)載來(lái)判斷哪些是空閑節(jié)點(diǎn),依此來(lái)承接新的負(fù)載。此外,當(dāng)集群規(guī)模變大的時(shí)候,其節(jié)點(diǎn)數(shù)量也會(huì)變得很多。要維護(hù)這么大的集群,DXN更多采用自動(dòng)化的方式,通過(guò)集群的全景可視化的展示效果,每個(gè)部件使用狀況都做到了如指掌。聯(lián)想凌拓也設(shè)計(jì)了一個(gè)全新向?qū)?,可以一步步完成?duì)存儲(chǔ)的管理和使用,其節(jié)點(diǎn)故障和其他類型的故障也具備了自我修復(fù)的機(jī)制,盡量減少人工的干預(yù)。
DXN定位是一個(gè)非結(jié)構(gòu)化的數(shù)據(jù)管理平臺(tái),也加入了S3對(duì)象存儲(chǔ)的能力。
對(duì)于對(duì)象存儲(chǔ)來(lái)說(shuō),更多的是用在云應(yīng)用、數(shù)據(jù)處理場(chǎng)景。在對(duì)象的使用上面,聯(lián)想凌拓具備了許多非常好的能力,可以更多的考慮針對(duì)用戶的使用習(xí)慣,來(lái)滿足他們對(duì)對(duì)象的要求,從多個(gè)維度和多個(gè)場(chǎng)景來(lái)入手。這里包括對(duì)象WORM、對(duì)象桶策略、對(duì)象多版本、對(duì)象生命周期和小對(duì)象聚合等等這些特性。
為什么要做對(duì)象獨(dú)立部署呢?
實(shí)際上文件和對(duì)象的訪問(wèn)方式是不同的,對(duì)系統(tǒng)資源的要求也不同。文件和對(duì)象的融合需要更多的硬件資源,如更性能CPU,更多的內(nèi)核,更多的內(nèi)存、緩存盤(pán)。在使用存對(duì)象部署的時(shí)候,也可以直接使用TerraCache fof Object,也就是把一整塊SSD盤(pán)都用作為對(duì)象的緩存,包括使用小對(duì)象聚合的功能,適用一些純對(duì)象的業(yè)務(wù)場(chǎng)景,性能會(huì)更好。
小對(duì)象聚合主要是針對(duì)一些當(dāng)企業(yè)有大量的不同的應(yīng)用的類型,如企業(yè)云盤(pán),存放有幾十K小文件的對(duì)象,或者是郵件文件。這些郵件的特點(diǎn)比較散碎,在后端存儲(chǔ)存放的時(shí)候,由于小對(duì)象文件太多,會(huì)導(dǎo)致空間利用率不高。而且小對(duì)象IO處理,必然會(huì)導(dǎo)致在內(nèi)部的處理會(huì)變得越來(lái)越復(fù)雜。聯(lián)想凌拓在3.0當(dāng)中也增加了小對(duì)象的聚合能力,將小于512k的小對(duì)象聚合陳一個(gè)4MB大對(duì)象這個(gè)操作是在線來(lái)完成的,會(huì)把這些隨機(jī)的處理轉(zhuǎn)化為大對(duì)象的順序處理。因此在性能上面,將近提升了4倍的提升。同時(shí),帶寬的性能也提升了3.3倍,時(shí)延也降低了1.2倍。
對(duì)象策略管理是將更加精細(xì)化的、隔離不同的用戶對(duì)桶存儲(chǔ)操作。那么在使用策略管理之后,可以對(duì)桶來(lái)進(jìn)行設(shè)置策略,每個(gè)策略都有三種結(jié)果,分別是顯示拒絕、或者允許、或者默認(rèn)拒絕。那么有了桶的策略設(shè)置,就可以在桶上做更多的執(zhí)行操作,如對(duì)用戶的權(quán)限管理更加細(xì)節(jié)。
DXN能夠很好的跟ES形成聯(lián)合解決方案,通過(guò)ES自定義元數(shù)據(jù)的特點(diǎn),將元數(shù)據(jù)在寫(xiě)入DXN的時(shí)候,就自動(dòng)的同步到DXN平臺(tái)進(jìn)行同步。并且通過(guò)DXN平臺(tái)去快速去查找和定位這個(gè)數(shù)據(jù)文件。可以根據(jù)用戶的特征信息來(lái)查找定位這個(gè)文件的,適合一些在大數(shù)據(jù)、AI的場(chǎng)景來(lái)使用。這里舉例,比如說(shuō)要從一個(gè)3000萬(wàn)照片的文件的桶里面找到所有“女性開(kāi)車”的圖片。那么這個(gè)時(shí)候我可以通過(guò)它的自定義元數(shù)據(jù)信息,包括照片特征的描述,能夠快組的去獲取這些數(shù)據(jù)文件的信息。
MagnaScale是DXN分布式存儲(chǔ)的核心軟件,拿到了多個(gè)國(guó)家級(jí)實(shí)驗(yàn)室的認(rèn)證,并且也申請(qǐng)了多項(xiàng)國(guó)家發(fā)明專利,申請(qǐng)了3項(xiàng)軟件著作權(quán)。作為一個(gè)本地的自研的分布式存儲(chǔ)項(xiàng)目,聯(lián)想凌拓一直在努力前進(jìn),幫助更多的用戶從數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理中解放出來(lái),更多的關(guān)注在數(shù)據(jù)洞察的層面。
(本文根據(jù)聯(lián)想凌拓產(chǎn)品營(yíng)銷經(jīng)理吳靜的演講整理而成,未經(jīng)過(guò)本人審閱)