圖1 雙控架構(gòu)

目前，在所有的高端存儲(chǔ)陣列中，采取雙控架構(gòu)的只有IBM 2009年推出的DS8000系列。另外，在中低端存儲(chǔ)陣列上基本上都采用雙控架構(gòu)。

由于雙控系統(tǒng)受限于諸如計(jì)算資源、內(nèi)存、帶寬物理限制等因素，性能不可能做到太高，所以可以見(jiàn)到的絕大多數(shù)高端陣列都采取的是多控系統(tǒng)。

2.2 多控陣列架構(gòu)

基于多控的陣列主要是一些高端陣列系統(tǒng)，比如EMC的VMAX、HDS的VSP，IBM的XIV、HP的P10000和華為的OceanStor 18000等產(chǎn)品。

對(duì)多控系統(tǒng)按照連接拓?fù)溥M(jìn)行劃分，多控系統(tǒng)劃可以分為基于總線交換式的架構(gòu)、矩陣直連架構(gòu)、全互聯(lián)架構(gòu)、交換式架構(gòu)。

如圖2展示了基于總線交換式架構(gòu)的邏輯結(jié)構(gòu)。目前已經(jīng)沒(méi)有廠家采用這種架構(gòu)，EMC和HDS的早期產(chǎn)品都曾經(jīng)采用這種架構(gòu)。該架構(gòu)的缺點(diǎn)是可擴(kuò)展性不強(qiáng)，且由于基于總線，存在總線爭(zhēng)用。

如圖3是基于矩陣直連式的存儲(chǔ)陣列架構(gòu)，EMC的上一代產(chǎn)品DMX-4就是采用該架構(gòu)，該架構(gòu)的前端和后端采取矩陣式直接連接，缺點(diǎn)是可擴(kuò)展性很差，同時(shí)由于連接信號(hào)線數(shù)目眾多，在一定程度上也降低了系統(tǒng)的可靠性，目前EMC已經(jīng)棄用該架構(gòu)。

圖4描述的是基于交換式的架構(gòu)，該架構(gòu)通過(guò)交換ASIC將前端和后端連接進(jìn)行數(shù)據(jù)交換，相對(duì)于矩陣直連式，它具有更好的可擴(kuò)展性，但是問(wèn)題是如何減少交換時(shí)延和交換爭(zhēng)用。目前HDS的存儲(chǔ)系統(tǒng)采用的是該架構(gòu)。

如圖5所示的全分布式架構(gòu)，該架構(gòu)將串行降至了最低，使得系統(tǒng)獲得了理論最高加速比。

由于該系統(tǒng)的所有資源，包括計(jì)算資源，內(nèi)存資源，磁盤(pán)資源都分散的足夠開(kāi)，存在資源爭(zhēng)用的可能性極小，所以，圖5的系統(tǒng)具有更好的性能，更好的可擴(kuò)展性，同時(shí)也擁有更低的成本。 目前市場(chǎng)上最新一代高端存儲(chǔ)陣列HP P10000，EMC的VMAX 40K，華為HVS都采用這種全分布式架構(gòu)。

3 高端陣列架構(gòu)實(shí)例分析-華為OceanStor 18000

圖6 華為高端陣列OceanStor 18000系統(tǒng)架構(gòu)

華為OceanStor 18000采用智能矩陣式系統(tǒng)架構(gòu)，如圖6所示，也是一種基于完全分布式的架構(gòu)，所有的計(jì)算資源 (CPU)，緩存，帶寬等資源都均勻分布于每個(gè)節(jié)點(diǎn)中，在該架構(gòu)下，不再存在全局緩存爭(zhēng)用問(wèn)題，串行化達(dá)到最低，使得系統(tǒng)獲得了理論最高加速比，具有更好的可擴(kuò)展性。華為OceanStor 18000是目前業(yè)界擴(kuò)展能力最強(qiáng)，性能最高的高端陣列，最大可以擴(kuò)展到16個(gè)控制器，3TB Cache, 3216塊硬盤(pán)，隨機(jī)IOPS達(dá)到100萬(wàn)IOPS以上。

3.1 基于PCIe的全交換架構(gòu)

OceanStor 18000的全交換架構(gòu)基于PCIe協(xié)議，PCIe協(xié)議是一種高性能、高帶寬，成熟、穩(wěn)定的串行通訊互連標(biāo)準(zhǔn)。OceanStor 18000以雙平面PCIe交換作為節(jié)點(diǎn)間互連。這種架構(gòu)設(shè)計(jì)具有如下的優(yōu)點(diǎn)：

高可靠：所有部件全冗余，控制器間負(fù)載均衡和Failover，單個(gè)控制器失效不影響業(yè)務(wù)運(yùn)行

高擴(kuò)展性：具備scale-out能力，從2個(gè)控制器起配，最多支持16個(gè)控制器，系統(tǒng)的容量、性能按需擴(kuò)展

高帶寬：整個(gè)交換平面可提供192GB/s的交換帶寬。

方便部署：OceanStor 18000的PCIe鏈路通過(guò)光纖連接，同一OceanStor 18000系列產(chǎn)品的機(jī)柜允許跨數(shù)十米進(jìn)行部署，允許布局在不同房間、甚至不同樓層。使得客戶真正實(shí)現(xiàn)完全Scale-out的部署，降低了對(duì)數(shù)據(jù)中心機(jī)房的環(huán)境要求。

3.2 塊級(jí)虛擬化

前面講到單盤(pán)失效可以認(rèn)為是一個(gè)常態(tài)，單盤(pán)失效后，RAID組會(huì)重構(gòu)數(shù)據(jù)，但傳統(tǒng)的RAID重構(gòu)耗時(shí)較長(zhǎng)，如果重構(gòu)過(guò)程中又發(fā)生了硬盤(pán)失效，那么整個(gè)RAID的數(shù)據(jù)就丟失了。OceanStor 18000采用了塊虛擬化技術(shù)，可以很好的解決以上問(wèn)題。下面我們看一下塊虛擬化的實(shí)現(xiàn)細(xì)節(jié)。

全虛擬化設(shè)計(jì)，就是把硬盤(pán)分割成若干小塊，稱為CHUNK，然后按照特定算法，從若干硬盤(pán)上選取若干CHUNK，按照一定的RAID方式組成CHUNK Group。而LUN，則是由若干CHUNK Group組成。塊級(jí)虛擬化架構(gòu)給硬盤(pán)可靠性帶來(lái)的最大提升是使系統(tǒng)中每個(gè)硬盤(pán)都在“均衡”的工作，每個(gè)硬盤(pán)的忙閑度基本一致，不會(huì)像傳統(tǒng)RAID那樣，各個(gè)RAID組中的硬盤(pán)工作負(fù)荷不同，導(dǎo)致某些繁忙的硬盤(pán)“過(guò)勞死”。

塊級(jí)虛擬化帶來(lái)的另一大好處是重構(gòu)時(shí)間大幅縮短，RAID降級(jí)狀態(tài)不但使數(shù)據(jù)處于“危險(xiǎn)”的邊緣，同時(shí)也會(huì)降低RAID組的性能。塊級(jí)虛擬化使得重構(gòu)產(chǎn)生的負(fù)荷分散到更多的硬盤(pán)上，單盤(pán)重構(gòu)的壓力變小，大大縮短了重構(gòu)的時(shí)間，大幅降低RAID組失效概率，從而增加了系統(tǒng)的可靠性。

4 總結(jié)

高端存儲(chǔ)一般應(yīng)用于用戶核心業(yè)務(wù)環(huán)境，承載著關(guān)鍵數(shù)據(jù)，對(duì)陣列的穩(wěn)定性，性能和擴(kuò)展性要求極高，而存儲(chǔ)架構(gòu)是這一切的基礎(chǔ)。可以預(yù)見(jiàn)，模塊化分布式Scale-out架構(gòu)所帶來(lái)的穩(wěn)定性，性能容量線性擴(kuò)展的好處將主導(dǎo)未來(lái)一段時(shí)間高端陣列的設(shè)計(jì)，同時(shí)更多容量、新型介質(zhì)的出現(xiàn)(SSD)決定了高端陣列中將越來(lái)越多的應(yīng)用虛擬化技術(shù)提高存儲(chǔ)資源利用率。

huanghui