IBM DS3524(24個(gè)2.5英寸驅(qū)動(dòng)器)。DS3500系列另有一款12個(gè)3.5英寸驅(qū)動(dòng)器的DS3512，以及同樣為2U高度的EXP3512和EXP3524 12/24盤位6Gb/s SAS JBOD擴(kuò)展柜

回顧：架構(gòu)設(shè)計(jì)、初始性能及Turbo選項(xiàng)

我們?cè)谐鲞^下圖：

“IBM DS3500在2011年上半年就已經(jīng)增加支持到192塊盤。3.5英寸3TB 7,200rpm近線SAS驅(qū)動(dòng)器、2.5英寸900GB 10,000rpm和1TB 7,200rpm都是隨著去年10月IBM磁盤存儲(chǔ)新品發(fā)布時(shí)的多款型號(hào)一同加入。而200GB和400GB的SSD(固態(tài)驅(qū)動(dòng)器)則是原來沒有的，考慮到戴爾MD3200/3600系列從發(fā)布至今只支持一款149GB SSD以及機(jī)械硬盤列表中的細(xì)微差別，可以看出IBM對(duì)DS3500的定位還是要稍微高一些(或者說覆蓋的用戶群更廣)，而Dell則更偏重于SMB市場(chǎng)。

IBM還對(duì)此進(jìn)行了限制說明，每個(gè)系統(tǒng)(包括DS3500控制器和所有連接的EXP3524擴(kuò)展單元)最大支持20個(gè)SSD。限于其控制器處理能力和SSD相對(duì)高昂的價(jià)格，這個(gè)數(shù)量對(duì)于用戶來說已經(jīng)足夠了。”

在《SPC-1：閃存 vs.磁盤新舊勢(shì)力的戰(zhàn)場(chǎng)》一文中，我們還提到過：

“來自NetApp E2600原型系統(tǒng)的High Performance Tier，戴爾PowerVault MD3200/3600系列產(chǎn)品和SGI稱其為高性能層級(jí)，在IBM DS3500上則叫做Turbo Performance。它是一個(gè)可以在控制器Firmware層級(jí)激活的選項(xiàng)，需要單獨(dú)購買。根據(jù)筆者的經(jīng)驗(yàn)，High Performance Tier應(yīng)該是允許將不同LUN選擇分配給A/B控制器(注意：不是同一個(gè)LUN在2個(gè)控制器間自動(dòng)負(fù)載均衡)，以實(shí)現(xiàn)Active/Active(雙活動(dòng))配置最大發(fā)揮性能。而默認(rèn)情況下只能分配給第一個(gè)控制器，在它出現(xiàn)故障時(shí)才能由另一個(gè)接管上面的LUN…

…可以從側(cè)面看出，該產(chǎn)品家族(包括DS3500、MD3200/3600和SGI 5000-SP)單個(gè)控制器的IOPS處理能力在48個(gè)高轉(zhuǎn)速SAS硬盤的情況下還不會(huì)成為瓶頸;對(duì)于曾經(jīng)的滿配——96個(gè)驅(qū)動(dòng)器(目前增加到支持192 個(gè))，加上High Performance Tier才能比較充分地發(fā)揮其性能。”

關(guān)于DS3500以及上面提到的相關(guān)產(chǎn)品，筆者曾經(jīng)陸續(xù)寫過不少東西。上圖是在2年前IBM的發(fā)布會(huì)上列出的性能指標(biāo)，這里我們?cè)賮砘仡櫼幌掳屑t字的兩列——即Base(基本)和Turbo(激活Turbo選項(xiàng))狀態(tài)的DS3500。

戴爾PowerVault MD3200/3200i的控制器結(jié)構(gòu)圖，左邊是iSCSI主機(jī)接口的MD3200i，而右邊為6Gbps SAS主機(jī)接口的MD3200(相當(dāng)于SAS主機(jī)接口的NetApp E2600和IBM DS3500)

由于IBM沒有公布DS3500如此詳細(xì)的控制器結(jié)構(gòu)圖，在這里我們引用一下戴爾PowerVault MD3200系列的資料作為參考：

“戴爾隱去了右側(cè)MD3200控制器中的2顆主要芯片，它們分別是和左邊一樣的包含了800MHz PowerPC處理核心的6Gbps SAS RoC(RAID on Chip)、以及36端口SAS擴(kuò)展器。整個(gè)方案中還有2個(gè)比較重要的芯片，即總共支持32個(gè)lane的8端口PCI-E交換芯片和位于它上方的主機(jī)接口擴(kuò)展子卡，在這里左右兩邊就不同了：MD3200i使用的是一顆提供4×1Gb iSCSI端口的以太網(wǎng)控制器(有可能是MAC+PHY)，而MD3200則是一個(gè)IOC(8端口SAS控制器芯片)。

我們清楚的看出右側(cè)戴爾MD3200的結(jié)構(gòu)圖與IBM DS3500中的SAS主機(jī)接口配置完全相同，DS3500使用了16端口的SAS RoC，因此標(biāo)配2個(gè)SAS主機(jī)連接，而iSCSI和FC的配置只是將IOC換成了以太網(wǎng)(帶有TOE)或者光纖通道接口子卡。

我們還發(fā)現(xiàn)整個(gè)控制器設(shè)計(jì)中的I/O帶寬瓶頸在于RoC和SAS擴(kuò)展器之間的x4 SAS連接，它的最大接口速度是600×4=2400MB/s，限制了后端連接磁盤的帶寬。不過根據(jù)同樣使用800MHz PowerPC的LSI MegaRAID系列6Gbps SAS RAID卡的最高性能指標(biāo)(讀：2800MB/s、寫：1800MB/s以上)來看，目前這一代RoC的處理能力基本也處于同一范圍，而且由于外置控制器的磁盤陣列連接主機(jī)需要經(jīng)過比RAID卡更多的協(xié)議轉(zhuǎn)換，其單控制器性能低于RAID卡也是可以理解的?！?/p>

混合主機(jī)接口價(jià)值、IOPS上限由控制器決定?

筆者參加LSI亞太存儲(chǔ)論壇2010時(shí)，現(xiàn)場(chǎng)展示的一臺(tái)Engenio 2600存儲(chǔ)系統(tǒng)控制器和電源

對(duì)于IBM DS3500控制器在主機(jī)接口方面采取標(biāo)配6Gb SAS加上可選8Gb FC或者1/10Gb iSCSI接口子卡的混合式設(shè)計(jì)，我們覺得比戴爾PowerVault MD3200/3600系列單純提供一種主機(jī)接口更有特點(diǎn)。同時(shí)也給用戶提供了更多的價(jià)值和靈活性，可以在初始SAS連接DAS部署的基礎(chǔ)上升級(jí)加入光纖通道和IP SAN陣列功能。

96個(gè)3.5英寸驅(qū)動(dòng)器(或者192個(gè)2.5英寸驅(qū)動(dòng)器)的IBM DS3500滿配連接示意圖，一共8個(gè)盤柜，最上面的是控制器所在的主盤柜，其余7個(gè)是通過SAS級(jí)連的JBOD擴(kuò)展柜。

在去年9月對(duì)IBM STG(系統(tǒng)與科技事業(yè)部)磁盤存儲(chǔ)產(chǎn)品首席技術(shù)官Vincent Hsu(許育誠)先生的采訪中，筆者提出這樣一個(gè)問題：“DS3500支持的驅(qū)動(dòng)器數(shù)量增加到192個(gè)，如果是3.5英寸驅(qū)動(dòng)器就需要級(jí)聯(lián)15個(gè)SAS JBOD擴(kuò)展柜，您認(rèn)為可能帶來的延遲增加，會(huì)對(duì)性能有不利影響嗎?”

Vincent Hsu：“我覺得現(xiàn)在這種(DS3500的產(chǎn)品)，只要不加固態(tài)盤的話，延遲都是差不多的。因?yàn)闄C(jī)械硬盤的速度(平均I/O訪問時(shí)間，筆者注)太慢，特別 是我知道DS3500用的是基于硬件的RAID，相對(duì)于CPU和內(nèi)存而言，理論上硬盤(的延遲)會(huì)差太多。如果數(shù)據(jù)非常隨機(jī)的話，緩存的命中率就會(huì)低，一 旦訪問硬磁盤速度就會(huì)慢下來。

首先它的吞吐量是一樣的，本身的瓶頸不在于驅(qū)動(dòng)器，而是由控制器決定?！?/p>

NetApp網(wǎng)站上的E系列產(chǎn)品線規(guī)格對(duì)比(部分)，其中E2600(原LSI Engenio 2600)和E7900分別是IBM DS3500和DS5300的原形產(chǎn)品。我們看到E2600使用SSD的持續(xù)IOPS性能由硬盤時(shí)的40,000提高到70,000，不過要是用戶在2U 24個(gè)2.5英寸驅(qū)動(dòng)器位的機(jī)箱中裝滿(或者只裝一半)SSD的話，這個(gè)數(shù)字早就成為瓶頸了吧?

“也就是說如果不用SSD的話，這方面不會(huì)有多大的影響。Vincent Hsu對(duì)此表示認(rèn)同。

我們估計(jì)實(shí)際使用的人不會(huì)在里面裝很多個(gè)SSD(上文中提到該產(chǎn)品現(xiàn)在最大支持20個(gè)SSD)，因?yàn)镈S3500定位的關(guān)系。Vincent Hsu還說：一般來講，用SSD的人太少了，因?yàn)?、2個(gè)SSD的價(jià)格可能就比DS3500(控制器機(jī)箱)要高了。”

以上匯總了這么多的回顧，該轉(zhuǎn)向本文的主題了。要想充分發(fā)揮IBM DS3500的IOPS性能大致有3個(gè)因素：Turbo選項(xiàng)、增加驅(qū)動(dòng)器數(shù)量，還有使用SSD。那么我們將在本文下一頁討論兩部分內(nèi)容：

1.DS3500在96塊硬盤的測(cè)試中，最大隨機(jī)讀磁盤IOPS(這里不討論緩存性能)為40,000;而SSD配置下可達(dá)70,000。那么如果使用192個(gè)傳統(tǒng)機(jī)械硬盤的情況如何呢?

2.對(duì)于Turbo選項(xiàng)，看上去它僅僅是一個(gè)在固件層面激活的Key。然而根據(jù)我們的了解，通過Turbo選項(xiàng)提高性能也許需要建立在一定的硬件配 置基礎(chǔ)上，或著說有些“最佳實(shí)踐”或者約定俗成的規(guī)則?筆者所知有限，寫的內(nèi)容可能不夠嚴(yán)謹(jǐn)，只是希望能夠給讀者帶來有用的參考。

192硬盤IOPS接近SSD、HIC子卡助性能提升?

IBM DS3500隨機(jī)讀寫IOPS性能與硬盤數(shù)量、Turbo選項(xiàng)之間的關(guān)系

上面來自IBM的這張圖表可以說“一圖抵千言”：首先不看Turbo模式對(duì)緩存IOPS的幫助;在96個(gè)高轉(zhuǎn)速SAS硬盤的情況下(應(yīng)該是10.70版本固件)，未激活Turbo模式時(shí)隨機(jī)讀/寫IOPS分別為30,000和7,500，而打開Turbo模式之后達(dá)到了40,000和12,500;而在192塊硬盤(10.75版本)Turbo模式下，隨機(jī)讀/寫IOPS進(jìn)一步上升到65,000和15,000，其中前者已經(jīng)接近使用SSD獲得的性能水平。

也就是說，盡管我們沒有看到在IBM的測(cè)試配置中使用了2.5還是3.5英寸驅(qū)動(dòng)器，不過事實(shí)證明Vincent Hsu先生所說，“DS3500在192個(gè)硬盤配置下無法發(fā)揮其最大性能”這種擔(dān)心基本上是多余的。另外，根據(jù)我們看到的一些相關(guān)測(cè)試數(shù)據(jù)，這里的隨機(jī)寫性能應(yīng)該是在RAID 5/6設(shè)置下實(shí)現(xiàn)的。

上圖來自SPC-1基準(zhǔn)測(cè)試結(jié)果文檔，一臺(tái)DS3524雙控制器陣列級(jí)連3個(gè)EXP3524擴(kuò)展柜，一共96個(gè)300GB 10K RPM SAS硬盤驅(qū)動(dòng)器。主機(jī)訪問通過服務(wù)器上安裝的2塊IBM 6Gb SAS HBA來實(shí)現(xiàn)。這里我們還看到在每個(gè)控制器上添加了一塊HIC SAS接口子卡，是為了增加主機(jī)連接數(shù)量嗎?

IBM DS3500運(yùn)行SPC-1 Benchmark的存儲(chǔ)配置表

根據(jù)這個(gè)表格，上面那張連接圖所顯示的配置除了啟用“Turbo Performance”之外，每控制器2個(gè)板載的6Gb SAS主機(jī)接口(miniSAS x4連接器，雙控一共4個(gè))都沒有使用，而是將服務(wù)器全部連接在了HIC子卡提供的SAS端口上面，這是為什么呢?

聯(lián)想到上一頁中的MD3200/DS3500控制器結(jié)構(gòu)圖(右邊那張SAS主機(jī)接口的)，我們這樣猜測(cè)：LSI SAS2116 CPU中包含800MHz的PowerPC 440處理器，而HIC子卡上代號(hào)為“Falcon”的LSI SAS2008控制器也帶有533MHz的PowerPC。那么IBM DS3500運(yùn)行SPC-1基準(zhǔn)測(cè)試時(shí)，應(yīng)該是為了讓SAS控制器專注于前端主機(jī)I/O，而核心RoC則可以解放出這部分資源來處理RAID和后端磁盤I/O等。

對(duì)于FC和iSCSI主機(jī)接口的DS3500，如果不同時(shí)使用SAS連接的話，可以不用注意這個(gè)問題。這款陣列在6Gb/s SAS(x4 link理論帶寬2.4GB/s)訪問的情況下可以達(dá)到最高性能，8Gb/s光纖通道基本與之相仿，10Gb/s(萬兆以太網(wǎng))iSCSI略有差距，而千兆iSCSI主要針對(duì)非帶寬類型和性能要求不高的應(yīng)用。

IBM DS3500運(yùn)行SPC-1 Benchmark的組件價(jià)格表

最后再來看一下DS3500 Turbo Performance選件的參考價(jià)格——6850美金，這個(gè)與帶有雙控制器的DS3524存儲(chǔ)系統(tǒng)相比不算便宜。但在滿配96個(gè)300GB 10,000rpm 2.5英寸SAS驅(qū)動(dòng)器等組件之后，只占總價(jià)格95,384美元的不到10%，我們認(rèn)為在應(yīng)用性能有需要的前提下還是可以接受的。

wangzhen