MEMBlaze Q520H型PCIe接口固態(tài)硬盤(pán)

EMC CLARiiON CX3-20存儲(chǔ)陣列

編者注：Q520H是國(guó)內(nèi)初創(chuàng)企業(yè)MemBalze公司的上一代產(chǎn)品，而CX3-20又要早上個(gè)四五年。在三年恨不得當(dāng)三十年過(guò)的IT行業(yè)，相差四五年之間的產(chǎn)品比拼，快趕上“關(guān)公戰(zhàn)秦瓊”了……不過(guò)，這種情況在用戶(hù)考慮系統(tǒng)升級(jí)方案的時(shí)候，卻是很有可能出現(xiàn)的。這種不同產(chǎn)品品類(lèi)之間“非對(duì)稱(chēng)”對(duì)比的另一前提在于，用戶(hù)只想要更高的單機(jī)數(shù)據(jù)庫(kù)性能——如果離不開(kāi)共享存儲(chǔ)和基于SAN的高級(jí)軟件功能，全閃存陣列或混合陣列更為合適。

一、 測(cè)試設(shè)備

在一臺(tái)服務(wù)器中同時(shí)架設(shè)Q520H型PCIe接口固態(tài)硬盤(pán)與EMC CX3-20型SAN傳統(tǒng)磁盤(pán)存儲(chǔ)陣列，分別對(duì)存儲(chǔ)設(shè)備的指標(biāo)進(jìn)行測(cè)試。其中，

1. 服務(wù)器型號(hào)為：DELL R900;

2. 服務(wù)器配置：Intel Xeon E7320 4顆CPU，主頻2.13GHz;內(nèi)存64GB，4個(gè)PCIe x8接口;

3. 固態(tài)硬盤(pán)加速卡型號(hào)：MEMBlaze Q520H型PCIe接口固態(tài)硬盤(pán)，插入PCIe x8接口;

4. 存儲(chǔ)陣列型號(hào)：5塊光纖接口硬盤(pán)RAID 5模式構(gòu)成的4Gb 光纖通道EMC CX3-20存儲(chǔ)陣列;

5. 配置軟件：Windows 2008 Server 64位操作系統(tǒng)、SQL Server 2008 64位數(shù)據(jù)庫(kù)

編者注：正如作者所言，包括服務(wù)器、存儲(chǔ)陣列、操作系統(tǒng)和數(shù)據(jù)庫(kù)軟件在內(nèi)的整個(gè)現(xiàn)有方案，部署于2008年?；叵肽菚r(shí)尚可擔(dān)綱主力的R900，提供的還是PCI Express 1.1插槽，而去年基于至強(qiáng)E5平臺(tái)的服務(wù)器就已達(dá)到PCI Express 3.0，短短四年間換了兩代，真有恍如隔世之感……

如此的老平臺(tái)對(duì)Q520倒不是大問(wèn)題，因其使用的是PCI Express 1.1 x8接口，與服務(wù)器正好匹配，單向帶寬2GB/s。

真正老態(tài)盡顯的是CX3-20。作為EMC在2006年推出的CLARiiON CX3中端存儲(chǔ)家族的一員，CX3-20最多支持120個(gè)FC硬盤(pán)，4-12個(gè)4Gb/s FC主機(jī)端口，但4Gb/s FC磁盤(pán)端口只有2個(gè)，因而磁盤(pán)帶寬不會(huì)超過(guò)800MB/s。

那么，這是一場(chǎng)注定不公平的對(duì)決么?

PCIe閃存卡開(kāi)路先鋒Fusion-io早期的案例：對(duì)那些使用SAN，只為獲得大量硬盤(pán)堆疊IOPS的用戶(hù)來(lái)說(shuō)，以PCIe閃存卡替代，是非常好的選擇。

二、 測(cè)試方法

使用CrystalDiskMark3_64位軟件，分別測(cè)試連續(xù)讀寫(xiě)、隨機(jī)讀寫(xiě)，2種模式下的傳輸率，測(cè)試5次，取平均值，并推算出IOPS，另選擇了HD_Tune_Pro測(cè)試軟件進(jìn)行參考對(duì)比，以排除測(cè)試軟件誤差。同時(shí)進(jìn)行了SQL Server2008數(shù)據(jù)庫(kù)實(shí)際使用測(cè)試。

為排除操作系統(tǒng)緩存的干擾，測(cè)試中關(guān)閉了操作系統(tǒng)的寫(xiě)緩存功能。

編者注：這個(gè)測(cè)試最有爭(zhēng)議的部分來(lái)了，那就是測(cè)試軟件的選擇。CrystalDiskMark和HD Tune Pro都是用來(lái)測(cè)消費(fèi)類(lèi)設(shè)備如SSD的，怎么能測(cè)這些企業(yè)級(jí)存儲(chǔ)產(chǎn)品呢?

這一點(diǎn)我原則上同意，但不贊成持全盤(pán)否定的態(tài)度。這里先從技術(shù)上不太“嚴(yán)謹(jǐn)”的探討一下，文尾再說(shuō)說(shuō)我的看法，也是刊出本文的價(jià)值所在。

一方面，從原理上，存儲(chǔ)產(chǎn)品的測(cè)試，企業(yè)級(jí)產(chǎn)品和消費(fèi)類(lèi)產(chǎn)品、系統(tǒng)級(jí)產(chǎn)品(如磁盤(pán)陣列)與部件級(jí)產(chǎn)品(如硬盤(pán))，沒(méi)有本質(zhì)的區(qū)別。譬如說(shuō)，IOmeter測(cè)試消費(fèi)類(lèi)產(chǎn)品和企業(yè)級(jí)產(chǎn)品，都是可以信賴(lài)的;存儲(chǔ)性能委員會(huì)(Storage Performance Council，SPC)在存儲(chǔ)系統(tǒng)級(jí)Benchmark規(guī)范SPC-1/2的基礎(chǔ)上，開(kāi)發(fā)出了面向存儲(chǔ)部件(磁盤(pán)、SSD、HBA/RAID卡等)的SPC-1C/2C;

另一方面，CrystalDiskMark、HD Tune Pro畢竟不是IOmeter，它們可以說(shuō)是專(zhuān)門(mén)為消費(fèi)類(lèi)產(chǎn)品設(shè)計(jì)的，沒(méi)有考慮到外部存儲(chǔ)系統(tǒng)的一些特性。以我個(gè)人以前使用同類(lèi)軟件的經(jīng)驗(yàn)來(lái)看，它們對(duì)內(nèi)置存儲(chǔ)和簡(jiǎn)單的直連存儲(chǔ)設(shè)備(包括PCIe閃存卡和USB存儲(chǔ))測(cè)試的結(jié)果一致性比較好，但對(duì)外部存儲(chǔ)系統(tǒng)的測(cè)試結(jié)果則往往難以解釋;

更不要說(shuō)企業(yè)級(jí)產(chǎn)品都要測(cè)持續(xù)性能，SSD還包括抖動(dòng)、延時(shí)、損耗……的考察，這些也不是相對(duì)簡(jiǎn)單的消費(fèi)級(jí)測(cè)試軟件可以承擔(dān)的。

那么，這不是對(duì)老存儲(chǔ)系統(tǒng)更不公平了么?莫急，我們可以對(duì)看來(lái)不太可信的測(cè)試結(jié)果進(jìn)行強(qiáng)力“補(bǔ)償”，重點(diǎn)仍然在于最后解釋用戶(hù)這么做的合情性……so請(qǐng)性急的看客耐著性子往下看……

三、 測(cè)試結(jié)果

1.CrystalDiskMark3_64位軟件測(cè)試結(jié)果

2.HD_Tune_Pro軟件測(cè)試結(jié)果

3.SQL Server數(shù)據(jù)庫(kù)備份還原測(cè)試

編者注：正如上一段點(diǎn)評(píng)所指出的，CrystalDiskMark和HD Tune Pro測(cè)試PCIe閃存卡的成績(jī)還算靠譜。以CrystalDiskMark來(lái)說(shuō)，Q520H順序讀(1147MB/s)超過(guò)了接口理論帶寬(2GB/s)的一半，而CX3-20就有點(diǎn)過(guò)低了。雖然只配5個(gè)FC盤(pán)，但即使配滿(mǎn)了120個(gè)硬盤(pán)，實(shí)際帶寬也超不過(guò)800MB/s。這還是兩個(gè)4Gb/s FC磁盤(pán)端口全用上的情況，如果只用一個(gè)，那CX3-20的帶寬連400MB/s都到不了。

這也不能怪CX3-20，因?yàn)閭鹘y(tǒng)磁盤(pán)陣列堆那么多硬盤(pán)，不是為了湊順序訪(fǎng)問(wèn)帶寬，而是拼隨機(jī)訪(fǎng)問(wèn)的IOPS(I/O per second，每秒I/O操作數(shù))。EMC曾經(jīng)給出過(guò)15000RPM(15K RPM)硬盤(pán)在CLARiiON這樣的中端存儲(chǔ)系統(tǒng)中隨機(jī)訪(fǎng)問(wèn)性能的經(jīng)驗(yàn)值——大約200IOPS。照這樣算的話(huà)，5個(gè)盤(pán)的讀IOPS可以有1000，兩款軟件的隨機(jī)測(cè)試成績(jī)有點(diǎn)過(guò)低了。但即使按1000算，比Q520H也還差很多。

EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能，注意CX3-20滿(mǎn)配的OLTP性能，單位是TPM，即每分鐘交易數(shù)，折合成每秒I/O的話(huà)……

第三項(xiàng)是真實(shí)應(yīng)用中的測(cè)試，SQL Server備份的速度比EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能指標(biāo)要低不少。一則官方數(shù)據(jù)中的CX3-20是滿(mǎn)配，硬盤(pán)數(shù)24倍于本文配置;二則看起來(lái)劉波的測(cè)試中備份源與目標(biāo)都是同一設(shè)備(Q520H或CX3-20)，既讀又寫(xiě)，備份速度肯定大打折扣。

解釋的差不多了，看結(jié)論……

四、 數(shù)據(jù)分析

1. 連續(xù)傳輸率比較

讀比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=1147/205.9= 5.57

寫(xiě)比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=647.3/224= 2.89

結(jié) 論：PCIe固態(tài)盤(pán)比RAID5光纖盤(pán)連續(xù)存取傳輸率有大幅提升。

2. 隨機(jī)讀寫(xiě)傳輸率比較

(1)512KB測(cè)試塊：

讀比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=952.9/55.01= 17.32

寫(xiě)比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=644.4/96.99= 6.64

(2)4KB測(cè)試塊：

讀比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=25.67/0.951= 26.99

寫(xiě)比率：PCIe固態(tài)盤(pán)/RAID5光纖盤(pán)=83.97/12.71= 6.61

結(jié) 論：PCIe固態(tài)盤(pán)比RAID5光纖盤(pán)的隨機(jī)存取傳輸率有大幅提升，與連續(xù)存取傳輸率的提升比較，性能指標(biāo)提升的幅度更大，最高達(dá)26.99倍。

3.連續(xù)讀寫(xiě)與隨機(jī)讀寫(xiě)的差異比較

(1)PCIe固態(tài)盤(pán)差異：

連續(xù)傳輸率對(duì)比512K隨機(jī)傳輸率：

讀比率：1147/952.9=1.20

寫(xiě)比率：647.3/644.4=1.00

連續(xù)傳輸率對(duì)比4K隨機(jī)傳輸率：

讀比率：1147/25.67=44.68

寫(xiě)比率：647.3/83.97=7.71

(2)RAID5光纖盤(pán)差異：

連續(xù)傳輸率對(duì)比512K隨機(jī)傳輸率：

讀比率：205.9/55.01=3.74

寫(xiě)比率：224/96.9=2.31

連續(xù)傳輸率對(duì)比4K隨機(jī)傳輸率：

讀比率：205.9/0.951=216.51

寫(xiě)比率：224/12.71=17.62

結(jié) 論：無(wú)論是對(duì)讀操作還是寫(xiě)操作，對(duì)于連續(xù)傳輸傳輸率與隨機(jī)存取傳輸率的性能差異，PCIe固態(tài)盤(pán)都比RAID5光纖盤(pán)的性能落差都有所收窄，并且這種性能落差的收窄幅度是與數(shù)據(jù)塊大小成負(fù)相關(guān)。即數(shù)據(jù)塊越小，相對(duì)于RAID5光纖盤(pán)而言，PCIe固態(tài)盤(pán)的性能提升越明顯。對(duì)于4K數(shù)據(jù)塊讀操作，性能提升最高達(dá)到4.85倍。

編者注：雖然在測(cè)試軟件的選擇和部分測(cè)試結(jié)果上存在著不同程度的爭(zhēng)議，Q520H與CX3-20在性能上的差距可能被拉大了一些，但上述分析結(jié)果的方向還是正確的，符合SSD隨機(jī)訪(fǎng)問(wèn)能力優(yōu)異，硬盤(pán)適合順序讀寫(xiě)的認(rèn)知。所以，隨機(jī)訪(fǎng)問(wèn)的數(shù)據(jù)塊越小，SSD優(yōu)勢(shì)越明顯;數(shù)據(jù)塊越大，硬盤(pán)的落后幅度就會(huì)小一些。

換句話(huà)說(shuō)，劉波用不規(guī)范的測(cè)試手段，得到了總體正確的結(jié)論。那么，這對(duì)我們有何啟發(fā)?

五、總 結(jié)

連續(xù)傳輸率和隨機(jī)傳輸率是衡量存儲(chǔ)系統(tǒng)的重要指標(biāo)，這2個(gè)指標(biāo)的提高對(duì)于提升數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)性能具有直接作用。從以上測(cè)試結(jié)果說(shuō)明：

1. PCIe固態(tài)硬盤(pán)在這2個(gè)指標(biāo)上都比SAN光纖傳統(tǒng)硬盤(pán)有大幅度提高，并且各指標(biāo)表現(xiàn)更加均衡。

2. 相對(duì)傳統(tǒng)機(jī)械硬盤(pán)存儲(chǔ)而言，小數(shù)據(jù)塊隨機(jī)傳輸率的提升尤為顯著。小數(shù)據(jù)塊隨機(jī)傳輸率的提升會(huì)提高存儲(chǔ)設(shè)備的IOPS指標(biāo)。而IOPS是任何以數(shù)據(jù)庫(kù)為支撐的信息系統(tǒng)最為關(guān)心的指標(biāo)之一。對(duì)于傳統(tǒng)機(jī)械硬盤(pán)，這個(gè)指標(biāo)難以大幅度提高的，即時(shí)有所提高，代價(jià)也相對(duì)昂貴。通過(guò)發(fā)揮PCIe固態(tài)盤(pán)存儲(chǔ)介質(zhì)的優(yōu)勢(shì)，會(huì)直接提高數(shù)據(jù)庫(kù)的事物處理能力，對(duì)于提高OTLP類(lèi)應(yīng)用的并發(fā)處理能力，是高效而低成本的性能提升手段。

3. 對(duì)于固態(tài)硬盤(pán)而言，由于隨機(jī)傳輸率的性能與連續(xù)傳輸率的性能呈正相關(guān)，并且連續(xù)傳輸率與隨機(jī)傳輸率的性能落差已大為縮小，因此連續(xù)傳輸率將成為反映固態(tài)硬盤(pán)性能的主要代表指標(biāo)之一，而連續(xù)傳輸率指標(biāo)將是由固態(tài)硬盤(pán)的內(nèi)部結(jié)構(gòu)及接口速率決定，因此考察固態(tài)硬盤(pán)的性能可以重點(diǎn)觀(guān)察固態(tài)硬盤(pán)的接口速率及讀寫(xiě)延遲指標(biāo)。

4. 測(cè)試還證明，吞吐量的提升將會(huì)縮短數(shù)據(jù)庫(kù)備份還原時(shí)間，這會(huì)壓縮系統(tǒng)維護(hù)時(shí)間窗口，提高系統(tǒng)在線(xiàn)服務(wù)能力。

編者注：對(duì)上述結(jié)論，我們首先有一些補(bǔ)充意見(jiàn)：

1. 隨機(jī)訪(fǎng)問(wèn)性能是基于半導(dǎo)體技術(shù)的閃存相對(duì)機(jī)械硬盤(pán)最大的優(yōu)勢(shì)所在，不要說(shuō)老舊的CX3-20，一塊優(yōu)秀的PCIe閃存卡，IOPS性能優(yōu)于配備了幾百個(gè)高轉(zhuǎn)速硬盤(pán)的傳統(tǒng)磁盤(pán)陣列(或曰全磁盤(pán)的存儲(chǔ)系統(tǒng))，早已不是天方夜譚;

2. 相對(duì)而言，硬盤(pán)的順序讀寫(xiě)能力不算差。以前受限于SAS/SATA接口的帶寬限制，SSD的順序讀性能至多是硬盤(pán)的兩三倍，現(xiàn)在有了PCI Express 3.0的支持，一個(gè)PCIe閃存卡的順序讀性能可以十倍于硬盤(pán)。但是，大量的硬盤(pán)堆疊起來(lái)，只要存儲(chǔ)系統(tǒng)的帶寬足夠，是可以與SSD一爭(zhēng)高下的。加上硬盤(pán)在容量和成本上的優(yōu)勢(shì)，用磁盤(pán)存儲(chǔ)系統(tǒng)來(lái)做備份，還是更好的選擇。

這么說(shuō)來(lái)，劉波的測(cè)試不過(guò)是證明了已有結(jié)論的事實(shí)?那為什么還要做這“無(wú)用功”呢?

或許恰恰說(shuō)明了閃存產(chǎn)品在中國(guó)的傳統(tǒng)企業(yè)市場(chǎng)上接受度未如人意的原因。雖然在大小廠(chǎng)商的發(fā)布活動(dòng)上，動(dòng)輒可見(jiàn)SSD或閃存陣列I/O性能“10X”、“30X”乃至“100X”于磁盤(pán)或磁盤(pán)陣列的對(duì)比，可能也沒(méi)有夸大，但一則面向用戶(hù)宣傳的力度還不夠，二則用戶(hù)對(duì)廠(chǎng)商自說(shuō)自話(huà)的宣傳也心存疑慮。在缺乏可信的第三方測(cè)試數(shù)據(jù)支持的情況下，用戶(hù)自己測(cè)試是既負(fù)責(zé)又無(wú)奈的行為。

可能有人會(huì)說(shuō)了，用戶(hù)自己測(cè)試可以呀，多搞些實(shí)際應(yīng)用環(huán)境中的測(cè)試，不要這么“小兒科”嘛……可是，用戶(hù)的本職工作是服務(wù)好所在企業(yè)的應(yīng)用，沒(méi)有成為專(zhuān)職測(cè)試人員的義務(wù)，大多數(shù)人也沒(méi)有這條件，不信請(qǐng)看：

3. 本文中在SQL Server環(huán)境中進(jìn)行了測(cè)試，算比較貼近該用戶(hù)的應(yīng)用。不過(guò)，我們知道，要檢驗(yàn)存儲(chǔ)設(shè)備在SQL Server環(huán)境中的性能，主要考察的應(yīng)該是隨機(jī)訪(fǎng)問(wèn)(IOPS)，復(fù)制/恢復(fù)屬于次要場(chǎng)景。但是，像SQL Server這樣的商業(yè)數(shù)據(jù)庫(kù)，專(zhuān)門(mén)設(shè)計(jì)的測(cè)試軟件并不多，現(xiàn)屬戴爾的Toad for SQL Server在高級(jí)版本里提供了測(cè)試工具，一則需要購(gòu)買(mǎi)軟件許可，二則配置復(fù)雜，不能指望大多數(shù)企業(yè)用戶(hù)為了測(cè)試存儲(chǔ)的性能，下這么大的功夫在本分以外的工作上。針對(duì)Oracle數(shù)據(jù)庫(kù)的Orion是免費(fèi)的，但也需要相當(dāng)?shù)臏y(cè)試經(jīng)驗(yàn)才能使用。至于編個(gè)腳本進(jìn)行針對(duì)性的測(cè)試，就更是對(duì)用戶(hù)的苛求了。

這一點(diǎn)同樣可以解釋該用戶(hù)使用CrystalDiskMark和HD Tune Pro，而不是IOmeter來(lái)進(jìn)行Benchmark測(cè)試。作為一款相對(duì)專(zhuān)業(yè)的測(cè)試工具，IOmeter可以調(diào)整很多參數(shù)，定制測(cè)試模型，也意味著更難上手;CrystalDiskMark和HD Tune Pro則相反，測(cè)試模型雖不透明但貴在簡(jiǎn)單，出結(jié)果快且直觀(guān)，拿來(lái)就用很是方便。

這也引發(fā)了關(guān)于“實(shí)際用戶(hù)場(chǎng)景測(cè)試”的思考。“貼近用戶(hù)實(shí)際應(yīng)用的測(cè)試”一直是ZDNet企業(yè)解決方案中心的宗旨，而有時(shí)面對(duì)“在實(shí)際用戶(hù)環(huán)境中測(cè)試的結(jié)果”這類(lèi)要求，則令我們頗感為難。須知用戶(hù)是不會(huì)貿(mào)然直接在生產(chǎn)環(huán)境中使用新產(chǎn)品的，據(jù)說(shuō)即使是百度這樣的互聯(lián)網(wǎng)用戶(hù)，其測(cè)試部門(mén)也拿不到生產(chǎn)部門(mén)的數(shù)據(jù)集和代碼，只能以盡量貼近的腳本來(lái)模擬。這一步通常屬于驗(yàn)證性的，因?yàn)橛脩?hù)顯然不能對(duì)廠(chǎng)商的宣傳照單全收，特別是在大規(guī)模的采購(gòu)部署之前，一定要先對(duì)性能和兼容性等方面有個(gè)基本的把握。至于在用戶(hù)應(yīng)用環(huán)境中的實(shí)際表現(xiàn)如何，那就屬于應(yīng)用案例的范疇，雖然數(shù)據(jù)更準(zhǔn)確也更有“可信度”，卻不能強(qiáng)加到產(chǎn)品測(cè)試的環(huán)節(jié)啦。

在磁盤(pán)陣列的時(shí)代，不同廠(chǎng)商的同代產(chǎn)品之間，性能通常不會(huì)有數(shù)量級(jí)的差別，用戶(hù)可以將注意力集中在軟件功能和對(duì)應(yīng)用的支持上。閃存作為一種顛覆性技術(shù)，雖然聲勢(shì)日隆，畢竟用過(guò)的企業(yè)用戶(hù)還不算多(尤其在中國(guó))。沒(méi)接觸過(guò)的企業(yè)不能毫無(wú)保留的信任，是對(duì)自身負(fù)責(zé)的表現(xiàn)。在這種情況下，我們第三方測(cè)試機(jī)構(gòu)有義務(wù)幫助企業(yè)級(jí)閃存技術(shù)/產(chǎn)品的潛在用戶(hù)，在貼近自身應(yīng)用的場(chǎng)景中，檢驗(yàn)新產(chǎn)品新技術(shù)的實(shí)際效能。（實(shí)際測(cè)試者：中國(guó)鐵道出版社劉波，文中編輯點(diǎn)評(píng)：ZDNet企業(yè)解決方案中心首席分析師張廣彬。）

ZDNet企業(yè)解決方案中心聯(lián)合發(fā)布本文：《一個(gè)PCIe閃存卡測(cè)試引發(fā)的思考》

aming