在本文的第一部分中,我們首先對比了光纖信道(FC)與SATA的真實成本差異。
我認為,在那些對性能要求高的環(huán)境中,SATA的成本比光纖信道或者新型SAS技術(shù)的成本要高一些。 雖然根據(jù)性能或者容量的不同,SATA可能會比光纖信道便宜三分之一到90%,但是還需要考慮其他一些問題,那就是我們現(xiàn)在要講的內(nèi)容了。
在今年早些時候舉行的USENIX FAST會議上,發(fā)表了兩篇關(guān)于驅(qū)動可靠性的耗文章,其中一篇談的是現(xiàn)實生活中的磁盤故障,另一篇講的是谷歌公司的經(jīng)驗。
我從這兩篇文章中得到了兩個重要的東西。其一是,RAID控制器中的磁盤驅(qū)動器上并沒有象驅(qū)動器廠商所說的可靠性說明,SATA驅(qū)動器的可靠性也遠遠不如光纖信道或者SAS。
這可能是由于RAID驅(qū)動器廠商認為問題剛一出現(xiàn)就應(yīng)該認為驅(qū)動器已經(jīng)出故障了,比如驅(qū)動器未按廠商規(guī)定的特殊響應(yīng)超時系統(tǒng)作出響應(yīng),但是它可能仍然可以運行較長的時間并自動從錯誤中恢復(fù)。例如,如果驅(qū)動器在幾秒內(nèi)沒有回應(yīng),我認識的某些廠商會說驅(qū)動器已經(jīng)出故障了,然后將它拆下來修理,但是很可能那個驅(qū)動器最后還是會回應(yīng)。 磁盤驅(qū)動器廠商不會因為驅(qū)動器最終作出了回應(yīng)就認為它沒有出故障。
需要考慮的另外一個東西是IOPS(輸入輸出程序設(shè)計系統(tǒng))。SATA和光纖信道的隨機IOPS比率在每秒兆字節(jié)性能差異、真實性能和完善后的搜索和延遲性能等方面是差不多的。 因此,同理我認為在相同的IOPs條件下,光纖信道驅(qū)動器仍是一個比SATA驅(qū)動器更好的選擇。
數(shù)字和要求
由于FAST研究中使用的磁盤驅(qū)動器大部分都是舊技術(shù)下的產(chǎn)品,所以我不打算使用FAST研究報告中的數(shù)據(jù),但是我認為驅(qū)動器的使用壽命不會象驅(qū)動器廠商所說的那樣長的概念還是有用的,因為正如加思吉布森在FAST研究報告中所說的那樣,RAID廠商在驅(qū)動器性能和響應(yīng)時間上留出的余地比驅(qū)動器廠商要大得多。
在希捷公司網(wǎng)站上,他們宣稱對于15k光纖信道驅(qū)動器來說,年故障率為0.62%。
不久之前,在同一個網(wǎng)站上,他們是用時間來表述這個指標的,當時他們說的是120萬小時。為了便于對比討論,我們就用許多RAID廠商使用的50萬小時來進行對比。 那么RFID驅(qū)動器的年故障率就達到了1.49%。
根據(jù)希捷公司提供的數(shù)據(jù),SATA驅(qū)動器的年故障率是0.73%。
讓我們根據(jù)網(wǎng)站上使用的數(shù)據(jù)假設(shè)將它轉(zhuǎn)化為100萬小時,并且假設(shè)RAID廠商說的是50萬小時和30萬小時。我想據(jù)我所見,那些驅(qū)動器可能在使用了30萬小時之后就會出現(xiàn)故障了,而根本不會等到使用了50萬小時之后才發(fā)生故障。 因此,對于50萬小時來說,它的年故障率為1.46%,對于30萬小時來說,年故障率是2.44%
將所有的問題都整理在一起
請記住,我推測不管采用IOPS還是流,SATA在各種性能環(huán)境中的成本都要更高一些。
以下數(shù)據(jù)是在2007年3月和4月從廠商網(wǎng)站上獲得的:.
驅(qū)動器類型 | 廠商 | GB | 彈性系數(shù) | 每分鐘轉(zhuǎn)數(shù) (單位:千) | 空載功率 | 荷載功率 | 平均值MB/S | MB/S瓦 |
光纖信道 | 日立 | 147 | 3.5 英寸 | 15 | 8.92 | 12.02 | 93 | 7.7 |
光纖信道 | 日立 | 300 | 3.5 英寸 | 10 | 10.8 | 13.4 | 91 | 6.8 |
光纖信道 | 希捷 | 300 | 3.5 英寸 | 15 | 13.7 | 18.8 | 99 | 5.3 |
光纖信道 | 希捷 | 147 | 3.5 英寸 | 15 | 10.7 | 16.5 | 99 | 6.0 |
SAS | 希捷 | 73 | 2.5 英寸 | 15 | 5.8 | 8.2 | 95.5 | 11.6 |
SAS | 希捷 | 146 | 2.5 英寸 | 10 | 5.2 | 7.8 | 72 | 9.2 |
SATA | 希捷 | 750 | 3.5 英寸 | 7.2 | 9.3 | 13 | 78 | 6.0 |
此表為驅(qū)動器對比 |
年故障率 | 1.49 % | |
4 + 1 | 8 + 1 | |
300GB 光纖信道 15K 無年故障率 | 17067 | 15360 |
每年故障次數(shù) | 254 | 229 |
可能一天2次 | 69.67 % | 62.70 % |
此表為RAID故障率 |
由于性能對HBAs和接線器端口提出了功率要求,以下是數(shù)據(jù)路徑技術(shù)的某些功率要求:
QLogic 雙端口 4GB HBA要求6.5瓦。公司網(wǎng)站沒有提供BTU參數(shù)。
適用于48口刀片式服務(wù)器上的各個4GB端口的思科9500系列導向交換機使用16.46瓦,為了冷卻產(chǎn)生的熱量,需要配置3個BTU。
以下是某RAID廠商提供的關(guān)于16驅(qū)動器的托架和控制器參數(shù):
• 每個控制器大約要消耗60瓦功率
• 帶有16個希捷500GB Tonka-2 SATA驅(qū)動器的驅(qū)動器托架要消耗375瓦功率
• 帶有16個4GB 15K.4驅(qū)動器的驅(qū)動器托架要消耗382瓦功率
• 各需要冷卻的熱量與驅(qū)動器數(shù)量和容量有關(guān)(一般驅(qū)動器容量越大,需要的功率越大)
o 16個500GB希捷SATA驅(qū)動器=1283BTUs
o 16個146GB希捷4GB光纖信道驅(qū)動器=1300BTUs
你不難發(fā)現(xiàn)同樣的數(shù)量時,光纖信道托架的功率是118瓦(382-(16*16.5)),而SATA托架的功率是167瓦(375-(16*13))。 這可能是因為所需的附加SATA控制器與光學光纖信道連接器一樣需要耗費功率。這樣,光纖信道驅(qū)動器的功耗就增加了31%,SATA驅(qū)動器的功率就增加了45%。
舉個例子
讓我們假定你需要你的企業(yè)需要100GB/秒的全天持續(xù)性能。實際上如今企業(yè)需要的持續(xù)性能遠不止這么多。 對于某些讀者來說,這可能已經(jīng)是個很高的要求了,但是對于銀行、保險公司、汽車制造廠、制藥公司或者任何大型企業(yè)來說,這個要求是不算高的。讓我們來計算一下你要為磁盤驅(qū)動器配備些什么。
對于光纖信道驅(qū)動器來說,我將根據(jù)廠商提供的資料來計算,每個驅(qū)動器的最小傳輸速率為75MB/秒,我預(yù)計不管使用那種類型的驅(qū)動器,它都是最大性能的55%左右。這些數(shù)據(jù)都是依據(jù)各廠商網(wǎng)站上的數(shù)據(jù)得出的。 驅(qū)動器數(shù)量和年故障率都假定如上表所示。
年故障率 | 1.46 % | |
4 + 2 | 8 + 2 | |
750GB FC 15K no AFR | 35721 | 29767 |
每年故障次數(shù) | 522 | 435 |
可能一天2次 | 142.88 % | 119.07 % |
此表為SATA故障率 |
根據(jù)這些資料和返修的時間,根據(jù)我的預(yù)計以及性能要求,返修時間可能從4小時到12小時不等。我想你可能需要再加兩個4+1或者8+1來確保達到性能要求,這樣RAID 4+1的總驅(qū)動數(shù)就達到了17077,RAID 8+1的總驅(qū)動數(shù)就達到了15378。注意,這并不包括熱備件。
增加的兩個LUNs將需要同時增加兩個HBAs和接線器端口以及一個RAID控制器,我沒有增加這些東西,但是你應(yīng)該記住實際上是需要增加它們的。
對于SATA來說,新的數(shù)據(jù)如下:
年故障率 | 2.44 % | |
4 + 2 | 8 + 2 | |
750GB FC 7.2K no AFR | 35721 | 29767 |
每年故障次數(shù) | 872 | 726 |
可能一天2次 | 238.79 % | 198.99 % |
此表為新的SATA故障率 |
鑒于一天之內(nèi)可能發(fā)生多次故障,以及為了讓FC也達到相同的故障次數(shù),根據(jù)性能要求,我估計你需要增加5個LUNs才能達到1.46%的年故障率,或者增加8個LUNs才能達到2.4%的故障率。
如果年故障率為1.46%,RAID 4+2的磁盤總數(shù)就達到了35751個,RAID 8+2的磁盤總數(shù)將達到29817個。
如果年故障率是2.44%,RAID 4+2的磁盤總數(shù)就達到了35801個,RAID 8+2的磁盤總數(shù)將達到29847個。
因此,從純粹功率的角度來看,你需要的驅(qū)動器如下:
光纖信道 | 數(shù)量 | 每個驅(qū)動器的功率 | 總功率(單位:千瓦) |
1.49 % 年故障率 | |||
RAID 4+1 | 17077 | 18.8 | 321.05 |
RAID 8+1 | 15378 | 18.8 | 289.11 |
SATA | |||
1.46 % 年故障率 | |||
RAID 4+2 | 35751 | 13 | 464.76 |
RAID 8+2 | 29817 | 13 | 387.62 |
2.44 % 年故障率 | |||
RAID 4+2 | 35801 | 13 | 465.41 |
RAID 8+2 | 29847 | 13 | 388.01 |
此表為功率消耗 |
光纖信道 | 數(shù)量 | 每個驅(qū)動器的功率 | 總功率(單位:千瓦) | 耗費.09每千瓦時 | 每年成本 | RAID控制器方面的年成本 | 5年 功率成本 | RAID 5年功率成本 | 5年成本 差異 | RAID5年 成本差異 | |
1.49 % 年故障率 | |||||||||||
RAID 4+1 | 17077 | 18.8 | 321.05 | 28.89美元 | 253113.93美元 | 331579.25美元 | 1265569.64美元 | 1657896.23美元 | |||
RAID 8+1 | 15378 | 18.8 | 289.11 | 26.02美元 | 227931.49美元 | 298590.25美元 | 1139657.43美元 | 1492951.23美元 | |||
SATA | |||||||||||
1.46 % 年故障率 | |||||||||||
RAID 4+2 | 35751 | 13 | 464.76 | 41.83美元 | 366419.15美元 | 531307.77美元 | 1832095.75美元 | 2656538.83美元 | 566526.11美元 | 998642.60美元 | |
RAID 8+2 | 29817 | 13 | 387.62 | 34.89美元 | 305600.40美元 | 443120.57美元 | 1528001.98美元 | 2215602.87美元 | 388344.55美元 | 722651.64美元 | |
2.44 % 年故障率 | |||||||||||
RAID 4+2 | 35801 | 13 | 465.41 | 41.89美元 | 366931.61美元 | 532050.83美元 | 1834658.05美元 | 2660254.17美元 | 569088.41美元 | 1002357.94美元 | |
RAID 8+2 | 29847 | 13 | 388.01 | 34.92美元 | 305907.87美元 | 443566.41美元 | 1529539.36美元 | 2217832.07美元 | 389881.93美元 | 559935.85美元 | |
此表為總功率成本 |
這些數(shù)據(jù)并不包括拆除BTU的成本,加上這部分成本后,功率成本可能會增加三分之一左右,從而進一步縮小它們之間的差距。
驅(qū)動 | 驅(qū)動器數(shù)量 | 原始成本 | 驅(qū)動器5年的成本 | RAID驅(qū)動器5年的成本 | 不同時期的真實成本差 | 不同時期RAID真實成本差 |
FC4+1 | 17077 | 17077000美元 | 18342570美元 | 20000466美元 | ||
FC 8+1 | 15378 | 15378000美元 | 16517657美元 | 18010609美元 | ||
對于1.46%的年故障率 | ||||||
RAID 4+2 | 35751 | 9617019美元 | 11449115美元 | 14105654美元 | 1.60 | 1.42 |
RAID 8+2 | 29817 | 8020773美元 | 9548775美元 | 11764378美元 | 1.73 | 1.53 |
對于2.44%的年故障率 | ||||||
RAID 4+2 | 35801 | 9630469美元 | 11465127美元 | 14125381美元 | 1.60 | 1.42 |
RAID 8+2 | 29847 | 8028843美元 | 9558382美元 | 11776214美元 | 1.73 | 1.53 |
此表為新的總功率成本 |
加上附加驅(qū)動器、控制器和接線器端口在內(nèi)的總功率和冷卻成本使得SATA不再是成本最優(yōu)的選擇SATA驅(qū)動器的價格可能要便宜90%,但是當加上所有的成本之后,SATA就沒有什么成本優(yōu)勢了。在進行對比分析時我們沒有將BTU拆除或者附加控制器和接線器端口(以及那些項目的功率和冷卻成本)的成本計算進去。
驅(qū)動器成本是從我最新研究報告中提取的,最低價格則是我在froogle.com上查到的。你看見的內(nèi)容并沒有將增加的RAID控制器的一系列成本計算在內(nèi)。 它也沒有考慮額外增加接線器端口、HBAs和冷卻這些附加設(shè)備產(chǎn)生的熱量所耗費的功率。
記住,這些對比分析的前提都是在性能優(yōu)先的環(huán)境下。我認為我一開始的直覺似乎是正確的,即在各種性能優(yōu)先的環(huán)境下,SATA的成本效益并不明顯;FC或者即將推出的SAS驅(qū)動器倒是一個更好的選擇。 我在計算中沒有包括冷卻熱量所需的BTU、額外附加的HBAs、接線器端口的相關(guān)成本和那些配件附帶的功率成本。也沒有考慮功率成本今后的發(fā)展變化因素。
我想讓你自己來做決定,但是我自己仍然強烈建議在性能優(yōu)先環(huán)境下不要選擇SATA驅(qū)動器。