能滿足上述需求比較常用的有:SANergy、Imagesan、StornextFS、BWFS、HyperFS、ASFS、等,既然是滿足類似的應(yīng)用需求,對于“卷共享軟件”和“SAN文件系統(tǒng)”之間的區(qū)別和聯(lián)系大家可能還并沒有特別的了解和關(guān)注,甚至不少存儲業(yè)界同仁也并不清楚其差別。讓我們一起來看一下兩者的實現(xiàn)原理:
卷共享軟件的實現(xiàn)原理與應(yīng)用價值
首先:“卷共享軟件”本身不包含文件系統(tǒng)的功能,所以沒有辦法獨立的工作,必須要依賴于傳統(tǒng)的本地文件系統(tǒng),換句話說實際上“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”和“SAN文件系統(tǒng)”完成類似的工作,實現(xiàn)對來自于SAN的同一個卷進(jìn)行同時讀寫操作。
以典型的“卷共享軟件”SANergy為例,看下他是如何工作的:文件系統(tǒng)層面采用本地文件系統(tǒng)進(jìn)行格式化,可以用NTFS、UFS(或者其他 SANergy支持的本地文件系統(tǒng)),SANergy將標(biāo)準(zhǔn)網(wǎng)絡(luò)文件協(xié)議(CIF或NFS)的數(shù)據(jù)I/O操作部分“劫持”從LAN重新定向到“由MDC所主導(dǎo)管理的且被所有客戶端所掛載并直接訪問的來自于SAN的卷上的本地文件系統(tǒng)”。
這樣,如上圖所示,與傳統(tǒng)網(wǎng)絡(luò)文件協(xié)議(也就是傳統(tǒng)NAS)的訪問方式相比較,好處是實現(xiàn)了“元數(shù)據(jù)”與“數(shù)據(jù)”的帶外傳輸,大幅度的提高了性能(例如單機(jī)FC可達(dá)到接近4Gb的速度)這種性能提升是傳統(tǒng)NAS架構(gòu)(標(biāo)準(zhǔn)CIFS協(xié)議、NFS協(xié)議)所無法企及的。
SAN文件系統(tǒng)的實現(xiàn)原理與應(yīng)用價值
“SAN文件系統(tǒng)”與“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”方式的主要差別在于其不依賴于某一種本地文件系統(tǒng),而是采用了獨立自主的文件系統(tǒng)設(shè)計來更好的滿足網(wǎng)絡(luò)存儲條件下的應(yīng)用需求。
因為泛指的“文件系統(tǒng)”本身是滿足特定應(yīng)用需求而存在于發(fā)展的技術(shù)環(huán)境中的,而傳統(tǒng)的本地文件系統(tǒng)的設(shè)計,大多數(shù)未能滿足需求和技術(shù)環(huán)境的發(fā)展,例如:不支持兩臺主機(jī)同時讀寫同一塊磁盤、32位條件下支持卷大小的限制、只能支持單卷或?qū)Χ嗑碇С植槐M如人意、只能支持主板總線與SAS等可靠的物理連接對于IP SAN這類半可靠連接時不時變成只讀等等。
采用“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”只是解決了“不支持兩臺主機(jī)同時讀寫同一塊磁盤”這一個問題,而采用獨立的文件系統(tǒng)的好處主要是更好的滿足了需求而順應(yīng)了技術(shù)環(huán)境的發(fā)展,對應(yīng)用帶來的好處主要有如下這幾點:
1、SAN文件系統(tǒng)擺脫了本地文件系統(tǒng)的固有容量限制。
例如32 位windows操作系統(tǒng)下單個盤符2T容量的限制,在這種情況下如果32T盤就需要有16個盤符之多,使用與維護(hù)均不方便,有的項目中A-Z的英文字母都快被用完。有的方案中也采用某些方式加以破解容量限制,但在沒有廠商支持的情況下需要冒相當(dāng)大的風(fēng)險,曾經(jīng)出現(xiàn)過擴(kuò)容后不穩(wěn)定,造成數(shù)據(jù)丟失的嚴(yán)重事故。
2、SAN文件系統(tǒng)大多提供了包括高可用配置實現(xiàn)、各模塊服務(wù)、管理與監(jiān)控在內(nèi)的完整的整體解決方案。
反觀“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”大多采用多種工具松散組合的方式,以SANergy+NTFS為例,需要用到來自不同廠商的工具與技術(shù)、服務(wù)等,包括CIFS、NTFS、MSCS等多種工具松散組合,組合完以后的功能缺失問題、各個工具間配合問題、大多數(shù)工具是通用工具存在的適用性等諸多問題,這樣帶來不小維護(hù)與管理的風(fēng)險。
3、SAN文件系統(tǒng)擺脫了本地文件系統(tǒng)的固有限制,實現(xiàn)真正的跨平臺,支持包括64位windows、linux、Mac等多種操作系統(tǒng)的異構(gòu)共享。
由于現(xiàn)在滿足同一種業(yè)務(wù)可能同時用到2個以上的操作系統(tǒng),例如有客戶同時在使用windows和Mac并且在同一個FC SAN的環(huán)境中,windows這邊使用SANergy互相共享性能還不錯,但由于“SANergy+NTFS”無法同時支持Mac,所以windows 和Mac之間通過CIFS和AFP(需確認(rèn))在兩種操作系統(tǒng)間倒數(shù)據(jù)非常不方便和耗時(注意一個原理上的差別,不是SANergy這個“卷共享軟件”不支持Mac,而是“SANergy+NTFS”不支持Mac。)。采用了SAN文件系統(tǒng)以后就解決了這個問題。
4、SAN文件系統(tǒng)對多卷的支持帶來很大的性能提升空間和安全保障,這也是不少廠商放棄卷共享軟件而轉(zhuǎn)向SAN文件系統(tǒng)的重要原因。
本地文件系統(tǒng)大多只支持單卷,所以性能提升空間就很有限,也限制了“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”這種方式的應(yīng)用規(guī)模。就絕大多數(shù)的盤陣產(chǎn)品所支持的功能來看,一個卷只能來自于一個Raid組,而一個Raid組的性能提升空間是有限的(Raid組如果越大硬盤數(shù)量越多看起來性能帶寬應(yīng)該是越大才對,但實際上隨著Raid組容量增大所需要承載的并發(fā)訪問量也就越大,所面臨的就是并發(fā)訪問量增加帶來的隨機(jī)性壓力問題反而可能使Raid組性能下降)。
而SAN文件系統(tǒng)支持多卷,多卷可以來自多個Raid組甚至多個設(shè)備,這樣多卷磁盤輪動效應(yīng)會帶來更大的性能提升空間,另外在線擴(kuò)容等高級功能,不支持多卷也是能難實現(xiàn)的。更重要的是從安全角度看,支持多卷多Raid以后,每個Raid組的大小就可以相對小,如果硬盤出問題,Raid組Rebuild的時間就會明顯縮短(現(xiàn)在比較新的中端盤陣,在訪問壓力較小的情況下,15塊1T盤Raid5的Rebuild時間大致是 16個小時左右,如果是老設(shè)備、或者訪問壓力大、或者2T盤這種更大容量的時候Rebuild時間就會再增加很多;反而如果是做小的Raid,比如3組5 塊1T盤Raid5的Rebuild時間大致只有大Raid的1/4左右),而且即便考慮極端情況一個Raid組壞掉也只是影響部分?jǐn)?shù)據(jù)(而且高端的 SAN文件系統(tǒng)還有鏡象實時容災(zāi)解決方案),而“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”模式下如果Raid很大Rebuild的時間長數(shù)據(jù)丟失的風(fēng)險就明顯大了很多,并且Raid組壞掉所有數(shù)據(jù)會全部丟失(很多數(shù)據(jù)丟失就是在Rebuild未完成之前又掉盤造成的)。
只支持單卷所帶來的“性能提升空間小和安全風(fēng)險大”是“卷共享軟件+本地文件系統(tǒng)”方式為什么很少用在中高端上規(guī)模應(yīng)用中的核心原因之一,相信也是不少廠商放棄卷共享軟件而轉(zhuǎn)向SAN文件系統(tǒng)的重要原因。
采用本地文件系統(tǒng)的好處主要是配套工具相對比較成熟。
“卷共享軟件+傳統(tǒng)的本地文件系統(tǒng)”方式也有其獨特的優(yōu)勢,本地文件系統(tǒng)配套工具相對比較成熟完善,例如磁盤碎片分析與整理工具,數(shù)據(jù)恢復(fù)工具等;在早期,“SAN文件系統(tǒng)”這些方面比較薄弱,現(xiàn)在大都得到了解決,成熟產(chǎn)品都提供了類似工具。
卷共享軟件和SAN文件系統(tǒng)典型產(chǎn)品的歷史與發(fā)展
1 卷共享軟件典型代表主要有IBM公司的SANergy和Rorke Data公司的Imagesan。
1.1 IBM Tivoli SANergy:
IBM的SANergy源于收購,Tivoli Systems, Inc.由Bob Fabbio, Todd Smith, Steven Marcie 和 Peter Valdes創(chuàng)建于1989年,是一家管理解決方案軟件解決方案提供商,其口號是“Intelligent management software for the on demand world.”。 IBM在1996年收購了Tivoli Systems, Inc.。Tivoli SANergy作為Tivoli存儲管理產(chǎn)品線的重要組成部分也成為了IBM的產(chǎn)品。
SANergy在90年代是一款很有創(chuàng)新性的產(chǎn)品,在Tivoli和IBM的推動下作為Tivoli存儲管理產(chǎn)品的基礎(chǔ)支撐平臺,90年代和2000年代初在國外得到了相對廣泛的應(yīng)用;在國內(nèi)由于缺乏原廠商支持應(yīng)用相對較少,只在非編等極少數(shù)應(yīng)用領(lǐng)域盜版SANergy使用較多。到2000年代初隨著技術(shù)的發(fā)展,由于前面提到的問題,卷共享軟件越來越滿足不了需求,IBM逐漸把重心放到新一代SAN文件系統(tǒng)IBM TotalStorage SAN File System(SFS)上來,而最終放棄了SANergy,后續(xù)也不會繼續(xù)開發(fā)和維護(hù)SANergy了。
1.2 Rorke Data Imagesan
Rorke Data國內(nèi)翻譯叫柏科數(shù)據(jù)是一家具有25年歷史的數(shù)據(jù)存儲廠商與解決方案提供商。在2000年代初的2002年左右,Rorke Data推出了一款在當(dāng)時很有市場影響力的卷共享軟件產(chǎn)品Imagesan。Imagesan雖然也是需要依托并配合本地文件系統(tǒng)(支持NTFS或 HFS)才能正常工作的“卷共享軟件”,但I(xiàn)magesan比SANergy的一個優(yōu)勢就是對于客戶端來看到的是“一塊磁盤”而不是一個“網(wǎng)絡(luò)文件夾”,這樣就能夠?qū)崿F(xiàn)客戶端的二次共享功能。這樣就更加方便了用戶,增加了方案的靈活度。
據(jù)說ImageSAN在北美做得還是不錯的,但感覺 ImageSAN在國內(nèi)做得一般、案例比較少,尤其是大型網(wǎng)絡(luò)系統(tǒng)中很少用到ImageSAN,非廣電行業(yè)對ImageSAN聽得就更少了。由于 Imagesan依然存在“卷共享軟件”所固有的技術(shù)制約,到2010年左右,Rorke Data放棄了“卷共享軟件”轉(zhuǎn)向“SAN文件系統(tǒng)”開始采用美國飛康的HyperFS,推出一款新的硬件整合型產(chǎn)品“HyperDrive”,2臺 Aurora RAID配合HyperDrive能提供6GB/s的巨大帶寬,在數(shù)字媒體應(yīng)用領(lǐng)域取得了相當(dāng)大的成功。
2 SAN文件系統(tǒng)的典型代表主要有昆騰公司的StornextFS、中科藍(lán)鯨公司的BWFS、飛康公司的HyperFS、IBM公司的SFS。
2.1 昆騰SNFS(StornextFS)
昆騰(Quantum)的SNFS(StornextFS)同樣源自收購。SNFS原來的名稱是CVFS(CentraVision File System)是MGISC(MountainGate Imaging Systems Corporation)的產(chǎn)品主要只用在Windows 和IRIX之間的文件共享交換。
在上個世紀(jì)末國內(nèi)用戶比較熟悉的ADIC(Advanced Digital Information Corporation)收購了它并更名為現(xiàn)在的Stornext File System,還加入了Solaris、Linux、Mac等更多的操作系統(tǒng)支持,可以說是ADIC把SNFS真正發(fā)揚光大廣泛應(yīng)用的,更重要的是SNFS在ADIC時期由亞細(xì)亞智業(yè)(也就是現(xiàn)在的火星科技Mars)首先引入國內(nèi)并在遙感、廣電等行業(yè)得到了廣泛的應(yīng)用,到2006年8月昆騰收購了ADIC獲得了SNFS。SNFS 最輝煌的時候占SAN文件系統(tǒng)市場份額,高達(dá)80%-90%,基本上處于壟斷的地位(直到出現(xiàn)后面的幾位競爭對手),尤其是在國內(nèi)在當(dāng)時用戶基本沒有太多別的選擇。
現(xiàn)在StornextFS的最新版本是4.X,據(jù)說后續(xù)還會推出基于StornextFS的SAN文件系統(tǒng)硬件整合產(chǎn)品——“SNi”,把StornextFS SAN文件系統(tǒng)集成到硬件當(dāng)中是什么效果,還是比較值得期待的。
2.2 中科藍(lán)鯨BWFS
中科藍(lán)鯨的BWFS(Blue Whale Clustered File System)是源自中國科學(xué)院計算技術(shù)研究所的科研成果,受到863、973等科研計劃的支持,是現(xiàn)在市場上Stornext的最主要競爭對手。
1997年國家科學(xué)技術(shù)委員會組建國家高性能計算機(jī)工程技術(shù)研究中心NRCHPC,是計算機(jī)領(lǐng)域兩個國家級工程中心之一,以高性能計算和存儲做為主要研究方向,啟動存儲研究;1999年根據(jù)中科院計算所對所內(nèi)研究中心方向的整體部署,NCIC專注高性能計算,NRCHPC研究方向作出戰(zhàn)略調(diào)整,全部精力轉(zhuǎn)移到制約高性能計算效率的高性能海量存儲相關(guān)技術(shù)研究上;2002年以BWFS為代表的藍(lán)鯨系列產(chǎn)品,產(chǎn)品化成功,藍(lán)鯨技術(shù)走出實驗室,在實際生產(chǎn)中處取得成功;2005年以藍(lán)鯨存儲相關(guān)產(chǎn)品在市場上的成功為基礎(chǔ),計算所成立全資控股的藍(lán)鯨存儲種子孵化公司中科儲天公司,并把BWFS與相關(guān)的知識產(chǎn)權(quán)注入中科儲天公司;2007年在科學(xué)院與天津市院地合作背景下,做為院地合作二期示范項目,成立天津中科藍(lán)鯨公司,把BWFS藍(lán)鯨集群文件系統(tǒng)也轉(zhuǎn)入了中科藍(lán)鯨公司。
2008年BWFS以較大技術(shù)優(yōu)勢進(jìn)入數(shù)字媒體領(lǐng)域,在這個細(xì)分市場獲得廣泛應(yīng)用。2009年BWFS進(jìn)入國際市場,成功應(yīng)用于北美、南美、歐洲等地諸多項目。
BWFS經(jīng)過近10年的磨練現(xiàn)在發(fā)展到5.X版本,獲得過國防科工和兵器工業(yè)科技進(jìn)步等獎項,除了在一些重大項目中起到打破國外廠商壟斷解決卡脖子問題以外BWFS作為國家重點新產(chǎn)品計劃項目,在通用市場上BWFS以其創(chuàng)新的體系結(jié)構(gòu)和值得信賴的產(chǎn)品品質(zhì)已經(jīng)在媒體數(shù)據(jù)編輯與媒資管理、視頻監(jiān)控、流媒體播出、影視后期制作、勘探數(shù)據(jù)計算與分析、遙感信息處理、科學(xué)計算、電子政務(wù)等領(lǐng)域獲得廣泛應(yīng)用。
并且中科藍(lán)鯨還推出了基于BWFS的SAN文件系統(tǒng)硬件整合產(chǎn)品線藍(lán)鯨集群存儲BWStor,BWStor CSA整合了MDC服務(wù)器、BWStor BW系列整合了存儲設(shè)備,尤其在2010年BIRTV上發(fā)布的BWStor BW2000,由于BW2000整合了BWFS到雙控標(biāo)準(zhǔn)iSCSI設(shè)備中所以具有BWFS的多數(shù)優(yōu)秀特征,在解決卷共享軟件(例如SANergy)的諸多問題方面,例如支持Win7、支持新的64位操作系統(tǒng)、解決2T容量限制、以及卷共享軟件的安全風(fēng)險等方面都做得相當(dāng)不錯,很受用戶好評,常被用于替代或升級卷共享軟件管理下的SAN網(wǎng)絡(luò),例如用于原有非編制作網(wǎng)SANergy升級項目。
2.3 飛康HyperFS
HyperFS是由美國飛康軟件2008年推出的產(chǎn)品,HyperFS雖然推出時間較短,但應(yīng)用已經(jīng)比較廣泛;已經(jīng)得到了Media and Entertainment Conglomerate等諸多重要用戶的青睞;并且前面已經(jīng)提到過Rorke Data也放棄了卷共享軟件轉(zhuǎn)而采用HyperFS這個SAN文件系統(tǒng)產(chǎn)品與其Aurora RAID配合組建HyperDrive。另外飛康還與SeaChange宣布簽署策略O(shè)EM結(jié)盟協(xié)議,SeaChange整合FalconStor HyperFS文件系統(tǒng)至新款SeaChange Universal MEdiaLibrary中。
HyperFS提供了一個高效能、高延展性的文件系統(tǒng),適用于產(chǎn)生密集大型檔案資料的相關(guān)應(yīng)用。 HyperFS 文件系統(tǒng)可以簡化大型檔案的管理,透過全域儲存池同時提供高速、低延遲的檔案存取,滿足媒體和娛樂市場應(yīng)用的要求。借著HyperFS文件系統(tǒng),即使是最困難的效能和延展性挑戰(zhàn),都能夠用經(jīng)濟(jì)實惠、迅速的方式輕松解決。視訊和串流作業(yè)流程得以快速執(zhí)行,用戶可以更有效的分享資料,儲存管理也不再是負(fù)擔(dān)。
藉由提供單一全局命名空間(global name space),HyperFS 能夠優(yōu)化儲存效能,提供超過100 petabytes 易于延展的儲存容量,和數(shù)個gigabyte的傳輸頻寬。它支援大量的資料集(data sets),單一檔案可以大到32TB,以及異質(zhì)多使用者的同步存取。HyperFS文件系統(tǒng)可以在任何儲存硬體上執(zhí)行,提供儲存子系統(tǒng)充分的獨立性,并且支援Mac OS X、Microsoft Windows 和Linux 的用戶端。 結(jié)合卓越的技術(shù)支援和彈性的部署方式,HyperFS 文件系統(tǒng)是最理想的解決方案,滿足媒體和娛樂工業(yè)對視訊和串流相關(guān)應(yīng)用工作流程的眾多要求。可同時提供數(shù)百個高畫質(zhì)(high-definition, HD)和數(shù)千個標(biāo)準(zhǔn)(standard-definition, SD)的視訊串流應(yīng)用。
2.4 IBM TotalStorage SAN File System(簡稱SFS或SanFS)
TotalStorage SAN File System。在前面提到過在2000年代初隨著技術(shù)的發(fā)展,由于卷共享軟件SANergy越來越滿足不了需求,IBM逐漸把重心放到新一代SAN文件系統(tǒng)IBM TotalStorage SAN File System(簡稱SFS或SanFS)上來。SFS采用了先進(jìn)的典型SAN文件系統(tǒng)架構(gòu),采用SAN作為整個文件系統(tǒng)的數(shù)據(jù)存儲和傳輸路徑,采用帶外 (out-of-band)結(jié)構(gòu),將文件系統(tǒng)原數(shù)據(jù)在高速以太網(wǎng)上傳輸,由專門的原數(shù)據(jù)服務(wù)器(MDS)來處理和存儲。
SFS采用了基于策略的文件數(shù)據(jù)位置選擇方法,能有效地利用系統(tǒng)的資源,提高性能,降低成本。SFS與SVC(IBM TotalStorage SAN Volume Controller)一道被譽為IBM隨需應(yīng)變信息戰(zhàn)略的重要基石——存儲虛擬化的兩大法寶。到2007年4月20日,SFS被IBM放棄掉了,止步于 2.2.3版本,取而代之的是同一時期另一條產(chǎn)品線的產(chǎn)品General Parallel File System (GPFS),GPFS也是一款優(yōu)秀的產(chǎn)品,但其并不支持FC SAN直聯(lián)客戶端這一重要功能。
隨著應(yīng)用需求的發(fā)展,大家都會遇到各種各樣的關(guān)于卷共享軟件和SAN文件系統(tǒng)方面的問題,非常歡迎業(yè)界的朋友與筆者共同探討有關(guān)存儲問題。