中國科學院地理科學與資源研究所的資源環(huán)境數(shù)據(jù)檔案庫系統(tǒng)項目的目的是建立國家資源環(huán)境數(shù)據(jù)檔案庫系統(tǒng),以存儲及管理我國資源環(huán)境有關(guān)的數(shù)據(jù),具體目標是海量資源環(huán)境數(shù)據(jù)檔案存儲和備份,并在應(yīng)用系統(tǒng)的支持下支持數(shù)據(jù)的查詢檢索及數(shù)據(jù)的開發(fā)應(yīng)用。
系統(tǒng)需求:
為了滿足應(yīng)用系統(tǒng)對存儲系統(tǒng)的要求,設(shè)計方案需要實現(xiàn)下面幾個方面:
l 硬件方面:
a) 大容量、高性能的磁盤存儲系統(tǒng)(30TB)
b) 超大容量、高性能磁帶存儲系統(tǒng)(300TB,并可進一步擴展)
c) 管理和應(yīng)用服務(wù)器
d) SAN連接設(shè)備
l 軟件方面
a) 存儲系統(tǒng)要求實現(xiàn)SAN下文件共享,使得多個異構(gòu)平臺主機能夠通過SAN同時快速訪問存儲設(shè)備中的同一個文件,
b) 實現(xiàn)數(shù)據(jù)遷移功能,降低存儲總體成本。采用分級存儲的方式將大部分的數(shù)據(jù)從價格昂貴的磁盤存儲系統(tǒng)上遷移至價格便宜的大容量磁帶存儲系統(tǒng)上,而同時不影響使用的性能。
c) 另外,存儲系統(tǒng)應(yīng)當具有對存儲在磁盤和磁帶存儲系統(tǒng)上的應(yīng)用數(shù)據(jù)完善的保護功能,并能夠方便地進行數(shù)據(jù)恢復(fù)。
解決方案描述:
本設(shè)計方案選擇了ADIC StorNext Management Suite(簡稱SNMS)來實現(xiàn)存儲系統(tǒng)中的SAN下文件共享和數(shù)據(jù)遷移,磁盤存儲系統(tǒng)選用兩套HDS Thunder 9200,磁帶存儲系統(tǒng)選用 ADIC Scalar 10K磁帶庫,存儲服務(wù)器和數(shù)據(jù)庫服務(wù)器均是SUN Fire V880服務(wù)器,數(shù)據(jù)庫產(chǎn)品為Oracle 9i數(shù)據(jù)庫管理系統(tǒng),還為Oracle9i RAC配置了系統(tǒng)高可用性管理軟件??VERITAS Database Edition / Advanced Cluster Server for Oracle 9i RAC。兩臺Brocade Silkworm 3200光纖交換機形成全冗余的SAN連接。
解決方案主要實現(xiàn)兩部分的功能:
1.構(gòu)建SAN共享文件系統(tǒng)
l 提高系統(tǒng)的可伸縮性
SAN共享文件系統(tǒng)能夠使多個主機服務(wù)器通過SAN同時對數(shù)據(jù)進行訪問,實現(xiàn)了數(shù)據(jù)訪問的高性能。如果采用傳統(tǒng)的結(jié)構(gòu),則存儲管理(數(shù)據(jù)遷移等)與應(yīng)用(數(shù)據(jù)庫系統(tǒng))必須運行在同一個服務(wù)器上,這就會對服務(wù)器提出更高的性能要求,SAN共享文件系統(tǒng)使得存儲管理服務(wù)器可以與應(yīng)用服務(wù)器運行在不同的服務(wù)器上,甚至可以運行在不同操作系統(tǒng)平臺的服務(wù)器上,當應(yīng)用需要增加服務(wù)器的性能時,可以在原有服務(wù)器的基礎(chǔ)上進行擴容,也可以增加新的服務(wù)器運行新的應(yīng)用,提高了整個系統(tǒng)的可伸縮性。
l 支持異種開發(fā)平臺與資源環(huán)境檔案庫共享數(shù)據(jù)
由于有許多應(yīng)用基于資源數(shù)據(jù)檔案庫系統(tǒng)進行開發(fā)或需要使用資源環(huán)境數(shù)據(jù)檔案庫的數(shù)據(jù),這些開發(fā)的平臺有些是Windows環(huán)境,有些是UNIX環(huán)境,如果基于傳統(tǒng)的模式,只能通過LAN對數(shù)據(jù)進行訪問,或在同一臺服務(wù)器上進行開發(fā)。如果通過LAN(或使用NAS服務(wù)器方式),不僅會降低數(shù)據(jù)訪問的速度,還會給已經(jīng)有很重負荷的LAN造成更多的負荷,同時也會降低開發(fā)的效率。如果在同一臺服務(wù)器上開發(fā)就會極大地限制應(yīng)用開發(fā),同時開發(fā)系統(tǒng)與應(yīng)用系統(tǒng)在一個服務(wù)器上進行也對對應(yīng)用的性能與可靠性造成不利的影響。
2.實現(xiàn)數(shù)據(jù)遷移的意義
數(shù)據(jù)遷移是將大量不經(jīng)常使用的數(shù)據(jù)存儲到較低性能但價格低廉的存儲設(shè)備上,通常是磁帶庫系統(tǒng)。資源環(huán)境數(shù)據(jù)檔案庫擁有400TB海量數(shù)據(jù),其中只有少量的數(shù)據(jù)是經(jīng)常被應(yīng)用訪問的部分,這包括存放在數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù),而大量的數(shù)據(jù)都具有較低的訪問頻率,如果將這些數(shù)據(jù)都存儲在價格很高的磁盤上,則所需要的投資是巨大的。當然,還需要考慮容量能夠滿足400TB的磁盤存儲系統(tǒng)需要多少套高檔的磁盤陣列,而這么多的磁盤陣列又如何管理的問題。