目前,計算機業(yè)正在進入一場新的革命?SAN。這場革命被新的光纖通道技術(Fibre Channel)催進著飛快發(fā)展。其中包括光纖集線器,交換機技術,全新的存儲區(qū)域網(Storage Area Network: SAN)概念。
在某種意義上，這些技術可以被簡單地想象成一個與目前流行的網絡結構沒有什么本質的區(qū)別,不過是通過光纖通道提高了系統(tǒng)訪問磁盤陣列的速度。但是，如果從另一個角度來看，這項技術給海量衛(wèi)星圖像、遙感數(shù)據(jù)存儲與分析提供了新的解決方案??SAN智能存儲解決方案。
科研行業(yè)應用，特別是衛(wèi)星圖像、遙感數(shù)據(jù)存儲與分析的基礎是，存儲系統(tǒng)能夠提供海量數(shù)據(jù)的文件存儲和管理，同時能夠解決多臺服務器并發(fā)訪問和分析同一份數(shù)據(jù)的問題。SAN集中存儲平臺為海量數(shù)據(jù)的存儲與管理提供了基礎架構平臺，包括光纖交換機、海量磁盤陣列、智能磁帶庫等硬件存儲設備，而實現(xiàn)智能存儲還需要SAN存儲軟件系統(tǒng)，主要包括兩部分SAN共享文件系統(tǒng)、分層存儲管理系統(tǒng)。下面的章節(jié)，我們將詳細介紹如何為科研行業(yè)應用建立一個智能存儲系統(tǒng)，包括存儲硬件平臺和軟件存儲管理平臺。
智能存儲架構
智能存儲架構包括如下內容：光纖交換機、海量磁盤陣列、智能磁帶庫等硬件存儲設備，能夠實現(xiàn)SAN文件系統(tǒng)共享和分層存儲管理的存儲軟件管理系統(tǒng)。智能存儲架構如下圖所示。
負責衛(wèi)星圖像遙感數(shù)據(jù)存儲和分析的服務器，可以共享存儲和訪問磁盤陣列上的同一個文件。磁盤陣列上存儲著應用經常訪問的文件數(shù)據(jù)，不經常訪問的數(shù)據(jù)由存儲軟件“透明”遷移到磁帶庫上存儲，同時存儲軟件還能實現(xiàn)數(shù)據(jù)備份的功能。
SAN存儲架構的實現(xiàn)
SAN是目前最成熟的集中存儲系統(tǒng)，通過使用光纖存儲交換機將存儲設備（磁盤陣列、磁帶庫等）和主機系統(tǒng)通過光纖連接起來，SAN和傳統(tǒng)的SCSI存儲架構相比能夠為應用、數(shù)據(jù)庫和文件訪問均提供更高的性能，具有更強的擴展性。一直以來，SAN系統(tǒng)的投資較高問題成為很多中小企業(yè)采用SAN的阻礙，但是現(xiàn)在SAN的投資成本已大幅降低，近兩年，越來越多的企業(yè)開始轉向使用SAN系統(tǒng)。
SAN存儲架構包括：光纖通道交換機、高性能海量磁盤陣列、智能磁帶庫。
在SAN系統(tǒng)中，各服務器、磁帶庫、磁盤陣列通過兩個光纖交換機連接成一個SAN的結構。通過為每個服務器配置一個光纖主機適配器（HBA卡），可以將應用服務器和備份服務器通過不同的光纖交換機連接到SAN環(huán)境。關鍵的應用服務器需要考慮使用冗余通道，通道的冗余不僅提高了應用服務器訪問存儲設備的性能，同時也提高了對存儲在SAN存儲設備上關鍵數(shù)據(jù)的可訪問性。所有需要實現(xiàn)冗余路徑的應用服務器通過配置兩個光纖主機適配器，分別連接到兩個不同的交換機。新的服務器也可以采用同樣的方式連接到SAN環(huán)境。
光纖通道交換機
光纖通道交換機是構架SAN存儲網絡的關鍵設備，其數(shù)據(jù)交換性能、產品的安全性和可靠性直接決定著SAN存儲架構的安全性和可靠性。應該選擇主流光纖交換機產品，Brocade或Mcdata交換機在SAN架構中的市場占用率較高，技術比較成熟，因此建議選用Brocade或Mcdata交換機構架存儲局域網。方案推薦使用兩臺交換機，兩臺交換機互相作冗余備份。對于冗余要求不高的主機，也可以僅連接單臺交換機，不使用冗余路徑。
主機光纖通道卡（HBA卡）是主機和SAN光纖交換機的連接器件，按照標書要求，光纖陣列卡的選型由系統(tǒng)集成商和用戶商定。根據(jù)我們的經驗，可以選擇QLOGIC、ADEPTEC、JNI、EMULEX等廠商的產品，也可以選擇服務器配套的HBA（光纖通道卡）。所選擇的HBA卡必須與主機、磁盤陣列、光纖交換機等完全兼容。同時應該選擇2Gb/s產品以保證性能。
高性能海量磁盤陣列
在SAN存儲架構中，磁盤陣列系統(tǒng)是關鍵的數(shù)據(jù)集中存儲系統(tǒng)，磁盤陣列本身的數(shù)據(jù)吞吐量、存儲容量及其擴展性，直接決定著貴單位系統(tǒng)的整體性能。方案應選取高速的光纖結構的磁盤陣列，提供數(shù)據(jù)的海量存儲，形成SAN存儲架構，通過光纖交換機，使得各主機可以跨平臺的共享存儲設備。磁盤陣列選型應著重考慮以下幾個方面：
（1）可靠性、可用性、可維護性
（2）高性能、和容量可擴展性
（3）開放性和兼容性
智能磁帶庫
磁帶庫產品的開放型和兼容性、性能和存儲容量及其擴展性，和磁盤存儲系統(tǒng)具有同樣的重要性，它直接決定著智能存儲系統(tǒng)的性能和容量，簡單的說，就是智能存儲系統(tǒng)可以在多長時間內完成不經常使用的數(shù)據(jù)從磁盤遷移到磁帶，能夠存儲多大的數(shù)據(jù)量。這就要求磁帶庫系統(tǒng)的設計，必須符合實際應用環(huán)境數(shù)據(jù)磁帶存儲速度和數(shù)據(jù)量的需求，磁帶庫系統(tǒng)的存儲量在滿足當前需求的同時還要隨應用系統(tǒng)數(shù)據(jù)量的增長而平滑擴展，磁帶庫系統(tǒng)的讀寫速度也需符合具體業(yè)務環(huán)境的需求，既不能低于環(huán)境需求也不能過高，速度慢不能在有限的時間里完成數(shù)據(jù)存儲，速度過快是以較高的投資為代價的，不利于合理的利用IT投資。
在選擇具體磁帶庫產品廠家時，方案推薦使用美國先進數(shù)字信息公司（ADIC）公司的磁帶庫產品。ADIC是一家世界領先的專門提供數(shù)據(jù)保護、數(shù)據(jù)管理和數(shù)據(jù)訪問的開放系統(tǒng)智能化存儲解決方案供應商。ADIC公司提供滿足SAN要求的高性能磁帶庫、磁盤和磁帶庫管理軟件等產品。
軟件存儲管理平臺
負責科研、衛(wèi)星圖像、遙感數(shù)據(jù)存儲和分析的服務器，可以共享存儲和訪問磁盤陣列上的同一個文件。磁盤陣列上存儲著應用經常訪問的文件數(shù)據(jù)，不經常訪問的數(shù)據(jù)由存儲軟件“透明”遷移到磁帶庫上存儲，同時還需實現(xiàn)數(shù)據(jù)備份的功能。下面就將介紹存儲軟件系統(tǒng)。包括三方面內容：SAN共享文件系統(tǒng)、分層存儲管理系統(tǒng)和數(shù)據(jù)備份系統(tǒng)。SAN共享文件系統(tǒng)，實現(xiàn)SAN存儲架構下的文件多主機共享；分層存儲管理系統(tǒng)，則實現(xiàn)不經常訪問的文件遷移到磁帶和數(shù)據(jù)多版本備份的功能。
SAN共享文件系統(tǒng)
SAN共享文件系統(tǒng)能夠使多個主機服務器通過SAN同時對數(shù)據(jù)進行訪問，實現(xiàn)了數(shù)據(jù)訪問的高性能。SAN共享文件系統(tǒng)使得存儲管理服務器可以與應用服務器運行在不同的服務器上，甚至可以運行在不同操作系統(tǒng)平臺的服務器上，當應用需要增加服務器的性能時，可以在原有服務器的基礎上進行擴容，也可以增加新的服務器運行新的應用，提高了整個系統(tǒng)的可伸縮性。
目前主流的SAN共享文件系統(tǒng)軟件有三種：
（1）VERITAS Cluster File System；
（2）IBM SANergy；
（3）ADIC StorNext File System（FS）；
上述三種文件系統(tǒng)，各有各的優(yōu)勢：
VERITAS Cluster File System是群集文件系統(tǒng)，保證主機群集中的各個主機節(jié)點可以共享訪問同一個存儲空間或同一個文件。但它的局限性也很高，必須要求所有共享節(jié)點為同一操作系統(tǒng)平臺，安裝統(tǒng)一版本群集軟件，此外還有很多限制，另外，支持的操作系統(tǒng)有限，目前僅支持Solaris和HP-UX。但是由于其和存儲管理軟件結合的較緊密，文件共享讀寫性能較高，穩(wěn)定性較好。
SANergy對底層文件系統(tǒng)依賴較高，支持傳統(tǒng)的NTFS、UFS、EXT2等，產品發(fā)展受上述產品的制約，產品未來發(fā)展不明朗。SANergy采用現(xiàn)有DAS文件系統(tǒng)管理硬件，視主機平臺而定（如是Windows就是NTFS、Solaris就是UFS、Linux就是EXT2等）技術依賴其他廠商，在混合平臺之間共享數(shù)據(jù)需要采用NFS協(xié)議處理，不能滿足混合平臺、大量主機并發(fā)工作環(huán)境中的性能要求。SANergy不是日志型文件系統(tǒng)，系統(tǒng)可靠性較差。
ADIC StorNext File System （FS） 是64位日志型文件系統(tǒng)，ADIC掌握所有技術和知識產權，具有廣泛的發(fā)展?jié)摿?。StorNext FS是真正的64位文件系統(tǒng)，可以保證管理巨大的磁盤空間和文件數(shù)量，不同類型的主機可以同時以FC Direct I/O方式訪問數(shù)據(jù)，中間不需要任何協(xié)議轉換。因此，StorNext FS可以充分利用和發(fā)揮SAN體系結構的所有優(yōu)點，完全擺脫現(xiàn)有文件系統(tǒng)產品的結構束縛（現(xiàn)有文件系統(tǒng)是為DAS存儲結構設計的，不能充分發(fā)揮SAN的優(yōu)勢），特別是在混合平臺、大量主機并發(fā)工作環(huán)境中優(yōu)勢非常突出。采用日志型文件系統(tǒng)的設計,保證了系統(tǒng)的可靠性、健壯性和快速恢復能力。StorNext FS目前支持Solaris、Aix、IRIX、Linux和Windows。
綜上所述，從異構混合平臺的支持能力、文件系統(tǒng)體系結構、性能和可靠性等方面，ADIC StorNext FS會是一個很好的選擇。
分層存儲管理系統(tǒng)
科研行業(yè)數(shù)據(jù)系統(tǒng)多擁有海量數(shù)據(jù)，未來幾年數(shù)據(jù)量還將飛速增長。這些海量數(shù)據(jù)中只有少量的數(shù)據(jù)是經常被應用訪問的部分，而大量的數(shù)據(jù)都具有較低的訪問頻率，如果將這些數(shù)據(jù)都存儲在價格很高的磁盤上，則所需要的投資是巨大的。
分層存儲管理系統(tǒng)，需要實現(xiàn)的最主要的功能就是將大量不經常使用的數(shù)據(jù)存儲到較低性能，但價格低廉的存儲設備上，通常是磁帶庫系統(tǒng)。
在選擇分層存儲管理軟件時，除了考慮其本身是否能夠滿足需求外，我們重點還考慮了實現(xiàn)SAN共享文件系統(tǒng)的軟件與實現(xiàn)數(shù)據(jù)遷移的存儲管理軟件是否有機的集成在一起，以及選擇的存儲管理軟件是否支持大數(shù)據(jù)量、高訪問量的要求。
智能存儲系統(tǒng)需要保證關鍵數(shù)據(jù)始終可以訪問，并具有可靠的數(shù)據(jù)完整性，而不管有任何資源限制。方案推薦使用ADIC StorNext Storage Manager軟件，通過用戶定義的策略，StorNext SM 能夠將關鍵數(shù)據(jù)存儲在高性能介質上，將低優(yōu)先級數(shù)據(jù)存儲在較慢的介質上，從而在訪問需求和可用容量之間實現(xiàn)平衡。對于數(shù)據(jù)完整性，StorNext SM 提供了關鍵的數(shù)據(jù)保護選項，例如版本確定、文件復制和介質復制。
隨著數(shù)據(jù)量不斷增長，要求企業(yè)更好地利用存儲資源的壓力也在增長。通過使用 StorNext SM 的策略,根據(jù)隨時間推移所需的服務質量 (QoS) 級別管理磁盤和磁帶系統(tǒng)之間的數(shù)據(jù)移動，用戶可以規(guī)劃不同數(shù)據(jù)類別的整個生命周期，其結果是提供了一個可輕松地擴展，并能讓用戶以最大的靈活性和最小的中斷處理不斷增長的數(shù)據(jù)量的系統(tǒng)。
特別是，StorNext Storage Manager (StorNext SM) 能夠與 StorNext File System 配合工作，提供自動化的數(shù)據(jù)放置和保護。StorNext SM 具有一個實時策略引擎，能使企業(yè)為不同的數(shù)據(jù)類別設置預定義的服務級別。這些策略能夠隨時間推移確定將數(shù)據(jù)存儲在什么地方（RAID、ATA 磁盤或磁帶上）。具有文件復制、版本確定和離線介質管理等功能，提供增加的數(shù)據(jù)保護。結果是一個可靠的自動化系統(tǒng)，能夠為用戶帶來如下好處：
（1）釋放管理員時間
（2）優(yōu)化存儲資源利用率
（3）保護數(shù)據(jù)完整性
（4）提高數(shù)據(jù)安全性
軟件存儲平臺選型
實現(xiàn)SAN共享文件系統(tǒng)與數(shù)據(jù)遷移有多種相應的存儲管理軟件，但將具有兩種功能的存儲管理軟件實現(xiàn)有機集成卻不是每一種產品都能夠滿足的，有些還是相互排斥的。
采用日志型文件系統(tǒng)是實現(xiàn)故障快速恢復的基礎，是數(shù)據(jù)中心海量文件系統(tǒng)的最基本的要求，如IBM SANergy就不是日志型文件系統(tǒng)，因此我們不予采用。另外，海量數(shù)據(jù)的遷移，對數(shù)據(jù)保護的要求也很高，例如，分層存儲系統(tǒng)是否支持離線介質管理、支持磁帶拷貝和存儲介質遷移、文件可以同時復制到多盤磁帶中、文件可以保留多種版本，這些都是需要考慮的問題。有的文件系統(tǒng)配合使用的數(shù)據(jù)遷移軟件本身不具備數(shù)據(jù)保護的功能或者數(shù)據(jù)保護的功能不能完全滿足需求，需要其它的產品配合等，也不能采用。
考慮到上述問題，方案推薦使用ADIC StorNext Management Suite（SNMS）智能存儲管理系統(tǒng)。ADIC StorNext Management Suite（SNMS）包括兩個組件：StorNext File System（SAN共享文件系統(tǒng)）；StorNext™ Storage Manager（基于策略控制的數(shù)據(jù)存儲管理）。ADIC StorNext Management Suite（SNMS）將SAN共享文件系統(tǒng)與數(shù)據(jù)遷移，特別是數(shù)據(jù)保護技術有機的結合在一起，實現(xiàn)了智能存儲系統(tǒng)所需的各個需求的有機整合。
解決方案特點
¨ 各SAN主機高速共享訪問大型多媒體文件
¨ 優(yōu)化組合各種磁盤資源，并發(fā)訪問多個磁盤設備，使系統(tǒng)充分利用SAN的高性能
¨ 同時支持不同的主機平臺（UNIX，Linux，Windows）
¨ 支持XDSM數(shù)據(jù)管理規(guī)范
¨ 可以存儲和管理海量大型多媒體文件
¨ 支持大量SAN主機以本地I/O方式，同時訪問同一個文件
¨ 快速訪問可移動存儲介質（磁帶）當中的數(shù)據(jù)：充分發(fā)揮高速磁帶機和SAN存儲網絡的能力。
¨ 管理多級存儲空間的能力（昂貴磁盤陣列、廉價磁盤組、磁帶庫和磁帶架）
¨ 支持多種類型的磁帶機驅動器技術（LTO、AIT、3590、9×40等）
¨ 兼容IEEE MSRM V4標準
¨ 提供以下服務：
o 虛擬磁盤空間（擴展系統(tǒng)存儲空間）
o 數(shù)據(jù)復制（保證數(shù)據(jù)安全）
o 數(shù)據(jù)恢復（多版本保存、反刪除、反破壞）
o 歸檔備份（滿足一次寫，很少讀的應用）
¨ 提供訪問共享的磁帶庫和磁帶機的機制
¨ 支持不同控制類型的磁帶庫（FC、SCSI或網絡控制的ADIC Scalar和AML系列磁帶庫，以及STK公司的磁帶庫）?？梢酝瑫r管理多臺磁帶庫。
¨ 在同一個磁帶庫中管理不同類型的磁帶機和磁帶介質
¨ 支持磁帶庫的條形碼掃描功能
¨ 支持對拿出磁帶庫的磁帶介質的跟蹤和管理
綜上所述，StorNext Management Suite將SAN文件系統(tǒng)和HSM遷移系統(tǒng)在SAN環(huán)境下透明地結合在了一起，對存儲管理科研數(shù)據(jù)資料?要求長期保存、不變的數(shù)據(jù)，提供一個高效、完整的解決方案。用戶不必再拿不同廠商的產品拼湊一個有很多潛在問題的解決方案（各產品間的兼容、升級、性能等等）。
同有科研行業(yè)客戶案例
1. 中國科學院地理科學與資源數(shù)據(jù)中心
2. 中國科學院電子研究所
3. 電子科技集團第38研究所
4. 電子科技集團第28研究所
5. 電子科技集團第29研究所
