• 首先，x86及其兼容的處理器在過(guò)去的發(fā)展中不斷占有更大的市場(chǎng)份額，逐漸形成了壓倒性?xún)?yōu)勢(shì)；


• Linux操作系統(tǒng)不斷蠶食其它操作系統(tǒng)的市場(chǎng)，已經(jīng)成為HPC中的“標(biāo)準(zhǔn)”系統(tǒng)選擇；


• 工業(yè)應(yīng)用已經(jīng)成為主體應(yīng)用，這表明了HPC應(yīng)用需求和應(yīng)用技術(shù)越來(lái)越旺盛和成熟。其中，數(shù)據(jù)處理成為核心問(wèn)題，如在地球物理、大氣氣象、生物信息等領(lǐng)域。微軟在HPC領(lǐng)域的推動(dòng)是這方面的明證，值得充分重視；


• 經(jīng)過(guò)長(zhǎng)時(shí)間的發(fā)展，集群系統(tǒng)結(jié)構(gòu)已經(jīng)成為主流結(jié)構(gòu)，具有壓倒性?xún)?yōu)勢(shì)；


• 千兆以太網(wǎng)技術(shù)已經(jīng)成為發(fā)展互聯(lián)技術(shù)的首選，占有了近于一半的市場(chǎng)份額。隨著萬(wàn)兆以太網(wǎng)的推廣，以太網(wǎng)作為互聯(lián)技術(shù)值得密切關(guān)注；


• 隨著硬件成本的迅速降低，系統(tǒng)規(guī)模越來(lái)越大，數(shù)百個(gè)計(jì)算節(jié)點(diǎn)的系統(tǒng)已經(jīng)司空見(jiàn)慣。

    二、存儲(chǔ)技術(shù)的發(fā)展趨勢(shì)
  
    由于高性能計(jì)算依然會(huì)持續(xù)發(fā)展，這些發(fā)展趨勢(shì)在一定時(shí)間內(nèi)也依然會(huì)不斷持續(xù)。在應(yīng)用需求和應(yīng)用技術(shù)日益成熟的今天，這些發(fā)展趨勢(shì)對(duì)于中高端存儲(chǔ)技術(shù)的發(fā)展，提出了重要的影響和更高的需求。下面，我們針對(duì)相關(guān)發(fā)展趨勢(shì)，分析其影響所在。
   
    應(yīng)用領(lǐng)域日趨廣泛，特別是在各種工業(yè)應(yīng)用領(lǐng)域，發(fā)展尤為迅速。其中，在地球物理、半導(dǎo)體、大氣氣象等以數(shù)據(jù)處理為核心的應(yīng)用領(lǐng)域迅速崛起。高性能計(jì)算的日益成熟與數(shù)據(jù)處理的巨大需求，直接推動(dòng)了面向高性能計(jì)算的存儲(chǔ)系統(tǒng)發(fā)展。在應(yīng)用技術(shù)日益成熟的今天，應(yīng)用系統(tǒng)與存儲(chǔ)系統(tǒng)的持續(xù)、可集成性需求也日益強(qiáng)烈。IP/以太網(wǎng)絡(luò)技術(shù)的開(kāi)放性和可集成性成為IP網(wǎng)絡(luò)存儲(chǔ)技術(shù)發(fā)展的直接推動(dòng)力。
   
    集群系統(tǒng)：針對(duì)集群系統(tǒng)技術(shù)日益成熟，并成為主流的現(xiàn)狀，對(duì)于集群文件系統(tǒng)的需求日益強(qiáng)勁。集群文件系統(tǒng)應(yīng)該具備可以支持大規(guī)模數(shù)據(jù)的有效傳輸，支持多計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)有效共享。此外，計(jì)算節(jié)點(diǎn)的重復(fù)安裝、配置等管理工作降低了集群系統(tǒng)的使用效率。因此，以存儲(chǔ)為中心的集群系統(tǒng)高效管理技術(shù)已經(jīng)成為研發(fā)熱點(diǎn)。
   
    以太網(wǎng)技術(shù)作為互聯(lián)技術(shù)已經(jīng)成為高性能計(jì)算的主流技術(shù)（占49.8%），而且其比例仍然在擴(kuò)大。一方面，說(shuō)明了以太網(wǎng)技術(shù)的日益成熟（包括聚合帶寬、單端口帶寬和成本、技術(shù)集成度等）；另一方面，說(shuō)明了即使在高性能計(jì)算領(lǐng)域，用戶(hù)對(duì)于系統(tǒng)成本（包括采購(gòu)、管理和運(yùn)營(yíng)）也是較為敏感的。這同樣將會(huì)影響存儲(chǔ)技術(shù)的選擇，特別是在存儲(chǔ)系統(tǒng)成本，在整個(gè)系統(tǒng)成本中的所占比例日漸提高的今天。若將互聯(lián)網(wǎng)絡(luò)技術(shù)與存儲(chǔ)網(wǎng)絡(luò)技術(shù)統(tǒng)一，勢(shì)必將大大降低系統(tǒng)總體成本，提高整體系統(tǒng)的集成度。IP/以太網(wǎng)絡(luò)技術(shù)的成熟程度，特別是其開(kāi)放性和可集成性使得IP網(wǎng)絡(luò)存儲(chǔ)技術(shù)具有特殊的誘惑力。
   
    大規(guī)模系統(tǒng)：隨著軟、硬件成本的下降，計(jì)算設(shè)備數(shù)量日益增加，動(dòng)輒數(shù)十乃至于數(shù)百臺(tái)服務(wù)器的計(jì)算環(huán)境已為常見(jiàn)。由此出現(xiàn)以下一些問(wèn)題：

• 計(jì)算機(jī)數(shù)量的增加，不僅導(dǎo)致計(jì)算系統(tǒng)本身能耗過(guò)高，而且相應(yīng)機(jī)房制冷設(shè)備的能耗也同比例增長(zhǎng)。與數(shù)量的增加相反，計(jì)算機(jī)的利用效率反而不斷降低。這種高昂成本和低利用率，不僅限制了現(xiàn)有規(guī)模系統(tǒng)應(yīng)用領(lǐng)域的進(jìn)一步拓展，而且限制了計(jì)算機(jī)系統(tǒng)規(guī)模的持續(xù)增加。這直接引發(fā)了存儲(chǔ)與計(jì)算分離技術(shù)，和以此為基礎(chǔ)的計(jì)算資源部署技術(shù)的發(fā)展。通過(guò)兩者的分離，有效地將計(jì)算設(shè)備資源化，并且按照需求調(diào)度計(jì)算資源，從而大大提高計(jì)算資源的利用率，降低對(duì)計(jì)算資源總體數(shù)量的需求。


• 計(jì)算機(jī)管理問(wèn)題越發(fā)嚴(yán)重。計(jì)算機(jī)的安裝、配置、維護(hù)成本，已經(jīng)成為不可忽視的成本組成部分。為了解決系統(tǒng)管理與維護(hù)問(wèn)題，以存儲(chǔ)與計(jì)算分離技術(shù)為基礎(chǔ)的層疊式快照和虛擬共享存儲(chǔ)卷管理等多種存儲(chǔ)核心技術(shù)，以及相關(guān)的備份和恢復(fù)技術(shù)迅速崛起。


• 數(shù)據(jù)通道已經(jīng)成為瓶頸。數(shù)量眾多的計(jì)算節(jié)點(diǎn)、高并發(fā)的數(shù)據(jù)訪(fǎng)問(wèn)，勢(shì)必給存儲(chǔ)系統(tǒng)帶來(lái)極高的壓力，從而要求存儲(chǔ)網(wǎng)絡(luò)及存儲(chǔ)系統(tǒng)可以滿(mǎn)足聚合高效率、高帶寬的數(shù)據(jù)訪(fǎng)問(wèn)需求。高聚合帶寬的需求，直接推動(dòng)了集群存儲(chǔ)技術(shù)的發(fā)展。此外，IP/以太網(wǎng)絡(luò)技術(shù)的成熟程度和其高聚合帶寬的優(yōu)勢(shì)，使能了IP存儲(chǔ)技術(shù)的發(fā)展。隨著萬(wàn)兆以太網(wǎng)絡(luò)的普及，將一定程度上解決以太網(wǎng)絡(luò)單端口帶寬低的問(wèn)題，并進(jìn)一步強(qiáng)化IP網(wǎng)絡(luò)高聚合帶寬的優(yōu)勢(shì)。


• 數(shù)據(jù)量日漸龐大。眾多的計(jì)算節(jié)點(diǎn)具有巨大的數(shù)據(jù)處理能力，如地球物理、大氣氣象、遙感信息等相關(guān)應(yīng)用領(lǐng)域，數(shù)據(jù)量巨大。這些需求，要求存儲(chǔ)系統(tǒng)能夠提供巨大的存儲(chǔ)容量和豐富的數(shù)據(jù)管理功能，以此將推動(dòng)PB級(jí)存儲(chǔ)系統(tǒng)的研究熱潮。大容量、高性能的存儲(chǔ)與優(yōu)異的性?xún)r(jià)比形成反差，進(jìn)一步強(qiáng)化了存儲(chǔ)與數(shù)據(jù)分離的趨勢(shì)。在分離的基礎(chǔ)上，使能存儲(chǔ)和數(shù)據(jù)的資源化，基于存儲(chǔ)對(duì)象技術(shù)和層次化存儲(chǔ)技術(shù)，增強(qiáng)存儲(chǔ)系統(tǒng)的層次化，推動(dòng)數(shù)據(jù)的集中管理和數(shù)據(jù)的按需部署等技術(shù)的發(fā)展。

    三、存儲(chǔ)技術(shù)的遠(yuǎn)景展望
  
    為了滿(mǎn)足各種應(yīng)用需求，存儲(chǔ)系統(tǒng)已經(jīng)開(kāi)始向高速發(fā)展的階段邁進(jìn)。目前主要分為以下幾個(gè)發(fā)展方向：虛擬存儲(chǔ)系統(tǒng)、服務(wù)部署系統(tǒng)、集群文件系統(tǒng)和數(shù)據(jù)管理系統(tǒng)。
  
    （一）虛擬存儲(chǔ)系統(tǒng)：國(guó)外的IBM、HP、StoreAge、VERITAS、EMC和StorageTek等廠(chǎng)商，已把虛擬存儲(chǔ)（虛擬磁盤(pán)存儲(chǔ)、共享虛擬磁盤(pán)陣列和虛擬存儲(chǔ)管理）作為其核心技術(shù)。
  
    （二）服務(wù)部署系統(tǒng)：現(xiàn)已有IBM實(shí)驗(yàn)室研發(fā)的Oceano、Purdue大學(xué)研究的SODA和Duke大學(xué)提出的COD系統(tǒng)。
  
    （三）集群文件系統(tǒng)：在國(guó)外，已呈現(xiàn)出由Lustre（Linux Cluster）設(shè)計(jì)并實(shí)現(xiàn)的一個(gè)基于存儲(chǔ)區(qū)域網(wǎng)的集群文件系統(tǒng)、IBM公司的Storage Tank以及基于Storage Tank的TotalStorage SAN File System和Panasas公司的PanFS系統(tǒng)。
  
    （四）數(shù)據(jù)管理系統(tǒng)：EMC和國(guó)外廠(chǎng)商基于ILM理念推出了各種管理系統(tǒng)。此外，數(shù)據(jù)搜索和數(shù)據(jù)索引技術(shù)發(fā)展迅速。Google和微軟都推出了桌面搜索工具。
  
    然而，作為國(guó)內(nèi)的權(quán)威研發(fā)機(jī)構(gòu)的中國(guó)科學(xué)院計(jì)算技術(shù)研究所國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心，在上述發(fā)展方向上，相繼研發(fā)出具有自主知識(shí)產(chǎn)權(quán)的藍(lán)鯨虛擬存儲(chǔ)系統(tǒng)、藍(lán)鯨服務(wù)部署系統(tǒng)、藍(lán)鯨集群文件系統(tǒng)和藍(lán)鯨數(shù)據(jù)備份系統(tǒng)。
  
    在社會(huì)的迅速發(fā)展中，伴隨著各行業(yè)中數(shù)據(jù)量的不斷地增加，存儲(chǔ)技術(shù)的研究和開(kāi)發(fā)熱潮也將迅速升溫。面向未來(lái)，以高性能計(jì)算為龍頭牽引，在iSCSI和SATA/SAS等技術(shù)的作用下，存儲(chǔ)系統(tǒng)將朝著IP存儲(chǔ)技術(shù)、部署技術(shù)、虛擬化技術(shù)、集群技術(shù)、對(duì)象化技術(shù)、數(shù)據(jù)管理技術(shù)等多個(gè)方面迅速發(fā)展。

    本文為中科院計(jì)算所工程中心供DoSTOR專(zhuān)稿，版權(quán)歸作者及DoSTOR所有，如需轉(zhuǎn)載請(qǐng)與本站聯(lián)系。

多易