許魯,中國科學院計算技術研究所研究員,國家高性能計算機工程技術研究中心主任,科技奧運專項暨國家863計劃“海量存儲系統(tǒng)技術與集成???以海量存儲為核心的網(wǎng)絡服務器系統(tǒng)”的課題負責人。


    “我們當初申報這個項目,最強烈的想法是加快我國在網(wǎng)絡存儲領域中發(fā)展的腳步。”由于有著12年的海外求學及工作經(jīng)驗,許魯對于國內(nèi)計算機應用領域的發(fā)展有著獨到的見解。早在數(shù)年前他就敏銳地觀察到,目前國內(nèi)對于服務器的研發(fā)已經(jīng)比較成熟,有的已形成產(chǎn)業(yè)化,但在網(wǎng)絡存儲領域卻還是一片空白。而當前國際上的大趨勢則是,數(shù)據(jù)存儲越來越快地成為一個獨立的研究領域和獨立的產(chǎn)業(yè)。


    “1998年的時候,國外一家著名IT公司的CTO(即技術主管)就說,‘在未來的三到五年內(nèi),服務器將成為存儲系統(tǒng)的外設?!痹S魯說他到現(xiàn)在仍對這句話記憶猶新。


    同時他還特別提到,隨著計算機應用技術的發(fā)展,數(shù)據(jù)的重要性凸現(xiàn)出來。作為保存數(shù)據(jù)的載體,存儲系統(tǒng)必須具有高可靠的安全性、穩(wěn)定性和易管理性。因此,發(fā)展自己的存儲技術和軟、硬件系統(tǒng),對于國家安全有著極其重要的意義。


    因此在2002年,趁著奧運的東風,許魯和他的同事們申報了該項目并通過審批。歷時兩年多的科技攻關,該項目已在去年結(jié)題,并在今年3月份順利通過了國家科技部的驗收。


    該項目研發(fā)出來的藍鯨網(wǎng)絡存儲系統(tǒng),與市場上現(xiàn)有的同類產(chǎn)品相比,其性能已達到國內(nèi)領先,國際先進的水平。許魯告訴記者,他們已對研究成果進行了產(chǎn)品化,目前已成功的應用到多個領域。例如作為藍鯨網(wǎng)絡存儲系列產(chǎn)品之一的藍鯨并行文件系統(tǒng),今年被應用于新疆油田公司研究院的石油勘探數(shù)據(jù)分析,使原來需計算3個月的項目,現(xiàn)在只需要1個月就可完成,大大提高了效率。


    據(jù)記者了解,目前市場上發(fā)展比較成熟的網(wǎng)絡存儲系統(tǒng)主要分為兩種結(jié)構(gòu):附網(wǎng)存儲和存儲區(qū)域網(wǎng)(英文簡稱分別為“NAS”和“SAN”)。這兩種系統(tǒng)各有其優(yōu)劣勢。NAS系統(tǒng)管理方便,但所能承載的容量和負載有限,可擴展性差,難以適應大規(guī)模的應用。SAN的數(shù)據(jù)傳輸性能較高,可擴展性較好,但數(shù)據(jù)共享性很差,設備之間的互操作性也較差。


    而課題組所研發(fā)出來的藍鯨網(wǎng)絡存儲系統(tǒng),采用集中式管理、分布式處理的總體設計原則,融合了NAS和SAN這兩大存儲結(jié)構(gòu)的優(yōu)點,既具有高可擴展性又易于管理,極大地解決了存儲子系統(tǒng)日益成為網(wǎng)絡服務器系統(tǒng)的主要瓶頸的問題。


    許魯表示,該存儲系統(tǒng)能夠很好地應對奧運會信息系統(tǒng)里的存儲難題。


    首先是海量信息存儲的難度。當一場比賽結(jié)束后,有比賽結(jié)果的新聞,有業(yè)內(nèi)人士的評論,還有一些圖片和流媒體形式的新聞等。一方面,存儲的數(shù)據(jù)量大;另一方面,數(shù)據(jù)讀寫量大且頻繁。同時還要保證在短時間內(nèi),滿足多人同時訪問到同一數(shù)據(jù)或不同數(shù)據(jù)的需求,這是一般的數(shù)據(jù)存儲系統(tǒng)很難做到的。


    其次,奧運會信息的另一個特點是對數(shù)據(jù)讀取的變化幅度大。例如,“申奧成功”的這則新聞,在結(jié)果揭曉前,很多人會關注一些預測性的消息,但在結(jié)果公布的那一刻,之前所有的新聞幾乎都變得無效。原本很“熱”的新聞在一秒鐘之后立即變得很“冷”,訪問量從高峰突然降到零。除了這種情況,還可能會出現(xiàn)同時產(chǎn)生兩條新聞,一條會有很多人點擊而另一條少人問津的情況,因此在進行數(shù)據(jù)存儲時就要對“熱”的新聞和“冷”的新聞區(qū)別對待。


    此外,奧運會是一個動態(tài)性很強的重大事件,各項比賽的結(jié)果會持續(xù)不斷地出來。奧運信息平臺如何做到一邊在存儲大量的新數(shù)據(jù),一邊還能保證公眾的正常訪問,這是個大問題。在奧運會期間,如果停掉網(wǎng)絡服務進行設備擴充,這顯然是不可能的。然而,許魯和他的同事們通過采用世界最先進的虛擬存儲技術,有效地解決了上述問題。所謂虛擬存儲,就是將底層的存儲設備進行抽象化統(tǒng)一管理,向服務器層屏蔽存儲設備硬件的特殊性,而只保留其統(tǒng)一的邏輯特性,從而實現(xiàn)對存儲系統(tǒng)集中、統(tǒng)一而又方便的管理。如果把整個存儲系統(tǒng)比作一個計算機系統(tǒng),虛擬存儲部分就像是計算機系統(tǒng)中的操作系統(tǒng),對下層管理著各種特殊而具體的設備,而對上層則提供相對統(tǒng)一的運行環(huán)境和資源使用方式。運用了虛擬存儲技術后,計算機系統(tǒng)維護人員可以在存儲系統(tǒng)正常運行的情況下,在線擴充存儲容量。


    雖然這個項目的申請,最初是出于為奧運會服務的目的,但許魯設想的要比這更深更遠。他熱切的期望,以舉辦2008年奧運會為助推力,使我國的網(wǎng)絡存儲領域迅速成長起來。“其實,奧運會對于我國各領域、各行業(yè)整體素質(zhì)的提升帶動,遠遠要比成功舉辦奧運會本身,具有更加重大而深遠的意義?!痹S魯如是說。

分享到

多易

相關推薦