許魯,中國科學(xué)院計算技術(shù)研究所研究員,國家高性能計算機(jī)工程技術(shù)研究中心主任,科技奧運(yùn)專項(xiàng)暨國家863計劃“海量存儲系統(tǒng)技術(shù)與集成???以海量存儲為核心的網(wǎng)絡(luò)服務(wù)器系統(tǒng)”的課題負(fù)責(zé)人。
“我們當(dāng)初申報這個項(xiàng)目,最強(qiáng)烈的想法是加快我國在網(wǎng)絡(luò)存儲領(lǐng)域中發(fā)展的腳步?!庇捎谟兄?2年的海外求學(xué)及工作經(jīng)驗(yàn),許魯對于國內(nèi)計算機(jī)應(yīng)用領(lǐng)域的發(fā)展有著獨(dú)到的見解。早在數(shù)年前他就敏銳地觀察到,目前國內(nèi)對于服務(wù)器的研發(fā)已經(jīng)比較成熟,有的已形成產(chǎn)業(yè)化,但在網(wǎng)絡(luò)存儲領(lǐng)域卻還是一片空白。而當(dāng)前國際上的大趨勢則是,數(shù)據(jù)存儲越來越快地成為一個獨(dú)立的研究領(lǐng)域和獨(dú)立的產(chǎn)業(yè)。
“1998年的時候,國外一家著名IT公司的CTO(即技術(shù)主管)就說,‘在未來的三到五年內(nèi),服務(wù)器將成為存儲系統(tǒng)的外設(shè)。’”許魯說他到現(xiàn)在仍對這句話記憶猶新。
同時他還特別提到,隨著計算機(jī)應(yīng)用技術(shù)的發(fā)展,數(shù)據(jù)的重要性凸現(xiàn)出來。作為保存數(shù)據(jù)的載體,存儲系統(tǒng)必須具有高可靠的安全性、穩(wěn)定性和易管理性。因此,發(fā)展自己的存儲技術(shù)和軟、硬件系統(tǒng),對于國家安全有著極其重要的意義。
因此在2002年,趁著奧運(yùn)的東風(fēng),許魯和他的同事們申報了該項(xiàng)目并通過審批。歷時兩年多的科技攻關(guān),該項(xiàng)目已在去年結(jié)題,并在今年3月份順利通過了國家科技部的驗(yàn)收。
該項(xiàng)目研發(fā)出來的藍(lán)鯨網(wǎng)絡(luò)存儲系統(tǒng),與市場上現(xiàn)有的同類產(chǎn)品相比,其性能已達(dá)到國內(nèi)領(lǐng)先,國際先進(jìn)的水平。許魯告訴記者,他們已對研究成果進(jìn)行了產(chǎn)品化,目前已成功的應(yīng)用到多個領(lǐng)域。例如作為藍(lán)鯨網(wǎng)絡(luò)存儲系列產(chǎn)品之一的藍(lán)鯨并行文件系統(tǒng),今年被應(yīng)用于新疆油田公司研究院的石油勘探數(shù)據(jù)分析,使原來需計算3個月的項(xiàng)目,現(xiàn)在只需要1個月就可完成,大大提高了效率。
據(jù)記者了解,目前市場上發(fā)展比較成熟的網(wǎng)絡(luò)存儲系統(tǒng)主要分為兩種結(jié)構(gòu):附網(wǎng)存儲和存儲區(qū)域網(wǎng)(英文簡稱分別為“NAS”和“SAN”)。這兩種系統(tǒng)各有其優(yōu)劣勢。NAS系統(tǒng)管理方便,但所能承載的容量和負(fù)載有限,可擴(kuò)展性差,難以適應(yīng)大規(guī)模的應(yīng)用。SAN的數(shù)據(jù)傳輸性能較高,可擴(kuò)展性較好,但數(shù)據(jù)共享性很差,設(shè)備之間的互操作性也較差。
而課題組所研發(fā)出來的藍(lán)鯨網(wǎng)絡(luò)存儲系統(tǒng),采用集中式管理、分布式處理的總體設(shè)計原則,融合了NAS和SAN這兩大存儲結(jié)構(gòu)的優(yōu)點(diǎn),既具有高可擴(kuò)展性又易于管理,極大地解決了存儲子系統(tǒng)日益成為網(wǎng)絡(luò)服務(wù)器系統(tǒng)的主要瓶頸的問題。
許魯表示,該存儲系統(tǒng)能夠很好地應(yīng)對奧運(yùn)會信息系統(tǒng)里的存儲難題。
首先是海量信息存儲的難度。當(dāng)一場比賽結(jié)束后,有比賽結(jié)果的新聞,有業(yè)內(nèi)人士的評論,還有一些圖片和流媒體形式的新聞等。一方面,存儲的數(shù)據(jù)量大;另一方面,數(shù)據(jù)讀寫量大且頻繁。同時還要保證在短時間內(nèi),滿足多人同時訪問到同一數(shù)據(jù)或不同數(shù)據(jù)的需求,這是一般的數(shù)據(jù)存儲系統(tǒng)很難做到的。
其次,奧運(yùn)會信息的另一個特點(diǎn)是對數(shù)據(jù)讀取的變化幅度大。例如,“申奧成功”的這則新聞,在結(jié)果揭曉前,很多人會關(guān)注一些預(yù)測性的消息,但在結(jié)果公布的那一刻,之前所有的新聞幾乎都變得無效。原本很“熱”的新聞在一秒鐘之后立即變得很“冷”,訪問量從高峰突然降到零。除了這種情況,還可能會出現(xiàn)同時產(chǎn)生兩條新聞,一條會有很多人點(diǎn)擊而另一條少人問津的情況,因此在進(jìn)行數(shù)據(jù)存儲時就要對“熱”的新聞和“冷”的新聞區(qū)別對待。
此外,奧運(yùn)會是一個動態(tài)性很強(qiáng)的重大事件,各項(xiàng)比賽的結(jié)果會持續(xù)不斷地出來。奧運(yùn)信息平臺如何做到一邊在存儲大量的新數(shù)據(jù),一邊還能保證公眾的正常訪問,這是個大問題。在奧運(yùn)會期間,如果停掉網(wǎng)絡(luò)服務(wù)進(jìn)行設(shè)備擴(kuò)充,這顯然是不可能的。然而,許魯和他的同事們通過采用世界最先進(jìn)的虛擬存儲技術(shù),有效地解決了上述問題。所謂虛擬存儲,就是將底層的存儲設(shè)備進(jìn)行抽象化統(tǒng)一管理,向服務(wù)器層屏蔽存儲設(shè)備硬件的特殊性,而只保留其統(tǒng)一的邏輯特性,從而實(shí)現(xiàn)對存儲系統(tǒng)集中、統(tǒng)一而又方便的管理。如果把整個存儲系統(tǒng)比作一個計算機(jī)系統(tǒng),虛擬存儲部分就像是計算機(jī)系統(tǒng)中的操作系統(tǒng),對下層管理著各種特殊而具體的設(shè)備,而對上層則提供相對統(tǒng)一的運(yùn)行環(huán)境和資源使用方式。運(yùn)用了虛擬存儲技術(shù)后,計算機(jī)系統(tǒng)維護(hù)人員可以在存儲系統(tǒng)正常運(yùn)行的情況下,在線擴(kuò)充存儲容量。
雖然這個項(xiàng)目的申請,最初是出于為奧運(yùn)會服務(wù)的目的,但許魯設(shè)想的要比這更深更遠(yuǎn)。他熱切的期望,以舉辦2008年奧運(yùn)會為助推力,使我國的網(wǎng)絡(luò)存儲領(lǐng)域迅速成長起來?!捌鋵?shí),奧運(yùn)會對于我國各領(lǐng)域、各行業(yè)整體素質(zhì)的提升帶動,遠(yuǎn)遠(yuǎn)要比成功舉辦奧運(yùn)會本身,具有更加重大而深遠(yuǎn)的意義。”許魯如是說。