因此，中石油內(nèi)部提出：“寧可少打一口井，也要把資金投入到計算機裝備上”的口號，用高質(zhì)量的勘測和運算技術(shù)發(fā)現(xiàn)更可靠的地下構(gòu)造。 
  
    中國石油新疆地球物理研究所的高性能計算平臺，主要用于勘測數(shù)據(jù)的匯集和運算，也就是石油勘探地震資料處理，把地下地質(zhì)的地震信號通過地面提取后，用大型計算機進行處理，形成地下構(gòu)造以及地下成像，發(fā)現(xiàn)地下的油氣構(gòu)造，為打井提供更加可靠的勘探數(shù)據(jù)。 
  
    從上個世紀80年代初應(yīng)用計算機開始，研究所已經(jīng)經(jīng)歷了好幾代的更新，從早期應(yīng)用的向量級服務(wù)器到UNIX服務(wù)器，一直到現(xiàn)在的IBM刀片機群。 
  
    由于地質(zhì)原始數(shù)據(jù)文件很大，集群運算需要巨大的運算存儲空間，不但要求存儲設(shè)備的I/O吞吐性能可以滿足IBM機群服務(wù)器的運算要求，并且盡可能做到低成本實施。 
  
    選購與實施 
  
    性能、價格、容量的平衡點 
  
    由于數(shù)據(jù)占用空間巨大，存儲設(shè)備的需求量多，石油勘探高性能計算對于存儲系統(tǒng)有著三方面的要求：性能、價格和容量。而這三方面又是互相牽制，特別是價格和另外兩個因素之間始終存在著矛盾。 
  
    為了滿足高性能計算存儲系統(tǒng)這三方面的要求，新疆地球物理研究所總工程師賈亞軍選擇了NAS產(chǎn)品來構(gòu)建整個高性能計算平臺的存儲環(huán)境。 
  
    因為單純依靠服務(wù)器中的硬盤根本不可能滿足容量要求，采用DAS直連存儲既不能實現(xiàn)網(wǎng)絡(luò)化，維護又很不方面。 
  
    而光纖SAN架構(gòu)雖然性能高、容量大，但是成本太過昂貴，并不適合于高性能計算所采用。 
  
    賈亞軍談到，目前研究所中NAS設(shè)備的總?cè)萘恳呀?jīng)達到了100TB，其中基于SATA的NAS設(shè)備40T，基于IDE的設(shè)備為60T。而這些空間仍舊不能滿足應(yīng)用的需求，研究所還在不斷對系統(tǒng)進行擴容。 
  
    親自測試才會采用 
  
    業(yè)界對于存儲系統(tǒng)性能的評估標準很多，測試方法也是多種多樣。為了保證存儲系統(tǒng)能夠達到石油勘探高性能計算的要求，特別是要能夠應(yīng)對高性能計算服務(wù)器長時間、大容量的訪問要求，賈亞軍每次采購前都會對入圍的設(shè)備在實際應(yīng)用環(huán)境中進行測試。據(jù)他介紹，在此次存儲系統(tǒng)選型時，研究所前后共選擇了九個品牌的NAS進行測試。 
  
    一般的BenchMark測試對NAS產(chǎn)品而言，只能用來參考。因為高性能計算、特別是石油行業(yè)的應(yīng)用對于NAS的要求比較特殊。 
  
    此次系統(tǒng)擴充選擇了網(wǎng)虎公司的NAS8500作為高性能計算服務(wù)器集群的存儲池，為地質(zhì)勘探數(shù)據(jù)提供存儲空間。研究所采集的原始數(shù)據(jù)上傳至集群服務(wù)器，運算的中間結(jié)果及最終結(jié)果數(shù)據(jù)均保存在NAS上，每臺NAS8500目前可提供的存儲容量為2TB。 
  
    將存儲化整為零 
  
    看到這個小標題也許會讓人覺得有些奇怪，許多行業(yè)現(xiàn)在都在大談數(shù)據(jù)大集中，為什么研究所要把存儲系統(tǒng)化整為零呢？ 
  
    賈亞軍談到，以前數(shù)據(jù)的存儲有很大一部分放置在直聯(lián)的DAS盤陣當中，因為高性能計算對于硬盤部件的消耗非常高，采取DAS方式很不靈活，維護起來也不太方便。 
  
    因此研究所將逐漸把這部分設(shè)備進行淘汰，不再對其進行維護的資金投入，逐步將這些數(shù)據(jù)轉(zhuǎn)移到網(wǎng)絡(luò)中的NAS上。這么做有兩大好處： 
  
    首先，采用NAS方式后，不同業(yè)務(wù)的存儲就可以分離放置在不同的NAS服務(wù)器中，有可能幾個NAS就是一個項目所有的數(shù)據(jù)資料，實現(xiàn)了數(shù)據(jù)的小“集中”，這樣維護和管理都會非常簡單。 
  
    其次，此次采購的網(wǎng)虎的NAS產(chǎn)品每一款數(shù)據(jù)存儲容量為2TB，將存儲系統(tǒng)化整為零后，即使某一臺NAS發(fā)生問題，也不會對整個存儲系統(tǒng)造成影響，提高了系統(tǒng)的冗余度。 
  
    創(chuàng)新的“磁盤庫”歸檔方式 
  
    當記者問到如此海量的數(shù)據(jù)怎么進行備份時，賈亞軍介紹了自己的“高招”：研究所以前曾經(jīng)購買過大型的磁帶庫系統(tǒng)，累計投資也已經(jīng)在幾十萬以上，但現(xiàn)在整個磁帶庫的空間已經(jīng)基本滿了。 
  
    出于成本的考慮，研究所將不會再對磁帶庫進行投資。賈亞軍給記者算了這樣一筆賬：一盤容量為80GB磁帶的價格要近千元，和一塊100GB左右的硬盤價格相仿。 
  
    如此看來，硬盤不但單TB成本比磁帶更低，而且還擁有著磁帶無法比擬的速度優(yōu)勢。用賈先生的話說，“把磁盤直接放進倉庫都比購買磁帶劃算得多”。 
  
    因為研究所經(jīng)過計算得出結(jié)果后的數(shù)據(jù)，一般在2～3年之后才會取出復用。而且由于NAS存儲設(shè)備是根據(jù)項目進行分散配置的，每個項目都被綁定在相應(yīng)的存儲設(shè)備中。 
  
    一個項目完成后，可以直接把硬盤從NAS中取出進行保管，有新的項目上線時，直接購買空白硬盤補充即可，這點確實為許多高性能計算的用戶提供了備份的新思路。 
  
    這樣保存的數(shù)據(jù)還能時刻處于近線狀態(tài)，如果突然需要訪問，只需要把硬盤安裝回NAS即可，不用花費漫長時間等待數(shù)據(jù)從磁帶恢復到磁盤。 
  
    管理難題尚未解決

    賈亞軍在接受采訪時，還對硬盤的質(zhì)量表示出了自己擔憂。因為現(xiàn)在在研究所的系統(tǒng)中，每個月都有硬盤損壞的情況發(fā)生。這種情況的頻繁出現(xiàn)不但維護成本較大，而且更換硬盤后的重建數(shù)據(jù)過程，也會對生產(chǎn)系統(tǒng)造成性能影響，甚至影響某個項目的時間進程。

    對待這種問題，賈亞軍無奈地告訴記者，自己和同事只能像救火隊一樣，哪里出現(xiàn)“險情”就解決哪里。 
  
    賈亞軍也為部門制定了詳細的工作流程制度，盡可能利用標準化的處理方式，減少因硬件損壞而對業(yè)務(wù)造成的影響。雖然這種方式不能根本解決問題，但是也算是起到了一定的作用，如果讀者有什么更好的辦法，不妨跟我們聯(lián)系，一同探討。 
  
    用戶感言： 
  
    存儲絆了高性能計算的腿 
  
    在采訪中，賈亞軍坦率地告訴記者，現(xiàn)在國內(nèi)高性能計算領(lǐng)域的發(fā)展呈現(xiàn)出了不平衡的態(tài)勢。在國內(nèi)，服務(wù)器以及機群技術(shù)已經(jīng)非常成熟，但是與之配套的存儲設(shè)備卻面臨很大的問題，計算環(huán)境和存儲環(huán)境的不匹配牽制了高性能計算的發(fā)展。 
  
    多不如少 
  
    不了解高性能運算的讀者肯定會認為服務(wù)器堆得越多，得到結(jié)果的速度就越快，但事實并非如此。 
  
    據(jù)賈亞軍介紹，在系統(tǒng)進行運算的時候，高性能計算所采用的unix或者linux操作系統(tǒng)的瓶頸主要體現(xiàn)在nfs文件系統(tǒng)上，常規(guī)的mount鏈路數(shù)會有一定的限制。當這個數(shù)量超過一定的級數(shù)時，系統(tǒng)的性能反而會更差。 
  
    主要的原因是在nfs文件結(jié)構(gòu)中，數(shù)據(jù)塊的空間一般為4k或者8k，數(shù)據(jù)在傳輸中進行打包與拆包所造成的系統(tǒng)性能消耗非常大。 
  
    這種情況好像用卡車運貨，每跑一趟，卡車自身重量的移 動做功都會耗油，但真正有效的只是貨物的移 動。 
  
    根據(jù)研究所實際的測試來看，如果有16臺計算節(jié)點同時mount一個存儲資源的話，系統(tǒng)的性能還能比較穩(wěn)定。但是如果更多，性能就會出現(xiàn)衰減，出現(xiàn)多服務(wù)器比少服務(wù)器性能更差的結(jié)果。 
  
    與中科院合作找到突破口 
  
    為了解決這個問題，賈亞軍帶領(lǐng)自己的團隊嘗試過不少方法，例如對nfs系統(tǒng)進行調(diào)優(yōu)，但是收效甚微。 
  
    經(jīng)過調(diào)優(yōu)之后，系統(tǒng)的性能僅僅提升了10%左右，而這對于高性能計算而言，頂多能夠提前計算出結(jié)果1天左右，距離滿意仍舊保持一定的差距。 
  
    國外通常采用的方法是將nfs文件系統(tǒng)中的數(shù)據(jù)包進行分解，把造成系統(tǒng)開銷的部分分解出去。 
  
    據(jù)賈亞軍介紹，在國內(nèi)也找到了問題的解決者?D?D中科院，所采用的方式也是將nfs系統(tǒng)中的數(shù)據(jù)包進行分解，采用dnfs(分布式nfs)的方式進行數(shù)據(jù)傳輸，使系統(tǒng)消耗得以大幅降低。 
  
    根據(jù)在新疆地球物理研究所進行的測試來看，應(yīng)用了這一技術(shù)之后，mount 128個節(jié)點群后的i/o性能都能夠呈現(xiàn)出線性分布。也就是說，采用了這一技術(shù)之后，高性能計算得出結(jié)果的時間能夠比原來縮短一倍甚至幾倍。 
  
    得出這一實際測試結(jié)果令賈亞軍非常興奮，目前研究所已經(jīng)把原有服務(wù)器上的das存儲系統(tǒng)全部采用了這種技術(shù)。并且規(guī)劃平穩(wěn)運行一段時間之后，將該項技術(shù)推廣到整個后臺存儲系統(tǒng)。 
  
    另外，新疆地球物理研究所也將對其它公司的類似技術(shù)，如netapp dass技術(shù)、ibm gpss技術(shù)和panasas公司相關(guān)技術(shù)進行測試，選擇出更適合的解決辦法。 
  
    鏈 接 
  
    中國石油新疆地球物理研究所 
  
    中國石油新疆地球物理研究所擁有世界先進的sgi超級并行計算機、近百套sgi/sun工作站，是地震勘探資料數(shù)據(jù)處理、地質(zhì)綜合研究和計算機軟、硬件技術(shù)開發(fā)為一體的高科技單位。1995年被國務(wù)院發(fā)展研究中心命名為“中國西北地區(qū)最大的地震資料處理解釋中心”，并載入《中華之最》。 
  
    建所20幾年來，中國石油新疆油田分公司地球物理研究所先后多次從國外進行計算機系統(tǒng)、配套設(shè)備及其應(yīng)用軟件系統(tǒng)的大規(guī)模引進工作。在2004年應(yīng)用了ibm刀片服務(wù)器高性能計算機群后，三維處理能力提高到6000到7000平方公里。（文 / 《中國計算機用戶》）

多易