石油勘探，數(shù)據(jù)是關(guān)鍵

石油勘探 PB級數(shù)據(jù)是常態(tài)

當(dāng)前石油儲備逐步減少，石油勘探、開發(fā)難度增大，借助數(shù)據(jù)技術(shù)提高石油勘探的效率成為推動石油行業(yè)增長的關(guān)鍵。存儲作為數(shù)據(jù)的載體，成為東方物探這樣的石油勘探企業(yè)的核心競爭力。

東方物探的石油勘探作業(yè)主要采用地震波法。這種方法是用炸藥在地面激發(fā)人工地震波，地震波傳入數(shù)千米的地下，碰到不同形態(tài)的巖層后形成反射波。這些反射波經(jīng)過檢波器收集，轉(zhuǎn)變?yōu)殡娮有盘柡?，以?shù)據(jù)形態(tài)保存在存儲里。后期，通過對海量地震波數(shù)據(jù)的計算、解釋和反演，模擬出勘測區(qū)域的地下構(gòu)造，找到石油巖層的精確位置。這就像給大地做CT一樣。

一方面，在勘探過程中，生成的數(shù)據(jù)體量非常龐大。一般二維數(shù)據(jù)可達1~2TB，三維數(shù)據(jù)可達數(shù)百TB甚至PB級。從東方物探開發(fā)的中國第一套地震數(shù)據(jù)處理、解釋一體化軟件GeoEast來看，GeoEast系統(tǒng)的數(shù)據(jù)量隨勘探業(yè)務(wù)開展不斷增長，對存儲空間初始需求就達到PB級別，項目平均數(shù)據(jù)增量達20TB，一般單文件大小也都在200GB左右。

另一方面，石油勘探對收集上來的海量數(shù)據(jù)還需要提供TB-GB級讀寫性能，來滿足前端的密集計算和模擬，比如54TB原始勘探數(shù)據(jù)通過4000個CPU的計算集群、GB級帶寬的存儲集群處理需要50多天時間，方能將勘探數(shù)據(jù)轉(zhuǎn)換成直觀的可視畫面，為油氣鉆井定位提供決策支持。如果要縮短地震資料處理周期，讓IT基礎(chǔ)設(shè)施提供更強大的性能，就需要優(yōu)化數(shù)據(jù)存儲和計算平臺。計算平臺可以在CPU處理的基礎(chǔ)上通過增加GPU來進行加速；而數(shù)據(jù)存儲平臺，則需要進行從硬件架構(gòu)到軟件功能的創(chuàng)新。

浪潮給東方物探提供PB級海量存儲集群

浪潮SDS：軟硬協(xié)同創(chuàng)新

“（石油勘探）這種PB級容量、千萬級并發(fā)性能的數(shù)據(jù)特征，對存儲基礎(chǔ)設(shè)施既是一個變革，也是一個挑戰(zhàn)”，浪潮存儲研發(fā)工程師表示，東方物探需要部署橫向擴展的軟件定義存儲，并基于場景進行軟硬件調(diào)優(yōu)。經(jīng)過多輪溝通，浪潮的這一方案獲得了東方物探的認可。

浪潮軟件定義存儲AS13000

?

硬件方面，浪潮軟件定義存儲提供動車組式的橫向擴展架構(gòu)，就是每個節(jié)點都能提供動力，同時整體集群用一套系統(tǒng)進行管理。一方面，在浪潮軟件定義存儲的34個節(jié)點中，每個節(jié)點都可以提供上百TB的容量和GB級IO能力，存儲集群間的數(shù)據(jù)通信通過2個萬兆建立連接，使得整個存儲集群容量達到4PB、業(yè)務(wù)網(wǎng)總帶寬達到34GB/s。

軟件方面，浪潮軟件定義存儲進行了大量場景化調(diào)優(yōu)。比如，在使用過程中，浪潮軟件定義存儲通過對去躁、振幅補償?shù)榷囗椬鳂I(yè)的優(yōu)化配置，提升了石油勘探批量作業(yè)的處理能力，增強了易用性，確保系統(tǒng)穩(wěn)定運行。又如，浪潮軟件定義存儲提供目錄分片功能，即在元數(shù)據(jù)服務(wù)端將目錄分成同等地位的多個分片，由每個分片承載該目錄下的不同子文件，有效提高了并發(fā)能力，解決了大目錄操作性能問題。AS13000可支持單目錄千萬級文件、文件系統(tǒng)可達百億級，百萬文件瀏覽時間突破40s。

容量達4PB，性能提升7倍

項目實施前，東方物探和浪潮存儲聯(lián)合，對軟件定義存儲進行了長達一年的產(chǎn)品測試，浪潮團隊積極配合、快速響應(yīng)，保障了東方物探石油勘探軟件定義存儲平臺測試的順利進行。

上線后，東方物探勘探海量存儲集群使用容量達到4PB，單作業(yè)業(yè)務(wù)單控達1.5GB/s，聚合帶寬達到34GB/s。通過對AS13000內(nèi)核客戶端的優(yōu)化，在4PB大工程上實現(xiàn)了7倍性能的提升。

值得一提的是，浪潮軟件定義存儲系統(tǒng)的節(jié)點擴展能力非常強大，單系統(tǒng)存儲節(jié)點可在線橫向擴展至5000多個。面對地震數(shù)據(jù)性能不斷增長的趨勢，浪潮軟件定義存儲還可支持40GB/56GB InfiniBand連接，以應(yīng)對未來性能升級需求。加上不斷進步的數(shù)據(jù)自動修復(fù)和自動運維機制，浪潮軟件定義存儲能夠勝任東方物探的未來的石油勘探海量數(shù)據(jù)存儲場景。

東方物探表示，“中國物探企業(yè)必須擁有自己的數(shù)據(jù)核心技術(shù)。東方物探聯(lián)合浪潮存儲建立了亞洲最大的物探數(shù)據(jù)庫，通過對地震波反射數(shù)據(jù)的采集、處理、解釋，判斷地表下油氣的位置，挖掘數(shù)據(jù)價值?！?/p>

場景化戰(zhàn)略 落地PB級大工程

除了東方物探的PB級實踐之外，浪潮還在各個場景交付了大量PB級工程。這里包括軟件定義存儲AS13000在某資源中心一套70PB、某運營商數(shù)十套每套PB級系統(tǒng)、某省政務(wù)云90個節(jié)點、20PB容量、成都三環(huán)路視頻監(jiān)控系統(tǒng)20PB容量、廣電總局141個節(jié)點、10PB的云平臺、華強方特5PB、千萬級小文件并發(fā)性能的動漫制作平臺的應(yīng)用部署。

浪潮存儲產(chǎn)品線總經(jīng)理李輝表示，“浪潮存儲順應(yīng)云、大數(shù)據(jù)、人工智能潮流，經(jīng)過十多年的研發(fā)，在全球建立了五大研發(fā)中心，具備領(lǐng)先的技術(shù)實力和場景化能力，構(gòu)建了新數(shù)據(jù)時代的新存儲，成為新數(shù)據(jù)時代新存儲的倡導(dǎo)者和領(lǐng)先者?！比缃?，浪潮憑借實力，在2018年上半年在中國企業(yè)級存儲市場出貨量第一、增速第一；同時，入圍了Gartner分布式存儲魔力象限，正式進入全球主流存儲廠商。

zhangnn