任新勃 發(fā)表于:14年09月15日 20:45 [原創(chuàng)] DOIT.com.cn
對(duì)于石油等能源的勘探,都是間接的通過(guò)地震波和人造地震波來(lái)進(jìn)行推測(cè)的。而為了獲得可靠的數(shù)據(jù),就需要做最大限度的地震數(shù)據(jù)采集、存儲(chǔ)與分析,以此獲得比較準(zhǔn)確的地球內(nèi)部信息。如何更快、更高效的從海量的數(shù)據(jù)中找出有用的信息,對(duì)于數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的要求也就更為苛刻。當(dāng)前油氣勘探進(jìn)入大數(shù)據(jù)時(shí)代。主要有兩個(gè)原因,一個(gè)是高性能計(jì)算機(jī)的發(fā)展,促進(jìn)了油氣勘探技術(shù)的進(jìn)步。第二數(shù)據(jù)成像大幅度提高,精度提高比如帶來(lái)更多的數(shù)據(jù)。
大數(shù)據(jù)時(shí)代IT升級(jí)刻不容緩
隨著技術(shù)的進(jìn)步,能源行業(yè)每天產(chǎn)生的生產(chǎn)數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)TB級(jí)別。中國(guó)石油東方地球物理公司研究院處理中心的總工程師賴能和以石油勘探行業(yè)為例,一個(gè)勘測(cè)地點(diǎn)每天產(chǎn)生的生產(chǎn)數(shù)據(jù)都有數(shù)十TB,這就需要更高性能的數(shù)據(jù)處理系統(tǒng)。傳統(tǒng)的存儲(chǔ)系統(tǒng)解決不了大數(shù)據(jù)問(wèn)題,對(duì)HPC帶來(lái)非常大的挑戰(zhàn)。一個(gè)是配置要求非常高,都是高端服務(wù)器,二就是存儲(chǔ)很大,每套系統(tǒng)都要配幾千個(gè)T的存儲(chǔ)才能解決問(wèn)題。實(shí)際上存儲(chǔ)IO是一個(gè)非常大的瓶頸問(wèn)題,如何提高集群的利用率,解決存儲(chǔ)和CPU之間的瓶頸,這是我們目前最主要的問(wèn)題。能耗也是當(dāng)前數(shù)據(jù)中心面臨的問(wèn)題,賴能和講到中石油某一個(gè)數(shù)據(jù)中心,需要的電費(fèi)兩、三千萬(wàn)。
閃存加速能源行業(yè)IT進(jìn)程
中國(guó)石油東方地球物理公司研究院處理中心的總工程師賴能和分享成功案例表示,進(jìn)入大數(shù)據(jù)時(shí)代,軟件定義存儲(chǔ)為大數(shù)據(jù)提供彈性存儲(chǔ)空間, 他認(rèn)為高性能計(jì)算發(fā)展促進(jìn)了油氣勘探技術(shù)的進(jìn)步,高精度算法能獲取更好的成像結(jié)果,顯然高密度采集與處理技術(shù)成為當(dāng)前地震勘探的應(yīng)用趨勢(shì)。
他得出的結(jié)論就是:大數(shù)據(jù)大型矩陣的求解必須采用閃存存儲(chǔ)陣列,對(duì)于海量數(shù)據(jù)交互處理,在彈性存儲(chǔ)中擴(kuò)展閃存模塊,有效提升效率。
如何降低能耗,如果用普通的技術(shù)肯定不行,但是閃存技術(shù)的應(yīng)用將來(lái)就會(huì)對(duì)我們有非常大的幫助。第一,對(duì)這種I/O密集型的運(yùn)算,中國(guó)石油東方地球物理公司研究院處理中心配置了高性能的并行處理系統(tǒng),加上海量的數(shù)據(jù)處理閃存系統(tǒng)。對(duì)于大數(shù)據(jù),文件是幾百個(gè)T,解方程,求解的話,用普通存儲(chǔ)陣列消耗的時(shí)間不容想象。一個(gè)156個(gè)億的記錄,用普通的盤陣要18天才能做完,用閃存3天就可以完成,提升了6倍。這只是閃存帶來(lái)的一個(gè)優(yōu)勢(shì),我們還有很多步驟,通過(guò)這種技術(shù)我們很快的解決了這個(gè)問(wèn)題,也就是閃存存儲(chǔ)。
IBM全閃存陣列應(yīng)用優(yōu)勢(shì)
對(duì)海量數(shù)據(jù)的交互處理,中石油有很多數(shù)據(jù)庫(kù)操作,用普通存儲(chǔ)很難解決。賴能和舉例說(shuō)明,采用IBM彈性存儲(chǔ),通過(guò)這幾年的應(yīng)用,存儲(chǔ)系統(tǒng)性能是非常穩(wěn)定的,持續(xù)的I/O并發(fā)也非常高。加速模塊閃存現(xiàn)在是810,峰值達(dá)到20個(gè)GB左右,消除了過(guò)去數(shù)據(jù)瓶頸的問(wèn)題,滿足了海量并發(fā)處理的要求。彈性存儲(chǔ)加上Flash加速模塊以后很好的解決了交互的問(wèn)題,并通過(guò)兩個(gè)數(shù)據(jù)說(shuō)明,傳統(tǒng)存儲(chǔ),一個(gè)命令反應(yīng)時(shí)間為300多秒,通過(guò)閃存加速20多秒就能反應(yīng)過(guò)來(lái)。通過(guò)對(duì)比性能提高很多,當(dāng)一套系統(tǒng)面臨幾百人同時(shí)用,通過(guò)閃存加速其效率明顯提升。
我們把數(shù)據(jù)庫(kù)原數(shù)據(jù)放在Flash盤上去,能夠很好的提升我們的I/O性能,這里我們也做了一個(gè)實(shí)驗(yàn),用IBM的彈性存儲(chǔ),我們的數(shù)據(jù)庫(kù)用的是甲骨文,能夠提升14000倍左右。而傳統(tǒng)存儲(chǔ)遠(yuǎn)遠(yuǎn)不能實(shí)現(xiàn)這個(gè)目標(biāo)。
同時(shí)送100個(gè)任務(wù)上去,用普通存儲(chǔ)和用IBM彈性存儲(chǔ)速度差好幾倍。用高性能并發(fā)I/O的彈性存儲(chǔ)能夠很好的解決并發(fā)問(wèn)題。
最后賴能和對(duì)能源行業(yè)數(shù)據(jù)應(yīng)用四點(diǎn)總結(jié):
地震勘探已經(jīng)進(jìn)入高密度采集、大數(shù)據(jù)時(shí)代,需要規(guī)模化的并行計(jì)算系統(tǒng);
海量地震數(shù)據(jù)處理需要高性能、大容量、低功耗、可擴(kuò)展的并行存儲(chǔ)系統(tǒng);
閃存技術(shù)應(yīng)用效果顯著,解決了大數(shù)據(jù)處理中普通HDD很難處理的疑難問(wèn)題;
工業(yè)應(yīng)用表明,彈性存儲(chǔ)架構(gòu),如IBM SOSS+FlashS810,簡(jiǎn)單、靈活、有效、性價(jià)比高,還可以根據(jù)需要隨時(shí)擴(kuò)展閃存加速模塊,其可靠性、可擴(kuò)展性能滿足海量地震數(shù)據(jù)并發(fā)處理需求。
因此,在他看來(lái),對(duì)于地震勘探這個(gè)領(lǐng)域,數(shù)據(jù)存儲(chǔ)與處理都必須要有更高的靈活、性能與彈性,這就要求存儲(chǔ)廠商在軟件定義存儲(chǔ)方面全面的、完整的數(shù)據(jù)解決方案。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.