以下為陳小波演講實錄整理:

英特爾(中國)有限公司存儲架構師陳小波在會上以EMC是否為軟件定義存儲一問引題,“EMC不是軟件定義存儲,確實不是,但存儲其實都由軟件來控制。”

濟南海關工程師分享了其選擇SDS的經驗

何為軟件定義存儲,何為對用戶最有用的軟件定義存儲?相信大家看完濟南海關高級工程師孟凡超的分享之后會有一個初步的認識。

孟凡超首先介紹了一個今年制作的全國海關跨境貿易電子商務系統(tǒng)流程圖,為國內貨物出口國外的基本流程。最左邊的SQL數據庫,最早之前是在存儲上,通過畫LINE的方式放置SQL數據庫。運行發(fā)現的問題主要集中在數據量較大——濟南海關一年報關單與抄單數為15萬份,加上它所有環(huán)節(jié)上的單量在70-80萬之間。

1

再加上現在還啟用了新一版的報關機制——無紙化報關。所有中間環(huán)節(jié)都以電子數據形式存儲在網絡上。

接下來的審單各個環(huán)節(jié)也通過讀取網絡上電子數據完成。這相當于海量存儲,用戶讀取或檢索需要很高的IOPS支持。而如果一票貨物都裝在一輛車里,卡口放行時由于需要讀取所有貨物所有報關單的信息,后臺SQL數據庫性能造成了一個瓶頸,用戶讀取單量的時候,產生很高的延時。里面放著數十份報關單,放行的時候,車行走卡口的位置,攝像頭取得他的車牌號之后,把后面所有報關單的信息全部給同步出來,看他的信息是否符合放行標準。

這個時候經常有一個現象——我這個車上到臺上去,需要等到很長時間,前面那個桿才抬起來。這個過程我們經過排查之后發(fā)現,確實對于我們通關來講效率低了很多,從今年開始我們也對整套系統(tǒng)進行了一個從頭到尾的排查,終于排查出來之后主要性能落在SQL數據庫上。

下一步我們通過最早之前SQL數據庫是用的2008版,做的是Windows自己帶的故障源集群。性能大家知道基本上是平時用的話只有一臺主機用,另外一臺是待機狀態(tài)。我們今年做了一個新的,就是用了SQL2012,有一個Alwayson集群。我有三臺主機,其中有兩臺它的數據庫是處在同步的狀態(tài),這個時候它的硬件應用率和原先2008的方式應該是利用率提高了。下面介紹它的性能來講是中間同步的關系,第三臺機器做了SQL一個異步的同步,對我的數據庫有三個副本。

這個過程當中,從一般傳統(tǒng)技術上來講,可能你要在主機下面掛的是存儲,今年我們采用的是本地磁盤。通過三臺主機安裝英特爾的PCIE SSD卡,做了一個數據庫整合,我把我的主數據庫都放在SSD上。我們再去測性能,發(fā)現延時基本被消除。這個系統(tǒng)運行一年之后,我們用NVMe和FC-SAN,性能提高5倍以上。原來半分鐘時間把數據從后臺讀到前端去,現在5秒左右就可以抬桿。之前計劃購買兩套FC-SAN,后來買了SSD卡把這個問題解決了。后來容災都沒有單獨再去購買。運維成本少了兩套FC-SAN存儲,包括機柜,耗電,空調,機房占用都節(jié)省掉,對人力成本也減少很多。因為我現在不太需要維護FC-SAN關鍵存儲,只需要維持它的正常運轉。

這個系統(tǒng)我們目前來講能夠對我們整套通關多元系統(tǒng)起到很好的支撐作用,雖然說中間可能沒有什么很好的創(chuàng)新,但是我們融合了幾種產品的優(yōu)點,能夠將它用于我們自己目前所做的工作。

我的匯報就到這。

應用軟件是定義存儲的關鍵

陳小波:說到存儲我們看它的特征,所有存儲從硬件來說就是兩塊,一個控制器,一個和控制器相連的磁盤。從軟件應用控制器上,軟件做什么?軟件高度抽象之后就三個作用——組織磁盤、輸出磁盤、容災。

存儲要做什么?存儲運用數據,既然是數據就是用戶最核心的IT資產,要求存儲安全可靠,穩(wěn)定運行。存取要求什么?要求性能,IOPS,bw(帶寬,每秒的吞吐量)、lat(每次IO操作的延遲)。應用的數據,剛才濟南海關說的很清楚,誰產生數據?應用產生數據,由應用來牽動你的軟件定義存儲或者操作各方面的存儲,使得你的應用從用戶層面看待整個核心。

數據中心面臨的五大問題——安全,可靠性,性能,易管理性和成本

傳統(tǒng)數據中心面臨的問題?;A硬件發(fā)展決定就是高效利用CPU多核,這是絕大多數用戶數據中心里面的環(huán)境,有一些單獨應用和數據庫在物理計算。對用戶來說比較普遍的幾個問題,性能是一方面,但性能不是最絕對的一個方面。很多大型用戶性能主體不嚴重,不嚴重的前提條件是他付出了非常昂貴的成本實現性能無虞。如果存儲性能不夠會是什么情況?我們有一個案例,一家公司買了32位的Oracle數據庫,三套數據庫要求10萬的IOPS,存儲只能給3萬。大家知道Oracle是根據日志浪費,浪費錢不說,它的業(yè)務也受到了影響。存儲性能不夠,造成你整體應用性能不夠,不僅僅是存儲的問題。

同時在新的數據中心逐漸走向虛擬化和云化的時候,你的存儲和虛擬化和云的結合是不是足夠的敏捷,足夠的彈性,這些是傳統(tǒng)的FC很難回答的問題。

從最終用戶角度來講,數據中心基礎架構來講始終是計算、存儲、網絡這三塊。每次由計算推動整個發(fā)展,現狀就是整個計算從小機走向IE架構,也從IE架構里面走上虛擬化和云化。技術推動這個,要求存儲和網絡跟上這個。存儲性能直接影響你的整體性能,大小用戶都受限于存儲性能。他們直接推動之后,形成新的平衡,以達到形成統(tǒng)一管理。

最終用戶需求是什么?他們會說,我不關心你們很多需求,我就關心第一我們的數據是不是安全的。數據安全是基本的要求。現在大家都知道整個超融合和SDS市場蓬勃發(fā)展,看上去都很好,誰是真正的好,誰是真正在保證我的數據安全,這是用戶的疑問。用戶填的第二個需求是簡單易用。這幾點用戶對幾個基礎架構追求統(tǒng)一起來,我們換成一個公式,如果你的安全有一點瑕疵,不管你前面性能多好,界面多么炫目,得分是0。我們有各種安全保障,系統(tǒng)穩(wěn)定可靠,不會因為單點故障失效,有容災等等,這是系數能否保證100分的算法。

傳統(tǒng)終端存儲,兩個控制器互相作用,提供SCN的接口,這是大家最熟悉的存儲形態(tài)。這種形態(tài)下,絕大部分廠家Gateway,能提供一個ISCSI,NFS和SMB協(xié)議,統(tǒng)一存儲??赡芤彩墙K端存儲的一個定義。

如果我們把控制器加多,磁盤加多,四個或者八個控制器,這是高端存儲。本質來講它和終端存儲一樣,只是控制器更多,整體能力更強一點。傳統(tǒng)盤在傳統(tǒng)架構不變的情況下,從機械硬盤換成SSD。各種架構都有,絕大部分都是這樣。這里有一個問題,控制器能力,軟件定義存儲,任何存儲都是這樣。

組織磁盤、輸出磁盤,組織磁盤第一我有各種技術,把盤組在一起提供,控制器這時候是瓶頸。我們把控制器拿出來盤減少,以前通過外設盤柜就放在控制器里面。用各種方式把它們連接起來,這個時候就叫分布式存儲,最早常見的分布式存儲。云存儲、對象存儲,傳統(tǒng)存儲無法提供海量數據的彈性擴展。

大家一說分布式存儲,主要是在互聯網為主提供的對象存儲上,云盤上,這比較廉價,為了降低成本,不一定用服務器,甚至用i3和i5的CPU。大家在日常工作中超融合,這個地方你不要受廉價PC的誤導,它不是干這個事的。廣義上講,所有的ServerSAN,HCI,Object都是分布式存儲。

大家都知道存儲里面的計算資源不多,如果我們再把兩個合并起來就是超融合。話是這么說。英特爾展臺有七家,外面神州云科他們展臺上有一個測試規(guī)范。其中有一項就是你用多少資源達到多少性能。有幾個指標,其中一點就是用很少的資源實現一個相對較高的性能。你把本該用于虛擬化的計算資源和內存資源用于你的存儲,這被認為是失敗的超融合。我們只計算節(jié)點里面少量計算資源和內存資源。

大家都有一個想法,對于不同的應用,它們對于性能、成本、可擴展性、敏捷性的要求不一樣。比如云計算非常要求敏捷性,數據庫其實不太要求敏捷性,數據庫要求極限性。在我們分布式存儲里面它的原數據怎么設計,要求不同。大家想用一種技術去實現是有困難的,甚至大家強求分布式,其實有時候并不都需要分布式。剛才濟南海關孟凡超講的,單機用的就是本地的軟件保護技術,軟件定義的軟件保護技術。整體兩地三中心,用的不是分布式軟件,是整體的兩地三中心全閃的數據庫解決方案。性能、成本各方面的解釋,不一定需要強求。

組織磁盤,用于云的超融合可以在更高層面。輸出,在超融合,不管數據庫超融合還是云的超融合有一點很隱含的優(yōu)勢。只輸出給本機,減少它在設計和性能上的拼接。更高層面由別的軟件進行,不管是HAA+DR的設計。最早是數據庫要求的,原來不完善,現在數據可以做到。其實Oracle也可以做到。

再簡單講兩點,最核心的兩點,數據安全和性能。安全主要矛盾是軟件,硬件也有要求,有各種的容災方案,主要矛盾是軟件。我們測試也是軟件,是一切的前提。他擔心出問題,成功案例很重要,測試方法很重要。核心來說,就是在虛擬機中跑數據庫,各種破壞性測試。通過我們這個測試,它一定沒問題。在我這測試8臺、16臺的規(guī)模,他實際是32臺,有的問題在小規(guī)模爆發(fā)不出來,大規(guī)模可以爆發(fā)出來。

簡單說怎么測?兩個數據庫不停的查數據,跑FIO,給它數據量。做各種破壞性測試,拔網線,關機等等破壞性測試。應用不停頓,關機應用肯定會停頓,我的所有都是好的。

性能主要矛盾是硬件,不是軟件。軟件廠家之間的區(qū)別就是一個打羅漢拳,一個打太極拳,打的好的都一樣。硬件決定你性能的基礎,我給你100分性能,軟件決定把這個性能發(fā)揮60分還是40分。軟件設計的好與壞,40和60分的差距很大。任何性能上的投機取巧會付出數據安全的代價。傳統(tǒng)存儲上,比如EMC是靠UPS去保證內存中的數據庫,如果說它沒有相應的保證,我不相信誰有幾百個、上千個存儲節(jié)點的UPS。如果它沒有各種措施,任何想在性能上投機取巧,用戶一定會扶持血淋淋代價。

磁盤轉速決定你的Random性能,RPM還能磁密度上升,容量還能提高,現在是8T,16T,32T,你即使性能提升了,你的rebuild,在容量增加后數據安全性也會很危險。怎么選?我看可靠性。可靠性第一,數據庫大家經??紤]性能,其余可以考慮性價比。

解決方案和結論,第一軟件,選適合你的軟件,用合適方法測試它們。這也符合二八定律,不會百分之百都落在SSD里面。

除了英特爾還有軟件,英特爾還用于OPA。大家對英特爾的OPA感興趣請聯系我們。謝謝大家。

分享到

崔歡歡

相關推薦