紫光西部數(shù)據(jù)有限公司高級產(chǎn)品經(jīng)理田成
以下為嘉賓演講實錄:
這是一個數(shù)據(jù)大爆發(fā)的時代,人工智能,AI,包括現(xiàn)在增強虛擬現(xiàn)實都是比較新的技術(shù),Docker最近炒的非?;?,因為它很有可能取代現(xiàn)在非常火的虛擬主機技術(shù),當然這只是大家的一個想法,但目前來看虛擬主機在主流行業(yè)當中還是占據(jù)非常主導的地位,那Docker憑什么能夠取代虛擬主機,這個是值得大家思考的問題。
我的體會是它作為一個新興技術(shù)是怎么樣充分滿足用戶新需求,我們就先說一下虛擬主機,大家都很熟悉,你買一臺物理主機,安裝相應的一些軟件,就可以把這臺主機虛擬成多臺虛擬主機,你會在不同的虛擬主機上不同的OS在上面,這就是虛擬主機的概念。但是Docker完全顛覆了這個概念,大家在同一個物理主機里面共享OS(操作系統(tǒng))層,這樣可以給客戶帶來幾大好處,第一OS層省掉了,我啟動一個Docker,它的速度就變得非常快,以前啟動一個OS速度是分鐘級,對于Docker來說它是秒級啟動,我在給一個用戶部署一個應用的時候,幾乎是不需要花時間,就能夠把這個應用完全啟動起來。這個技術(shù)帶來的,我們現(xiàn)在有個中文名稱叫容器技術(shù),容器技術(shù)給大家?guī)淼母淖兪欠浅>薮蟮摹?/p>
一些比較大型的銀行業(yè),他們現(xiàn)在已經(jīng)非常深入的在研究容器技術(shù),其中最主要的就是Docker技術(shù),研究這個容器技術(shù)的時候把握了幾個點,如果大家做過傳統(tǒng)銀行業(yè)務,你會發(fā)現(xiàn)它的運營部門和開發(fā)部門是兩個完全獨立的部門,兩個部門之間會有一個溝通的橋梁,如果這個溝通橋梁做的不好的情況下,這時候開發(fā)速度也好,上線速度也好都會變得非常非常緩慢。
我們知道一家傳統(tǒng)的銀行系統(tǒng)至少都是一個上百級的應用,如果我們在上百個應用里面,每一個應用開發(fā)速度都是以月為周期作為單位的話,那這個開發(fā)進度是不可想象的,所以銀行業(yè)決定變革,怎么變革,他們充分運用新的技術(shù),新的容器技術(shù)或者新的開發(fā)理念能夠加快從開發(fā)測試到上線的時間和速度,我之前的一些經(jīng)歷表示,一個新的系統(tǒng)上線現(xiàn)在已經(jīng)縮短到以周或者以天為計算單位,這種變革實際上是發(fā)生在我們每一個人的周圍,大家都是做IT的,也都是做存儲的,這種變化我們生活當中已經(jīng)非常深刻的領會到了。
我之前還做過一些項目,比如跟智能工廠,智能物聯(lián)網(wǎng)相關的比較大型的項目,這些項目的共同特點跟我們過去的想法完全不一樣,過去是什么想法呢,我按一個訂單,比如我生產(chǎn)汽車,這個汽車我生產(chǎn)出來什么顏色,用戶就只能購買這個顏色,現(xiàn)在汽車生產(chǎn)方式已經(jīng)變成了訂單化的生產(chǎn)模式,我要什么顏色會生產(chǎn)出什么顏色,我們能夠不停的發(fā)現(xiàn)數(shù)據(jù)的變革,也是用戶需求的變革,這就是我的主題,這是一個數(shù)據(jù)爆發(fā)的時代。
既然有這么大量的數(shù)據(jù)存在,必然就會有一些數(shù)據(jù)是快數(shù)據(jù),什么叫快數(shù)據(jù),交易類型的數(shù)據(jù),建模數(shù)據(jù),智能工廠的數(shù)據(jù),這些快數(shù)據(jù)對數(shù)據(jù)的要求就是IO的速度一定要快,它的性能一定要高,它的延遲一定要低。有快數(shù)據(jù)的同時還會有一些溫數(shù)據(jù)或者慢數(shù)據(jù),什么樣的數(shù)據(jù)是溫數(shù)據(jù)或者是慢數(shù)據(jù)呢,比如說我們要做一些分析,要做一些預測,要做一些合規(guī)的數(shù)據(jù),這個數(shù)據(jù)我們叫慢數(shù)據(jù)或者溫數(shù)據(jù),這個數(shù)據(jù)的特別就是容量非常高,高容量的數(shù)據(jù)。所以我們現(xiàn)在的數(shù)據(jù)業(yè)務特點從我現(xiàn)在的歸納來看主要分為兩大塊,一個是對性能要求很高的數(shù)據(jù),一個對容量要求很高的數(shù)據(jù),看似是兩個矛盾的東西,我們能不能整合在一起,這是我們今天要討論的重點話題。
剛才提了數(shù)據(jù)的多樣性,我們來看一下不同的數(shù)據(jù)介質(zhì)能夠帶來什么樣的結(jié)果,我們的CPU,有緩存一二三級,這個CPU是作為數(shù)據(jù)處理終極介質(zhì),處理速度非???,是以納秒級的速度處理。這個是我們常用的內(nèi)存還有NAND的存儲介質(zhì),容量比CPU高一些,但是速度降低,以毫秒級為計算單位。再往上就是FLASH,我們已經(jīng)能做到7.68TB,這個容量已經(jīng)非常大了,以至于我們現(xiàn)在普通的HDD可能都比不上,最后就是我們普通的硬盤,它的容量是逐漸上升的,速度是逐漸下降的,成本也是逐漸下降的,我們對數(shù)據(jù)不同的介質(zhì)給我們帶來的好處是不一樣的,怎么通過不同的介質(zhì)最終使整個系統(tǒng)有效的運行下來。
我們就需要考慮幾個話題,一個就是存儲介質(zhì)的性能是不是足夠好,有幾個指標,IOPS、延遲和帶寬,作為存儲最基本的指標我們應該了解,這個數(shù)據(jù)存儲設備是不是能夠滿足性能的要求。
第二點就是可靠性,因為我們知道做數(shù)據(jù)存儲最關鍵的就是可靠性,我們有沒有相應的內(nèi)存的保護機制,緩存如果失效了,我們是不是能夠把緩存的信息及時的保存下來,有沒有雙活的架構(gòu),你的架構(gòu)設計是不是雙活的,一個控制器失效,另外一個控制器是不是能接著工作。第三有沒有一個完整的數(shù)據(jù)完整性的保護措施。然后是效率,我們都會關心數(shù)據(jù)精簡,元數(shù)據(jù)加速,應用程序集成,統(tǒng)一管理,第四就是特性,你這個存儲設備是不是能夠?qū)崿F(xiàn)多協(xié)議訪問。最后一點就是你這個存儲設備是不是具有足夠的經(jīng)濟性,是不是夠便宜,是不是能夠買得起,你的介質(zhì)是不是具有自適應的特性,這些都是我們對一個存儲系統(tǒng)所需要關注的幾個點。
一款存儲設備,是內(nèi)存優(yōu)先的一個存儲架構(gòu),我們數(shù)據(jù)在讀取的時候,是優(yōu)先把數(shù)據(jù)存在內(nèi)存里面,那怎么在內(nèi)存里面對數(shù)據(jù)進行處理,這是我們非常關注的一個話題,我們后面會有詳細的解釋。再往下存,就是我們剛才提的flash硬盤還有普通的硬盤,這幾者之間是什么關系,我們數(shù)據(jù)進來以后首先經(jīng)過內(nèi)存,然后經(jīng)過非適應性內(nèi)存,DRAM在這里面起到什么作用,一旦緩存的數(shù)據(jù)失效了,它能夠有效的保護或者保存數(shù)據(jù),這個也是我們西部數(shù)據(jù)的一個創(chuàng)新點。
怎么做到極速性能提升,我們來看一下,左邊這個是傳統(tǒng)的存儲設備,兩個完全混雜在磁盤里面,這樣有個問題,使整個IO訪問速度非常受限,右面是現(xiàn)在我們做的。剛才提到了企業(yè)特性,就是我們作為存儲系統(tǒng)常用的在線壓縮和重刪,在我們紫光西部數(shù)據(jù)里面,壓縮和重刪有一點不一樣,數(shù)據(jù)進來之后首先進行在線的壓縮,直接在內(nèi)存或者緩存里面做壓縮,壓縮以后再做重刪,重刪的數(shù)據(jù)還是保留在內(nèi)存里面,通過數(shù)據(jù)精簡提高整個緩存或者閃存利用率,我們數(shù)據(jù)進來以后首先就能看到有哪些數(shù)據(jù)被保留下來了,能夠?qū)崿F(xiàn)整體的數(shù)據(jù)性能的提升。
這個是應用在不同的應用場景,有非結(jié)構(gòu)化數(shù)據(jù),還有一些消息、社交、虛擬化、桌面、分析、交易之類的,所有的這些應用都可以通過這一個設備實現(xiàn)。為什么能夠?qū)崿F(xiàn),是因為它有非常豐富的企業(yè)級特性,有全面的數(shù)據(jù)完整性,有元數(shù)據(jù)加速,有智能的緩存,有通過簡單的滑塊實現(xiàn)硬盤的對比,還有多協(xié)議的數(shù)據(jù)訪問,因為它可以支持非結(jié)構(gòu)化數(shù)據(jù),一些最基本的閃存系統(tǒng)的功能我們都有。
謝教授是專門研究閃存持久性的,大家知道閃存是有壽命的,什么樣的情況下我們能夠使閃存的持久性保存的更好,肯定要用一個非常先進的算法來實現(xiàn),這個算法就是我們現(xiàn)在OS的核心,可以采用大數(shù)據(jù)塊寫入的方式,或者順序的寫入方式,實現(xiàn)整個閃存長久的使用。上午有的廠商提到我們的閃存可以使用100年,我也可以承諾我們閃存的持久性可以達到100年。
我們承諾數(shù)據(jù)縮減達到4:1的比例,這個是史無前例的,全閃和混閃都有,這個不是所有廠商都能做到的。第二個我們能夠承諾全閃性能達到或者接近100萬IOPS,時延能夠達到0.1毫秒。這個是我們實驗室的實測數(shù)據(jù),所以我們也敢在這個地方給大家做一個承諾。全承諾,真賠償,我們不是做廣告,我們是在這邊會有一個正式的承諾給到大家,如果有合作伙伴或者是廠商對這個承諾感興趣,可以直接找我們銷售,銷售會告訴大家怎么做這個承諾,怎么做這個賠償。
上午胡總也發(fā)布了一個新產(chǎn)品,其實就是基于NVMe新的全閃存儲產(chǎn)品,我在這邊強調(diào)一點,我們在NVMe全閃存儲里面我們是第一家可以支持統(tǒng)一存儲的,我們支持任意的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第二點我們是統(tǒng)一的軟件平臺,我們的NVMe這個平臺跟普通的平臺用的是同一個軟件,也就意味著用戶使用起來的時候不會感覺到任何不方便,因為它的使用習慣完全都是一樣的。最后一個很重要,支持企業(yè)級全特性,剛才提到的克隆、快照、復制之類的所有的企業(yè)級特性在我們現(xiàn)在這塊全部都能提供。紫光西部數(shù)據(jù)在一年之前成立這家公司,最早的目的就是能夠把世界上最先進的存儲和磁盤產(chǎn)品帶給大家,所以我相信一年以后我們也會秉承這個理念,能夠把最新產(chǎn)品和最新的技術(shù)帶給大家或者帶給合作伙伴,或者客戶。最后,紫光西部數(shù)據(jù)我們雖然是一家新成立的公司,但是我們是一家具有開拓性和創(chuàng)新性的公司,我們希望通過這款創(chuàng)新的閃存系統(tǒng)能夠幫助客戶全面實現(xiàn)業(yè)務轉(zhuǎn)型,謝謝大家。