杭州宏杉科技股份有限公司技術(shù)總監(jiān)曹鎮(zhèn)

宏杉科技致力做專業(yè)存儲已有十年,數(shù)據(jù)量的增長和十年前甚至二十年前相比整個變化已經(jīng)不在一個級別。到2024年,全球基本上可以看到近200GB數(shù)據(jù)量的增長。

在十年前,大家都談核心交易系統(tǒng),我們談的是一些結(jié)構(gòu)化的數(shù)據(jù),現(xiàn)在所處的時代,按照IDC新的說法,幾個大方向都在轉(zhuǎn)變,我們現(xiàn)在所處的類似于非結(jié)構(gòu)化數(shù)據(jù)年代。

大家可以看一下,首先是全閃加速,在2010年的時候,890片10K轉(zhuǎn)速的2.5寸盤,能夠跑到十萬的IOPS。那個時候我們來講,都已經(jīng)歡欣雀躍了,我們覺得是當時業(yè)界最高的值了。但是現(xiàn)在可以看到,拿閃存來講,幾乎整個延遲和性能都是巨大飛速的提高。也就是說今天看到所有存儲的瓶頸,基本上原來都是后端介質(zhì),但是閃存來了之后,確實給這個時代整個發(fā)生了一個變化是相當大的。

第二個,我們看到更多的解決方案包括一些廠商在原來自己產(chǎn)品方案都提過數(shù)據(jù)湖這個概念,可是當時沒有感應(yīng)到結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)產(chǎn)生,還有在AI現(xiàn)在這個年代里面,這些數(shù)據(jù)真正形成數(shù)據(jù)湖之后,我們才發(fā)現(xiàn)有諸多的盲點。比如說實際應(yīng)用解決方案當中怎么把對象存儲和NAS替換還是結(jié)合,包括在一些結(jié)構(gòu)化影像來講,幾億數(shù)據(jù)怎么解決等等都有很大的變化。后面再看主要是兩個更大的方向,一個是對象存儲,再一個是軟件定義。

對象存儲和軟件定義是長期趨勢

對象存儲在最開始應(yīng)用起步時,是一些做內(nèi)容管理的公司推出來的。2006年的時候,我們看到一些傳統(tǒng)的存儲企業(yè)在談對象存儲這個概念,但是似乎剛需應(yīng)用沒有來,因為沒有看到更多的非結(jié)構(gòu)化數(shù)據(jù),比如微信一天的非結(jié)構(gòu)化數(shù)據(jù)圖片15億張,這是一個相當大的非結(jié)構(gòu)化數(shù)據(jù)時代,所以需要在對象存儲和軟件定義這部分。

我們?yōu)槭裁匆v軟件定義,因為對象存儲真正的應(yīng)用興起還是因為云,幾個云的廠商,包括BAT。在軟件定義的時候基本上把對象存儲上升到軟件定義,扁平的概念,就類似于像看谷歌一樣,沒有搞清楚谷歌為什么用一個新型的GFS替換SAN,但是在今天才意識到互聯(lián)網(wǎng)時代,數(shù)據(jù)整個存儲結(jié)構(gòu)整個變化性是非常大的。跟大家說一下,現(xiàn)在切身有一個體會,目前行業(yè)幾個相關(guān)應(yīng)用,比如說高性能預(yù)算數(shù)據(jù)元數(shù)據(jù)IOPS上,我們看到更多有一些SPC方案,現(xiàn)在基本上NVMe SSD來做元數(shù)據(jù)節(jié)點,要求值從早期看到幾十萬的大IOPS到現(xiàn)在的幾千萬IOPS,這是發(fā)生的一個變化。

比如說數(shù)據(jù)湖,現(xiàn)在4K、8K炒了很多年,大家知道一個8K的片子, 原片基本上是2TB,帶寬會對整個數(shù)據(jù)性能上產(chǎn)生極致的變化。我們剛剛講SPC-1,帶寬這方面也是很大的變化。再一個海量的數(shù)據(jù)對應(yīng)對象存儲,因為現(xiàn)在非結(jié)構(gòu)化數(shù)據(jù),只要實體有的應(yīng)用基本上都是億級的文件來做技術(shù)。

宏杉最早起步主要聚焦于SAN,在后面幾年的變化中,宏杉在文件和對象包括軟件定義還有備份的解決方案,也做了大量更新。在2020年的也是把產(chǎn)品線分成四大類,一個是傳統(tǒng)SAN存儲,另外一個基于整體結(jié)構(gòu)上構(gòu)建了一個比較完整的文件系統(tǒng),再一個開發(fā)了對象存儲,后面也是有一些合作方面整個備份的解決方案。

2020年目標還是在一個平臺之上能夠把自己真正原有企業(yè)落地解決方案整合在一起。2016年3月30日,宏杉首次發(fā)布CloudSAN平臺,在2019年升級為CloudSUN解決,把所有的存儲方案整體打通。

這是NVMe的時代

從我入圈開始,大家一直遵循兩件事情,一件事情當年做硬盤的時候,存儲最大的時候都是因為硬盤,而且是主流,所以硬盤在SSD出來之前,始終解決不了的一個問題,主要還是這個盤本身的延遲和后端協(xié)議上的問題。當年的時候,SCSI3這個協(xié)議,當年已經(jīng)足夠了,包括后來看到所謂SAS一些協(xié)議,不管是2.0和3.0,主要還是基于SCSI3。NVMe出現(xiàn)的時候,大家在當年都是略微有一些措手不及,第一個發(fā)現(xiàn)了具有這樣一個低延遲發(fā)生,NVMe本身的SSD做的盤的延遲已經(jīng)到了幾個ms這樣一個狀況,整體上的延遲在100ms以內(nèi),各存儲廠商看到NVMe第一眼的時候,大家就想把盤陣延遲做到這么大。

在當年注定NVMe入局的時候,更重要的是下一步,今天大家看到所有的盤陣還有幾個廠商測試的時候,一會兒可以給大家看一下,大家比拼的是SCSI3。下一步的時候是在那個協(xié)議上,在NVMe-oF。

所以現(xiàn)在各廠商下一步競爭,是把自己前端接口協(xié)議放在NVMe-oF上面,這是一個大家目前正在忙的事情。在這個基礎(chǔ)數(shù)字上我們也做一些基本的拆解,我們發(fā)布了第一款NVMe全閃產(chǎn)品,MS7000G2-Mach在SPC-1測試中打破多項世界記錄:1.16控IOPS 1100萬,全球排名第一;2.單控IOPS 68.75萬,全球排名第一;3. 最高壓力時延,0.337ms,全球排名第一。

MOFS SAN共享與分布式構(gòu)建極致性能。BigHash快速Hash,采用Hash的方式對目錄和文件進行查收。針對文件類型、文件路徑等不同的屬性參數(shù)自適應(yīng)不同的Hash算法,索引速度提升100%。Unimem單一拷貝,減少同一份數(shù)據(jù)在傳輸和存取過程中多次在內(nèi)存中copy的現(xiàn)象,延遲減少50%。

節(jié)點間平滑數(shù)據(jù)流動,XAN網(wǎng)絡(luò)10/25/40/100Gb低延遲以太網(wǎng)、32GbPCIE網(wǎng)絡(luò)?,F(xiàn)在各個廠商都在做文件和對象無縫轉(zhuǎn)換,已有文件系統(tǒng)性能下降,文件個數(shù)急劇增多不堪重負,文件系統(tǒng)多種格式,有不同廠家的文件系統(tǒng),數(shù)據(jù)遷移業(yè)務(wù)不能中斷,宏杉MOSS創(chuàng)新技術(shù):文件與對象間自動轉(zhuǎn)換。UDP特點,文件和對象間可自由轉(zhuǎn)換,可相互備份、拷貝和移動,支持多份拷貝,文件及對象可并行工作并實現(xiàn)數(shù)據(jù)同步。

存儲格局巨變,宏杉以創(chuàng)新引領(lǐng)變革

未來面臨的存儲是軟件定義和分布式和傳統(tǒng)一些存儲相融合的方案,所以在整個方案上,宏杉提出了MOGS的概念,類似于云網(wǎng)通,把結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)在公有云上面做無縫遷移。

總結(jié)一下,從宏杉的愿景,首先是立足于基于SAN的存儲,在存儲原有比較原始的存儲虛擬化包括SAN的整合,構(gòu)建CloudSUN。我們更多也看見整個存儲平臺的數(shù)據(jù)發(fā)生了結(jié)構(gòu)化的數(shù)據(jù),不僅僅是結(jié)構(gòu)化的數(shù)據(jù)還有非結(jié)構(gòu)化的數(shù)據(jù)。在這個平臺之外,在自己的存儲控制器里能夠啟動自己的虛擬化的概念,宏杉將來的存儲是做的類似于超融合的架構(gòu),包括傳統(tǒng)的備份會兼容。事實上來講,十年前最熱的話題,兩地三中心,可能現(xiàn)在提得比較少了,實際上今天看到整個存儲結(jié)構(gòu)來講基本上在原來數(shù)據(jù)庫層面演變,將來云化在這個方案上來講,各個廠商實施新的方式,我們也會面向未來的數(shù)據(jù)管理,提供CloudSUN整體解決方案。

另外幾個方向性,國家提出新基建包括整個醫(yī)療、交通還有自主可控的方方面面,宏杉也在做相關(guān)的積極投入,新型基礎(chǔ)設(shè)施是以新發(fā)展理念為引領(lǐng),以技術(shù)創(chuàng)新為驅(qū)動,以信息網(wǎng)絡(luò)為基礎(chǔ),面向高質(zhì)量發(fā)展需要,提供數(shù)字轉(zhuǎn)型、智能升級、融合創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。其中,在銀行領(lǐng)域,宏杉對金融行業(yè)文件歸檔和檢索提供服務(wù)支持。特別是疫情之后,宏杉把對象存儲數(shù)據(jù)湖方案廣泛應(yīng)用在醫(yī)共體的方案上,將來社區(qū)醫(yī)療扁平化,整個醫(yī)院信息的拉通方面來講,在對象存儲和數(shù)據(jù)湖方案方法上是比較多的。而在交通強國這塊,宏杉也推出了大量的解決方案,包括傳統(tǒng)一些基于視頻監(jiān)控元數(shù)據(jù)管理對象存儲方案,還有集成的NAS方案,也是將來的重點。

分享到

zhangnn

相關(guān)推薦