IDC數(shù)據(jù)增長(zhǎng)趨勢(shì)預(yù)測(cè)

IDC指出，?前每年存儲(chǔ)下來的數(shù)據(jù)只有新創(chuàng)建數(shù)據(jù)的1%左右，其中真正挖掘出價(jià)值的數(shù)據(jù)量不?存儲(chǔ)數(shù)據(jù)的10%。數(shù)據(jù)資產(chǎn)已成為企業(yè)數(shù)字化轉(zhuǎn)型的核心，未來隨著大數(shù)據(jù)和AI技術(shù)的發(fā)展，數(shù)據(jù)存儲(chǔ)比例和挖掘比例必將大幅提升，需要專業(yè)的分布式存儲(chǔ)來提供更高的存儲(chǔ)容量和并發(fā)性能。Gartner定義的第二存儲(chǔ)陣列也將大數(shù)據(jù)分析作為其典型應(yīng)用場(chǎng)景，認(rèn)為未來的大數(shù)據(jù)分析會(huì)為分布式存儲(chǔ)帶來海量的數(shù)據(jù)和性能需求。

分布式存儲(chǔ)市場(chǎng)表現(xiàn)

IDC將分布式存儲(chǔ)歸入了軟件定義存儲(chǔ)來跟蹤，IDC發(fā)布的《中國(guó)軟件定義存儲(chǔ)(SDS)及超融合存儲(chǔ)(HCI)系統(tǒng)市場(chǎng)季度跟蹤報(bào)告，2019年第二季度》顯示，中國(guó)區(qū)軟件定義存儲(chǔ)已經(jīng)連續(xù)多個(gè)季度同比大幅增長(zhǎng)。

IDC中國(guó)區(qū)SDS存儲(chǔ)2017Q2-2019Q2銷售數(shù)據(jù)

按IDC的預(yù)測(cè)，中國(guó)區(qū)SDS存儲(chǔ)銷售從2018年到2023年將保持20%以上的年化增長(zhǎng)率;隨著5G、物聯(lián)網(wǎng)和人工智能快速發(fā)展，到2023年，全球40%左右的存儲(chǔ)系統(tǒng)都將是分布式存儲(chǔ)架構(gòu)。另一家調(diào)研機(jī)構(gòu)Zion Market Research更是預(yù)測(cè)，全球分布式存儲(chǔ)的銷售額將從2018年的20億美元快速增長(zhǎng)到2027年的285億美元，年化增長(zhǎng)率高達(dá)34.7%。無論從過去幾年的銷售數(shù)據(jù)還是未來幾年的銷售預(yù)測(cè)來看，分布式存儲(chǔ)的春天已經(jīng)到來，以Ceph為代表的開源分布式存儲(chǔ)蓬勃發(fā)展，以EMC、華為為代表的專業(yè)存儲(chǔ)廠商重兵投入，同樣也印證了這一結(jié)論。

IDC中國(guó)區(qū)SDS存儲(chǔ)2018-2023年銷售數(shù)據(jù)預(yù)測(cè)

分布式存儲(chǔ)技術(shù)發(fā)展趨勢(shì)

分布式存儲(chǔ)是未來的發(fā)展方向已成為業(yè)界共識(shí)，那么分布式存儲(chǔ)技術(shù)上又有哪些發(fā)展趨勢(shì)呢，這點(diǎn)可以從Gartner分布式文件&對(duì)象存儲(chǔ)關(guān)鍵能力要求和各大主流廠商的產(chǎn)品方向上來看一下：

極致效率

Gartner對(duì)第二存儲(chǔ)的定義是：首要目的是經(jīng)濟(jì)高效地支持延遲和IOPS不是必需屬性的非結(jié)構(gòu)化數(shù)據(jù)工作負(fù)載， 典型用例包括長(zhǎng)期歸檔，大數(shù)據(jù)分析應(yīng)用程序的存儲(chǔ)庫(kù)，深度歷史研究以及備份/恢復(fù)軟件的備份/恢復(fù)目標(biāo)。這就意味著，分布式存儲(chǔ)的首要目標(biāo)是提供極致效率的數(shù)據(jù)存儲(chǔ)方案。

從Gartner分布式文件&對(duì)象存儲(chǔ)關(guān)鍵能力要求來看，效率主要體現(xiàn)在幾個(gè)方面：

? 擴(kuò)展性：整集群應(yīng)具備擴(kuò)展到幾百甚至上千存儲(chǔ)節(jié)點(diǎn)的能力，簡(jiǎn)化管理;單文件系統(tǒng)或單桶需要支持幾百甚至上千億文件，應(yīng)對(duì)現(xiàn)在及未來的海量文件挑戰(zhàn)。

? 互通性：以自動(dòng)駕駛為代表的新型應(yīng)用已經(jīng)越來越多的使用了文件、對(duì)象、HDFS多種訪問協(xié)議，多協(xié)議互通可以避免文件的多次拷貝，有效提升文件的共享訪問效率。

? 存儲(chǔ)效率：分布式存儲(chǔ)需要使用大比例EC(Erasure Coding)替代傳統(tǒng)的副本技術(shù)，獲得更高的存儲(chǔ)利用率;應(yīng)具備重刪、壓縮等數(shù)據(jù)縮減能力，相同硬件可存儲(chǔ)更多的用戶數(shù)據(jù);應(yīng)支持高密硬件，應(yīng)對(duì)海量數(shù)據(jù)的空間占用和功耗問題;應(yīng)具備數(shù)據(jù)分級(jí)能力，熱、溫、冷數(shù)據(jù)可以使用不同的存儲(chǔ)硬件;

極致性能

分布式存儲(chǔ)不以支持低時(shí)延和高IOPS為首要目標(biāo)，但并不意味著性能對(duì)分布式存儲(chǔ)就不重要了。IDC在《Data Age 2025》的報(bào)告中預(yù)測(cè)，實(shí)時(shí)數(shù)據(jù)占比將逐年提升，到2025年實(shí)時(shí)數(shù)據(jù)占比將達(dá)到30%，這么大規(guī)模的實(shí)時(shí)數(shù)據(jù)，很大一部分是需要借助分布式存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)和分析的，這就需要分布式存儲(chǔ)能夠提供極致性能來應(yīng)對(duì)。

IDC全球?qū)崟r(shí)數(shù)據(jù)占比預(yù)測(cè)

比較典型的如金融的風(fēng)險(xiǎn)評(píng)估、交通的自動(dòng)駕駛、新興的AI應(yīng)用，都需要從海量數(shù)據(jù)中快速獲取所需的信息并進(jìn)行實(shí)時(shí)分析，這就要求存儲(chǔ)提供亞毫秒級(jí)的響應(yīng)時(shí)延，同時(shí)以高擴(kuò)展性應(yīng)對(duì)高并發(fā)處理性能需求。業(yè)界主流廠商如EMC、PureStorage、華為等都推出了基于全閃存的分布式存儲(chǔ)產(chǎn)品，通過存儲(chǔ)軟件、專有硬件、網(wǎng)絡(luò)的深度配合，來滿足上層應(yīng)用的極致性能需求。

智能管理

傳統(tǒng)數(shù)據(jù)中心多采用中心管控、集中運(yùn)維的方式，故障定位多依賴專家的經(jīng)驗(yàn)，隨著存儲(chǔ)集群規(guī)模的增大和新技術(shù)的發(fā)展，這一模式運(yùn)行的成本越來越高。各主流廠商紛紛推出“AI in Storage”的概念，利用云上云下技術(shù)結(jié)合，實(shí)現(xiàn)存儲(chǔ)的智能管理。

云下數(shù)據(jù)中心，以服務(wù)化的方式統(tǒng)一管理不同存儲(chǔ)設(shè)備，實(shí)現(xiàn)資源的自動(dòng)化分配和數(shù)據(jù)在線流動(dòng)，簡(jiǎn)化業(yè)務(wù)發(fā)放;云下設(shè)備側(cè)，內(nèi)嵌AI能力學(xué)習(xí)用戶的操作習(xí)慣和IO模型，和云上模型庫(kù)匹配實(shí)現(xiàn)性能自動(dòng)優(yōu)化。云上統(tǒng)一運(yùn)維側(cè)，分析云下海量設(shè)備的容量和性能增長(zhǎng)的共性規(guī)律，實(shí)現(xiàn)容量和性能風(fēng)險(xiǎn)提前預(yù)測(cè);分析云下設(shè)備的故障處理共性規(guī)律，提供故障預(yù)測(cè)能力及自動(dòng)處理方案。

小結(jié)

隨著Cloud和AI時(shí)代的數(shù)據(jù)爆發(fā)式增長(zhǎng)，分布式存儲(chǔ)的春天已經(jīng)到來，用戶已經(jīng)越來越多的選擇分布式存儲(chǔ)。通過協(xié)議互通、EC、重刪壓縮、高密等技術(shù)達(dá)成極致效率是分布式存儲(chǔ)的核心競(jìng)爭(zhēng)力;軟硬件深度配合，云上云下協(xié)同，實(shí)現(xiàn)極致性能和智能管理成為分布式存儲(chǔ)發(fā)展的重要趨勢(shì)。

songjy