以下內(nèi)容根據(jù)峰會現(xiàn)場演講速記整理：

新數(shù)據(jù) 新需求

陳小亮：尊敬的各位領(lǐng)導(dǎo)、各位來賓：大家下午好！我是來自深信服的陳小亮，目前在公司主要負(fù)責(zé)基礎(chǔ)架構(gòu)業(yè)務(wù)。深信服的基礎(chǔ)架構(gòu)業(yè)務(wù)主要包括：桌面云、負(fù)載均衡、軟件定義廣域網(wǎng)（SD-WAN），以及軟件定義存儲（SDS）等多個產(chǎn)品和解決方案。今天主要想談?wù)劥鎯?，與大家分享深信服過去幾年在存儲或者在軟件定義存儲方面打造的核心能力和技術(shù)創(chuàng)新。

首先我們來看一下與存儲相關(guān)的技術(shù)以及應(yīng)用上的一些變化。對用戶來說，過去的業(yè)務(wù)更多的是以O(shè)A和數(shù)據(jù)庫等傳統(tǒng)的數(shù)據(jù)為主，產(chǎn)生的大多是結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)規(guī)模總體不大，每年的增量可能也就幾個T。而現(xiàn)在，隨著云計算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等新興技術(shù)廣泛應(yīng)用之后，數(shù)據(jù)增量非常大，使得數(shù)據(jù)產(chǎn)生了一些新的特點。比如數(shù)據(jù)的增長更快了，數(shù)據(jù)來源更加多樣化了，對數(shù)據(jù)處理的性能要求更高了。

“新數(shù)據(jù)”的新特點對存儲提出了新的需求，總結(jié)為以下五點：

第一，當(dāng)數(shù)據(jù)變大變多了之后，需要有更大的存儲空間，往往需要PB級空間來存儲這些結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

第二，深信服認(rèn)為，未來80%以上的數(shù)據(jù)都會是非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的特點是占用空間很大，增長非?？焖?，要求存儲有超大規(guī)模擴展性。

第三，如今圖像類型和視頻類型的應(yīng)用，都在往智能分析和大數(shù)據(jù)分析這個方向發(fā)展，想在短時間內(nèi)獲取想要的數(shù)據(jù)分析結(jié)果。而這要求存儲有更快的讀寫和及時響應(yīng)能力。

第四，數(shù)據(jù)量變大之后對整個存儲底層的可靠性要求更高了。比如出現(xiàn)故障之后，要求存儲能將海量數(shù)據(jù)快速恢復(fù)。

最后一點，我們在現(xiàn)在和未來都會追求數(shù)據(jù)最大化共享。我們的大數(shù)據(jù)應(yīng)用，我們的AI應(yīng)用，需要把之前使用的大量數(shù)據(jù)進(jìn)行重新分析，產(chǎn)生新的價值。這就要我們關(guān)注數(shù)據(jù)的二次利用以及數(shù)據(jù)共享。

新數(shù)據(jù)，呼喚智能云存儲

基于以上幾點，深信服認(rèn)為，未來需要用一個智能云存儲來滿足存儲需求，需要大量利用標(biāo)準(zhǔn)的X86服務(wù)器和軟件定義存儲技術(shù)，來打造一個具備高可靠、高性能，支持智能管理的分布式統(tǒng)一存儲。它不僅可以提供大容量、多種類型的存儲方案，比如對象存儲、文件存儲還有塊存儲。在這個平臺上面，還可以集成與數(shù)據(jù)強相關(guān)的應(yīng)用程序，比如說網(wǎng)盤、備份、容災(zāi)、數(shù)據(jù)分析等等，簡化數(shù)據(jù)分析的過程，加快數(shù)據(jù)產(chǎn)出新的價值。而深信服企業(yè)級分布式存儲EDS就是這樣的一款存儲。

聽深信服談存儲大家可能會有疑慮，深信服過去是做安全的，什么時候開始做存儲了，做得怎么樣？

其實，早在2013年，深信服就成立了獨立的存儲研發(fā)部門，當(dāng)時主要進(jìn)行軟件定義存儲的一個布局，并在當(dāng)年就推出了分布式塊存儲，把分布式塊存儲應(yīng)用到了桌面云上。2015年，分布式塊存儲又被運用到了超融合上。截至目前，深信服分布式塊存儲服務(wù)的桌面云終端用戶達(dá)到了95萬，超融合用戶達(dá)到了5,000多家。

五年來，深信服在存儲領(lǐng)域積累了大規(guī)模部署和實施的經(jīng)驗。2018年年底，深信服基于技術(shù)積累發(fā)布了獨立了分布式存儲產(chǎn)品，同時加大了在研發(fā)上的投入。目前，深信服存儲業(yè)務(wù)的獨立研發(fā)人員達(dá)到了300多人，其中30%是碩博學(xué)歷，海內(nèi)外頂尖博士20多位。這些博士給深信服帶來了很多高端技術(shù)突破，目前深信服已獲得的存儲技術(shù)專利有68個，同時申請中的專利有30多個，成果顯著。

深信服企業(yè)級分布式存儲EDS四大核心能力

五年來，深信服持續(xù)打造存儲核心能力，總結(jié)下來有四大核心能力。

1．海量數(shù)據(jù)存儲和擴展能力

海量數(shù)據(jù)在存儲和使用時通常會面臨兩個問題：第一是元數(shù)據(jù)索引效率非常低的問題。元數(shù)據(jù)記錄了文件的各種信息，對文件進(jìn)行的所有操作都會修改、增加、刪除元數(shù)據(jù)。元數(shù)據(jù)傳統(tǒng)的存儲方式采用的是目錄式，所謂目錄式是指類似從樹干到樹枝到樹葉的關(guān)系，效率非常低下。面對幾千萬甚至上億文件的時候，訪問效率非常低，系統(tǒng)幾乎不可用。第二是數(shù)據(jù)容量擴展的問題。

深信服針對元數(shù)據(jù)問題的解決方案是打造元數(shù)據(jù)分布式數(shù)據(jù)庫；針對數(shù)據(jù)擴容問題的解決方案是采用彈性擴展架構(gòu)，實現(xiàn)數(shù)據(jù)自動平衡。

深信服面向元數(shù)據(jù)管理而設(shè)計的數(shù)據(jù)庫系統(tǒng)，針對海量元數(shù)據(jù)管理場景做了很多技術(shù)優(yōu)化與創(chuàng)新。這些優(yōu)化主要解決了索引慢的問題，去除了在元數(shù)據(jù)使用過程當(dāng)中一些不必要的IO或者資源消耗。如通過自研的一致性框架，將多次寫入變成一次性寫入。

這些技術(shù)優(yōu)化與創(chuàng)新使得系統(tǒng)能夠輕松管理一百億以上的文件，整個索引效率提升了一百倍。過去查詢一個文件可能要幾分鐘甚至幾小時，現(xiàn)在可以做到秒級，就能將文件調(diào)用出來。

在擴展性方面，深信服存儲EDS系統(tǒng)采用全對稱的分布式線性擴展架構(gòu)，最大可擴展到五千節(jié)點，并且擴展的操作非常簡單，只要在集群里面把新的存儲節(jié)點加進(jìn)去，后臺會自動進(jìn)行數(shù)據(jù)的遷移和數(shù)據(jù)的平衡。

由于加入了智能自適應(yīng)的功能，整個擴展過程當(dāng)中不需要人為干預(yù)。而且，在數(shù)據(jù)同步過程中，系統(tǒng)能智能感知到業(yè)務(wù)的壓力，自動調(diào)整遷移策略和遷移節(jié)奏，避免遷移時對業(yè)務(wù)產(chǎn)生影響。

2．?dāng)?shù)據(jù)高可靠保障能力。

深信服發(fā)現(xiàn)大多數(shù)數(shù)據(jù)保護(hù)會面臨這樣兩個問題：第一個問題，數(shù)據(jù)保護(hù)往往是借助各種收費軟件來實現(xiàn)，這樣做首先是比較復(fù)雜，其次是需要額外購買軟件，成本也比較高。第二個問題是，當(dāng)數(shù)據(jù)出現(xiàn)故障后，平臺自愈效率低，自動化程度低。

針對第一個問題，深信服用五大類38種高可靠機制來保護(hù)數(shù)據(jù)。

第一類是在硬件層面，除了精選各種高兼容配件之外，通過各種硬件監(jiān)控與檢測功能，幫助用戶發(fā)現(xiàn)硬件上的一些問題。

第二類是在主機層面，由包括服務(wù)器和網(wǎng)絡(luò)的硬件構(gòu)成冗余架構(gòu)，而且對故障處理和隔離都做了專項優(yōu)化，可以縮小故障范圍以及避免部分其他問題。

第三類在數(shù)據(jù)保護(hù)層面，有被動的保護(hù)機制，如多副本、糾刪碼等；也有主動的防御機制，如硬盤亞健康檢測、數(shù)據(jù)巡檢等，通過主動和被動相結(jié)合的方式給數(shù)據(jù)提供更高的可靠性。

第四類主要是在管理層面，使用AI技術(shù)來實現(xiàn)數(shù)據(jù)管理的智能化，智能地進(jìn)行故障診斷。

最后是在方案層面，通過快照、備份、多中心容災(zāi)層、異地復(fù)制等功能，實現(xiàn)跨集群容災(zāi)建設(shè)。

五大類38種高可靠機制帶來了怎樣的優(yōu)勢呢？

首先，使得整個數(shù)據(jù)保護(hù)更加全面立體，對各個故障點都有了應(yīng)急保護(hù)措施。

其次，是性價比更高，硬件方面采用的是相對低成本的標(biāo)準(zhǔn)化硬件，軟件方面不需要額外購買第三方收費工具。通過軟件機制和優(yōu)化最終達(dá)到同樣高品質(zhì)數(shù)據(jù)保護(hù)方案的性能和安全級別。

同時，五大類38種高可靠機制形成了一個事前、事中、事后的數(shù)據(jù)保護(hù)框架。事前通過數(shù)據(jù)的校驗、巡檢提前發(fā)現(xiàn)數(shù)據(jù)風(fēng)險并自動修復(fù)。事中通過多副本、糾刪碼確保數(shù)據(jù)不會丟失。事后是可以在故障之后實現(xiàn)數(shù)據(jù)快速修復(fù)與重建。

3．高性能，實時響應(yīng)能力

在性能方面，存儲也面臨兩個問題：

第一個問題就是當(dāng)文件數(shù)量上升到幾千萬甚至上億之后，性能衰減得非常厲害，訪問速度非常慢。

第二個問題在于各種業(yè)務(wù)對于性能的需求不一樣，為此，傳統(tǒng)做法是購買多套不同類型的存儲。深信服認(rèn)為未來數(shù)據(jù)中心的趨勢是只需要一套存儲，它同時具備高吞吐、低時延的需求，但這樣的存儲需要做大量的性能優(yōu)化，優(yōu)化才是關(guān)鍵所在。

在性能優(yōu)化方面，深信服做了高性能分層技術(shù)框架，框架分為數(shù)據(jù)層、緩存層，以及協(xié)議層，針對每一層的優(yōu)化都有助于提升性能，最終做到用低成本的硬件實現(xiàn)高性能。主要的優(yōu)化方向有三點：

第一點是分層本身。分層的核心其實是要智能感知業(yè)務(wù)，然后，基于業(yè)務(wù)需求對不同IO采取不同的處理機制。如果是隨機小IO的話，需要先寫到分布式緩存層，將小IO合并完以后再寫到容量層；如果是連續(xù)的大IO，則直接寫到容量層里。

第二點是分層算法。分層算法里最核心的是數(shù)學(xué)算法，深信服的數(shù)學(xué)算法博士們幾年來持續(xù)優(yōu)化算法，使得熱力圖算法的緩存命中率高達(dá)80%以上，高命中率可以大大提高效率和性能。

第三點是自適應(yīng)條帶化。自適應(yīng)條帶化是指將一個大的數(shù)據(jù)塊切分成幾個小的數(shù)據(jù)塊，然后分散到多塊硬盤里面去，最終目的是提高存儲性能。

通過多項優(yōu)化，深信服的分布式存儲系統(tǒng)EDS在結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)場景中的性能都有了大幅提升。

• 在結(jié)構(gòu)化數(shù)據(jù)場景中，采用三節(jié)點架構(gòu)，每一個節(jié)點用兩塊SSD和六塊，最終實現(xiàn)34萬IOPS，數(shù)據(jù)庫TPM達(dá)到40萬。

• 在非結(jié)構(gòu)化數(shù)據(jù)場景中，采用同樣的三節(jié)點，每個節(jié)點配兩塊SSD，六塊HDD，百億文件性能衰減低于5%。在實際應(yīng)用中，能滿足15,000萬個攝像頭連續(xù)攝入數(shù)據(jù)。在某個人臉識別項目中，系統(tǒng)中已經(jīng)有了50億張圖片，即便如此還能每秒寫入兩千張圖片，而且，寫入性能沒有發(fā)現(xiàn)明顯波動。

4．基于AI的高效的管理能力

傳統(tǒng)的存儲管理需要依靠大量的手工運維，隨著存儲設(shè)備越來越多，管理復(fù)雜度呈指數(shù)級上升。同時，隨著存儲設(shè)備越來越老，維護(hù)越來越困難，故障定位越來越困難。深信服認(rèn)為，未來的運維一定是往自動化智能化方向發(fā)展。

深信服第一階段構(gòu)建了全自動化運維體系，可以把平時常用的50%的操作都變?yōu)樽詣踊蝿?wù)。全自動化運維能做到什么程度呢？

比如一鍵智能管理功能，通過一個按鈕就可以對軟硬件進(jìn)行全方位的檢測，并顯示故障原因以及解決方案。又比如可以通過全局熱備空間，在硬盤出現(xiàn)故障時，快速恢復(fù)數(shù)據(jù)，自動進(jìn)行數(shù)據(jù)修復(fù)，整個過程是全自動化完成的。

第二階段構(gòu)建了智能運維，深信服的人工智能大數(shù)據(jù)分析和統(tǒng)計分析團(tuán)隊做了許多創(chuàng)新，主要有以下三點：

第一點——故障預(yù)測，尤其是硬盤的故障預(yù)測。存儲系統(tǒng)里有大量的硬盤，這些硬盤非常容易損壞，智能運維系統(tǒng)可以做硬盤亞健康檢測，可以在硬盤沒有出現(xiàn)故障之前提前15天識別出問題，通知用戶及時更換，深信服現(xiàn)在把硬盤亞健康檢測的準(zhǔn)確率提升到了98.5%。

第二點——趨勢分析，智能運維系統(tǒng)可以給出性能和容量上的規(guī)劃建議，動態(tài)合理地對資源進(jìn)行分配，而避免過去要靠人工計算預(yù)測的麻煩，避免出錯或者浪費的情況。

第三點——智能的應(yīng)用優(yōu)化，不同業(yè)務(wù)應(yīng)用對性能的需求是不一樣的，智能運維系統(tǒng)可以在后臺自動感知業(yè)務(wù)的特點，自動在后臺進(jìn)行調(diào)整，包括調(diào)整IO的路徑，調(diào)整資源配置。整個過程當(dāng)中不需要人工干預(yù)，使得業(yè)務(wù)體驗和資源利用達(dá)到最優(yōu)的狀態(tài)。

今天我的主要分享到此為止，謝謝大家。

zhupb