以下內容根據峰會現場演講速記整理：

新數據 新需求

陳小亮：尊敬的各位領導、各位來賓：大家下午好！我是來自深信服的陳小亮，目前在公司主要負責基礎架構業(yè)務。深信服的基礎架構業(yè)務主要包括：桌面云、負載均衡、軟件定義廣域網（SD-WAN），以及軟件定義存儲（SDS）等多個產品和解決方案。今天主要想談談存儲，與大家分享深信服過去幾年在存儲或者在軟件定義存儲方面打造的核心能力和技術創(chuàng)新。

首先我們來看一下與存儲相關的技術以及應用上的一些變化。對用戶來說，過去的業(yè)務更多的是以OA和數據庫等傳統(tǒng)的數據為主，產生的大多是結構化的數據，數據規(guī)?？傮w不大，每年的增量可能也就幾個T。而現在，隨著云計算、大數據、人工智能、物聯網等新興技術廣泛應用之后，數據增量非常大，使得數據產生了一些新的特點。比如數據的增長更快了，數據來源更加多樣化了，對數據處理的性能要求更高了。

“新數據”的新特點對存儲提出了新的需求，總結為以下五點：

第一，當數據變大變多了之后，需要有更大的存儲空間，往往需要PB級空間來存儲這些結構化和非結構化數據。

第二，深信服認為，未來80%以上的數據都會是非結構化數據。這些非結構化數據的特點是占用空間很大，增長非?？焖?，要求存儲有超大規(guī)模擴展性。

第三，如今圖像類型和視頻類型的應用，都在往智能分析和大數據分析這個方向發(fā)展，想在短時間內獲取想要的數據分析結果。而這要求存儲有更快的讀寫和及時響應能力。

第四，數據量變大之后對整個存儲底層的可靠性要求更高了。比如出現故障之后，要求存儲能將海量數據快速恢復。

最后一點，我們在現在和未來都會追求數據最大化共享。我們的大數據應用，我們的AI應用，需要把之前使用的大量數據進行重新分析，產生新的價值。這就要我們關注數據的二次利用以及數據共享。

新數據，呼喚智能云存儲

基于以上幾點，深信服認為，未來需要用一個智能云存儲來滿足存儲需求，需要大量利用標準的X86服務器和軟件定義存儲技術，來打造一個具備高可靠、高性能，支持智能管理的分布式統(tǒng)一存儲。它不僅可以提供大容量、多種類型的存儲方案，比如對象存儲、文件存儲還有塊存儲。在這個平臺上面，還可以集成與數據強相關的應用程序，比如說網盤、備份、容災、數據分析等等，簡化數據分析的過程，加快數據產出新的價值。而深信服企業(yè)級分布式存儲EDS就是這樣的一款存儲。

聽深信服談存儲大家可能會有疑慮，深信服過去是做安全的，什么時候開始做存儲了，做得怎么樣？

其實，早在2013年，深信服就成立了獨立的存儲研發(fā)部門，當時主要進行軟件定義存儲的一個布局，并在當年就推出了分布式塊存儲，把分布式塊存儲應用到了桌面云上。2015年，分布式塊存儲又被運用到了超融合上。截至目前，深信服分布式塊存儲服務的桌面云終端用戶達到了95萬，超融合用戶達到了5,000多家。

五年來，深信服在存儲領域積累了大規(guī)模部署和實施的經驗。2018年年底，深信服基于技術積累發(fā)布了獨立了分布式存儲產品，同時加大了在研發(fā)上的投入。目前，深信服存儲業(yè)務的獨立研發(fā)人員達到了300多人，其中30%是碩博學歷，海內外頂尖博士20多位。這些博士給深信服帶來了很多高端技術突破，目前深信服已獲得的存儲技術專利有68個，同時申請中的專利有30多個，成果顯著。

深信服企業(yè)級分布式存儲EDS四大核心能力

五年來，深信服持續(xù)打造存儲核心能力，總結下來有四大核心能力。

1．海量數據存儲和擴展能力

海量數據在存儲和使用時通常會面臨兩個問題：第一是元數據索引效率非常低的問題。元數據記錄了文件的各種信息，對文件進行的所有操作都會修改、增加、刪除元數據。元數據傳統(tǒng)的存儲方式采用的是目錄式，所謂目錄式是指類似從樹干到樹枝到樹葉的關系，效率非常低下。面對幾千萬甚至上億文件的時候，訪問效率非常低，系統(tǒng)幾乎不可用。第二是數據容量擴展的問題。

深信服針對元數據問題的解決方案是打造元數據分布式數據庫；針對數據擴容問題的解決方案是采用彈性擴展架構，實現數據自動平衡。

深信服面向元數據管理而設計的數據庫系統(tǒng)，針對海量元數據管理場景做了很多技術優(yōu)化與創(chuàng)新。這些優(yōu)化主要解決了索引慢的問題，去除了在元數據使用過程當中一些不必要的IO或者資源消耗。如通過自研的一致性框架，將多次寫入變成一次性寫入。

這些技術優(yōu)化與創(chuàng)新使得系統(tǒng)能夠輕松管理一百億以上的文件，整個索引效率提升了一百倍。過去查詢一個文件可能要幾分鐘甚至幾小時，現在可以做到秒級，就能將文件調用出來。

在擴展性方面，深信服存儲EDS系統(tǒng)采用全對稱的分布式線性擴展架構，最大可擴展到五千節(jié)點，并且擴展的操作非常簡單，只要在集群里面把新的存儲節(jié)點加進去，后臺會自動進行數據的遷移和數據的平衡。

由于加入了智能自適應的功能，整個擴展過程當中不需要人為干預。而且，在數據同步過程中，系統(tǒng)能智能感知到業(yè)務的壓力，自動調整遷移策略和遷移節(jié)奏，避免遷移時對業(yè)務產生影響。

2．數據高可靠保障能力。

深信服發(fā)現大多數數據保護會面臨這樣兩個問題：第一個問題，數據保護往往是借助各種收費軟件來實現，這樣做首先是比較復雜，其次是需要額外購買軟件，成本也比較高。第二個問題是，當數據出現故障后，平臺自愈效率低，自動化程度低。

針對第一個問題，深信服用五大類38種高可靠機制來保護數據。

第一類是在硬件層面，除了精選各種高兼容配件之外，通過各種硬件監(jiān)控與檢測功能，幫助用戶發(fā)現硬件上的一些問題。

第二類是在主機層面，由包括服務器和網絡的硬件構成冗余架構，而且對故障處理和隔離都做了專項優(yōu)化，可以縮小故障范圍以及避免部分其他問題。

第三類在數據保護層面，有被動的保護機制，如多副本、糾刪碼等；也有主動的防御機制，如硬盤亞健康檢測、數據巡檢等，通過主動和被動相結合的方式給數據提供更高的可靠性。

第四類主要是在管理層面，使用AI技術來實現數據管理的智能化，智能地進行故障診斷。

最后是在方案層面，通過快照、備份、多中心容災層、異地復制等功能，實現跨集群容災建設。

五大類38種高可靠機制帶來了怎樣的優(yōu)勢呢？

首先，使得整個數據保護更加全面立體，對各個故障點都有了應急保護措施。

其次，是性價比更高，硬件方面采用的是相對低成本的標準化硬件，軟件方面不需要額外購買第三方收費工具。通過軟件機制和優(yōu)化最終達到同樣高品質數據保護方案的性能和安全級別。

同時，五大類38種高可靠機制形成了一個事前、事中、事后的數據保護框架。事前通過數據的校驗、巡檢提前發(fā)現數據風險并自動修復。事中通過多副本、糾刪碼確保數據不會丟失。事后是可以在故障之后實現數據快速修復與重建。

3．高性能，實時響應能力

在性能方面，存儲也面臨兩個問題：

第一個問題就是當文件數量上升到幾千萬甚至上億之后，性能衰減得非常厲害，訪問速度非常慢。

第二個問題在于各種業(yè)務對于性能的需求不一樣，為此，傳統(tǒng)做法是購買多套不同類型的存儲。深信服認為未來數據中心的趨勢是只需要一套存儲，它同時具備高吞吐、低時延的需求，但這樣的存儲需要做大量的性能優(yōu)化，優(yōu)化才是關鍵所在。

在性能優(yōu)化方面，深信服做了高性能分層技術框架，框架分為數據層、緩存層，以及協議層，針對每一層的優(yōu)化都有助于提升性能，最終做到用低成本的硬件實現高性能。主要的優(yōu)化方向有三點：

第一點是分層本身。分層的核心其實是要智能感知業(yè)務，然后，基于業(yè)務需求對不同IO采取不同的處理機制。如果是隨機小IO的話，需要先寫到分布式緩存層，將小IO合并完以后再寫到容量層；如果是連續(xù)的大IO，則直接寫到容量層里。

第二點是分層算法。分層算法里最核心的是數學算法，深信服的數學算法博士們幾年來持續(xù)優(yōu)化算法，使得熱力圖算法的緩存命中率高達80%以上，高命中率可以大大提高效率和性能。

第三點是自適應條帶化。自適應條帶化是指將一個大的數據塊切分成幾個小的數據塊，然后分散到多塊硬盤里面去，最終目的是提高存儲性能。

通過多項優(yōu)化，深信服的分布式存儲系統(tǒng)EDS在結構化和非結構化數據場景中的性能都有了大幅提升。

• 在結構化數據場景中，采用三節(jié)點架構，每一個節(jié)點用兩塊SSD和六塊，最終實現34萬IOPS，數據庫TPM達到40萬。

• 在非結構化數據場景中，采用同樣的三節(jié)點，每個節(jié)點配兩塊SSD，六塊HDD，百億文件性能衰減低于5%。在實際應用中，能滿足15,000萬個攝像頭連續(xù)攝入數據。在某個人臉識別項目中，系統(tǒng)中已經有了50億張圖片，即便如此還能每秒寫入兩千張圖片，而且，寫入性能沒有發(fā)現明顯波動。

4．基于AI的高效的管理能力

傳統(tǒng)的存儲管理需要依靠大量的手工運維，隨著存儲設備越來越多，管理復雜度呈指數級上升。同時，隨著存儲設備越來越老，維護越來越困難，故障定位越來越困難。深信服認為，未來的運維一定是往自動化智能化方向發(fā)展。

深信服第一階段構建了全自動化運維體系，可以把平時常用的50%的操作都變?yōu)樽詣踊蝿铡Ｈ詣踊\維能做到什么程度呢？

比如一鍵智能管理功能，通過一個按鈕就可以對軟硬件進行全方位的檢測，并顯示故障原因以及解決方案。又比如可以通過全局熱備空間，在硬盤出現故障時，快速恢復數據，自動進行數據修復，整個過程是全自動化完成的。

第二階段構建了智能運維，深信服的人工智能大數據分析和統(tǒng)計分析團隊做了許多創(chuàng)新，主要有以下三點：

第一點——故障預測，尤其是硬盤的故障預測。存儲系統(tǒng)里有大量的硬盤，這些硬盤非常容易損壞，智能運維系統(tǒng)可以做硬盤亞健康檢測，可以在硬盤沒有出現故障之前提前15天識別出問題，通知用戶及時更換，深信服現在把硬盤亞健康檢測的準確率提升到了98.5%。

第二點——趨勢分析，智能運維系統(tǒng)可以給出性能和容量上的規(guī)劃建議，動態(tài)合理地對資源進行分配，而避免過去要靠人工計算預測的麻煩，避免出錯或者浪費的情況。

第三點——智能的應用優(yōu)化，不同業(yè)務應用對性能的需求是不一樣的，智能運維系統(tǒng)可以在后臺自動感知業(yè)務的特點，自動在后臺進行調整，包括調整IO的路徑，調整資源配置。整個過程當中不需要人工干預，使得業(yè)務體驗和資源利用達到最優(yōu)的狀態(tài)。

今天我的主要分享到此為止，謝謝大家。

zhupb