大數據時代，用戶處理的數據量越來越大，需要的容量越來越大；保存的數據越來越多樣越來越復雜，包括不同的來源，不同的格式，包括結構化和非結構化數據等；需要的訪問速度越來越高，訪問延遲越來越低；對數據價值的挖掘能力要求越來越高。

根據Gartner的分析，滿足大數據的IT架構，至少應具備下面幾個特征

1)橫向擴展： 可以線性橫向擴展而沒有性能影響

2)低成本組件：通過使用消費級硬件，降低采購成本

3)高可用：硬件故障作為常態(tài)而非特例來解決

4)不共享架構：節(jié)點之間相互獨立

我們以此為基礎，逐步揭開MVX的面紗。

Scale-up or Scale-out

傳統的NAS設備一般使用雙控制器節(jié)點提供服務，每個節(jié)點支持特定的業(yè)務負載，當容量不夠時通過擴展磁盤框的方式增加存儲容量。這種方式的缺陷在于，首先業(yè)務和節(jié)點的綁定，意味著一個業(yè)務及其關聯的文件系統只在一個節(jié)點上工作，容易造成系統整體的負載不均。其次，這種系統本質上是Scale-up的擴容方式，追求單機性能，無法做到系統性能隨容量的增加線性增加。Scale-Out方式則是橫向擴展，疊加容量或性能節(jié)點，使容量性能得到擴展。

華為OceanStor MVX存儲系統（以下簡稱MVX）采用Scale-out架構，節(jié)點之間完全對稱，采用全Active的Share nothing方式，系統的數據和管理數據（元數據）分布在各個節(jié)點上，避免了系統資源爭用，消除了系統瓶頸；即使出現整節(jié)點故障，系統能夠自動識別故障節(jié)點，自動恢復故障節(jié)點涉及的數據和元數據，使故障對業(yè)務透明，完全不影響業(yè)務連續(xù)性。MVX支持3-288節(jié)點的彈性空間，100PB的全局統一命名空間，并且支持文件內的細粒度的全局鎖，支持從多個節(jié)點并發(fā)訪問相同文件的不同區(qū)域，實現高并發(fā)讀，最終實現高性能的訪問系統。MVX系統采用全互聯組網機制，節(jié)點間采用10GE或者Infiniband高速互聯，適配客戶不同的組網需求，支持從集群任何一個節(jié)點并發(fā)訪問系統中的任何文件。所以MVX通過節(jié)點的擴展來解決海量容量的增長，同時還能保持性能線性增長，以此滿足業(yè)務發(fā)展需求。

MVX系統對數據和元數據分開管理，這樣做帶來的好處，MVX可以在存儲容量不變的情況下，通過增加性能加速節(jié)點，進一步顯著提高系統對IO的響應能力，最終向用戶提供卓越的性能。

分布式Raid

傳統Raid，把數據存放在一個節(jié)點內的不同硬盤上，當一個硬盤損壞時，通過Raid重構，恢復壞盤上的數據，但當整個節(jié)點故障時，整節(jié)點的數據就會出現丟失，針對這個問題，可以通過在節(jié)點間寫多份來解決。節(jié)點間寫多份可以解決傳統RAID整節(jié)點故障時丟數據的問題，但磁盤利用率很低，導致高TCO。 MVX的數據通過分布式RAID，節(jié)點間冗余的方式進行保護，數據進入系統之后，被切分為N個數據片，然后計算出M個冗余分片，保存在N+M個不同節(jié)點的不同硬盤上。這種N+M的冗余模式可以對任意目錄進行重新配置，甚至可以對同一目錄下的不同文件配置不同的冗余比。這意味著用戶可以靈活多變地根據自己的實際需求來指定數據冗余，從而設置不同的可靠性。

集群節(jié)點中，任意不超過M個硬盤故障后，MVX可以通過節(jié)點間數據重構的方式快速恢復出所損失的數據，進而恢復整系統的數據可靠性。集群中任意節(jié)點故障后，該節(jié)點所提供的服務會被自動遷移到其他節(jié)點上，使得故障對業(yè)務無感知。通過把數據分片寫到不同的節(jié)點上，不僅可以提高讀寫性能，又能保證數據的高可靠性，還能保持高的磁盤利用率，節(jié)約投資。

分級存儲和桌面盤

MVX產品對用戶提供統一命名空間，組成統一命名空間的設備可以由不同系列的硬件組成，當高性能設備和大容量設備同時存在時，系統會自動識別并形成分級存儲。

大容量節(jié)點可以使用桌面級硬盤。桌面級硬盤成本比較低，但是這種硬盤相對企業(yè)級硬盤來說，對業(yè)務的占空比要求比較苛刻，另外能持續(xù)在線工作的時間也比較短。MVX系統由于實現了自動在線分級，并且支持對硬盤下電，可以極大縮短硬盤在線工作的時間，在綠色節(jié)能的同時延長硬盤使用壽命。MVX通過支持桌面級硬盤在離線存儲中的應用，大幅降低企業(yè)的采購成本。

多位一體
MVX在支持橫向擴展，高可用，share-nothing的基礎上， 進一步開創(chuàng)性提出了三位一體、按需分布的理念，即在一個系統內支持對數據的分布式存儲、分布式備份以及分布式數據分析的一體化全生命周期管理，而且在數據統一調度模塊的調度下，實現了數據在多域間有效流動。MVX可以對包括NFS、CIFS、POSIX在內的NAS接口，包括JDBC、ODBC在內的數據庫接口，包括REST、SOAP在內的對象存儲接口和VTL、OST等數據備份歸檔接口等多種接口和多種數據類型進行支持。

作為貼合大數據需求的產品，MVX在高性能分布式架構基礎之上，以三位一體，按需分布的理念為指導，分布式存儲、分布式數據庫、分布式備份等功能可以作為功能插件插入到系統中來，從而實現多樣化數據存儲、數據快速檢索、數據歸檔節(jié)能等不同領域的需求。而當用戶需要這些特性時，需要做的只是增加更多的MVX節(jié)點或者在MVX的基礎上增加更多的功能特性模塊。
雖然融合了多個功能，MVX的管理卻不復雜。管理系統支持域名訪問，用戶可以遠程使用標準的網絡瀏覽器，在一個界面上通過鼠標點擊即可完成包括設備管理、空間管理、用戶管理在內的各種管理操作，或者收集系統性能、容量、告警等統計信息。MVX提供了強大的管理功能，卻不要求單獨部署管理服務器，這意味著管理服務集成在系統內部而且可以被系統內部的故障切換模塊管理，即使發(fā)生任意局部故障，用戶也不用擔心管理系統癱瘓。

華為OceanStor MVX存儲系統橫向Scale-out擴展，同時性能線性增長，輕易滿足用戶大容量、高并發(fā)、低時延、以及彈性擴展的要求；而其自動智能的分級存儲使用戶在性能和容量之間更容易找到一個平衡點。在提供彈性空間，卓越性能的同時，在一個架構里面智慧融合結構化數據和非結構化數據存儲，分析，備份容災，消除數據孤島，數據全生命周期管理，支撐各種業(yè)務需求；還能實現軟件硬件網絡簡單集中管理。

華為OceanStor MVX存儲系統，大數據的解決之道。

renxinbo