在“存儲系統(tǒng)未來發(fā)展論壇”上，昆騰資深存儲架構專家曾祥禮深入地講解了全新的全閃存文件與對象存儲管理系統(tǒng)——Myriad。以下為演講實錄。
大家好！我是昆騰的曾祥禮，接下來為大家介紹一下昆騰Myriad系統(tǒng)。
昆騰Myriad文件與對象存儲管理系統(tǒng)是基于閃存技術的。我們知道非結構化數(shù)據(jù)近年來增長非常迅猛，未來5年都是倍增態(tài)勢。之前，企業(yè)數(shù)據(jù)存儲容量是TB級別的，但現(xiàn)在PB級別已經(jīng)很常見，特別是互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)存儲量已經(jīng)達到EB級別。近年來，昆騰為國內(nèi)一些互聯(lián)網(wǎng)企業(yè)提供冷數(shù)據(jù)的存儲解決方案，從在線存儲遷移到磁帶庫的數(shù)據(jù)都是EB級別的了。數(shù)據(jù)是核心資產(chǎn)，隨著新業(yè)務、新應用的涌現(xiàn)，企業(yè)需要更高的存儲性能，更高彈性，規(guī)模更大的存儲系統(tǒng)。
昆騰是一家在存儲領域擁有40年歷史的公司。針對用戶痛點，我們推出了Myriad這款針對非結構化數(shù)據(jù)存儲的管理系統(tǒng)。Myriad是一個云原生的，是為下一個數(shù)據(jù)時代服務的，基于閃存存儲架構的，極具彈性的，可以同時支持文件、對象存儲的管理系統(tǒng)。我們說Myriad是為下一個數(shù)據(jù)時代設計的，體現(xiàn)在以下幾點。
首先非?？?。Myriad基于閃存、RDMA技術，采用了全新的Share-Nothing可擴展架構。在任何配置情況下，都可以是很低的延時，因此可以同時達成高帶寬、高IOPS。
第二，Myriad是現(xiàn)代的，它基于微服務，由K8S編排的云原生架構?，F(xiàn)在很多用戶已經(jīng)在他們的數(shù)據(jù)中心用容器化的應用。
還有，Myriad使整個系統(tǒng)變得非常簡單。Myriad在自動化存儲實現(xiàn)和存儲管理這方面做了很多工作，使得Myriad基于NVMe構建的存儲網(wǎng)絡配置非常簡單，系統(tǒng)無論是擴展、變更還是縮減都無需中斷業(yè)務，甚至無需專業(yè)的網(wǎng)絡專家去介入。
Myriad是一個軟件，它不需要專門的硬件去運行，可以運行在標準NVMe閃存服務器上，也可以運行在100GB網(wǎng)絡交換機上。這是非常重要的，因為用戶不會固定在某一個特殊的硬件技術之上，所以可以獲取硬件成本下降的收益。
Myriad是云原生的。無論是在本地還是在云上進行部署的時候，都可以獲得一致的體驗。用戶可以將Myriad系統(tǒng)輕松地在不同的云設備廠商提供的云端設備上實現(xiàn)移植，所以用戶也可以在不斷下降的云成本中獲得收益。當然，用戶也可以在Myriad集群之間移動數(shù)據(jù)集，比如實現(xiàn)數(shù)據(jù)的復制和遷移，將一些訪問頻度下降的數(shù)據(jù)移植復制到對象存儲或者文件系統(tǒng)上。
昆騰Myriad架構采用全閃的體系結構集群，主要目的就是為了替換傳統(tǒng)的磁盤陣列。借助Myriad可以讓用戶用全閃集群系統(tǒng)提供傳統(tǒng)的機架式磁盤陣列，通過Myriad軟件實現(xiàn)存儲的整合，支持更多負載。從這個角度來說，Myriad可以為用戶應用提供綠色存儲資源給到用戶。大家知道在滿足同等帶寬或者IOPS需求情況下，與傳統(tǒng)磁盤相比，全閃存集群可以大大降低電源、冷卻、排放，特別是數(shù)據(jù)中心的占地面積。
Myriad是昆騰非結構化數(shù)據(jù)存儲系統(tǒng)一個非常關鍵的部分。對于文件和對象存儲，昆騰可以提供兩個關鍵的存儲平臺：一個是針對于熱數(shù)據(jù)的，就是Myriad的存儲平臺?；谠圃?，提供高IOPS、高帶寬，可以伸縮到TB級別基于閃存的存儲。隨著時間推移，用戶非結構化數(shù)據(jù)訪問頻度可能會越來越低，昆騰提供一個自動化的數(shù)據(jù)遷移，將一些訪問頻度比較低，越來越低的數(shù)據(jù)搬遷到對象存儲，或者是磁帶存儲。昆騰是目前唯一一家能提供整體跨非結構化數(shù)據(jù)生命周期管理的解決方案廠商。
目前Myriad數(shù)據(jù)存儲管理軟件主要針對三個業(yè)務場景：一是聯(lián)機交易類、關鍵任務數(shù)據(jù)的存儲、快速恢復；二是媒體行業(yè)，虛擬現(xiàn)實和動畫的渲染場景，這里我們提供針對虛擬現(xiàn)實、動畫的渲染場景；三是針對數(shù)據(jù)分析，類似AI、機器學習這種場景。這些場景中，我們瞄準的都是非結構化的，小Block IO文件處理場景，這些場景中文件個數(shù)比較小，而且數(shù)量非常龐大，因此提供較高IOPS的存儲環(huán)境才能支撐。
Myriad部署在閃存存儲服務器之上，因此可以說是面向交易、面向事務性的存儲系統(tǒng)。在這個文件系統(tǒng)里，可以根據(jù)業(yè)務層面需求按需去定制文件系統(tǒng)，比如可以針對用戶、針對應用，去創(chuàng)建自用的文件系統(tǒng)。在文件系統(tǒng)底層資源是共享的，針對某一個用戶、某一個應用來講，它是一個單獨的Namespace。與傳統(tǒng)存儲相比它有很多關鍵的管理功能，來支持高性能。首先就是“寫重定向”存儲，我們知道傳統(tǒng)存儲在去修改一個數(shù)據(jù)塊的時候需要先把數(shù)據(jù)塊拷貝到一個新的存儲位置上，再去修改數(shù)據(jù)塊。Myriad改了“重定向”寫，先把文件寫到新的存儲位置上再修改指針，這是提升性能的方法，因為減少了一次寫的操作。再一個，它是無鎖的，借助了NVMe閃存存儲介質(zhì)的高性能，所以說它是無鎖寫。如果出現(xiàn)寫沖突的時候，通過回滾的方式確保數(shù)據(jù)的一致性。還有其它的管理功能，比如支持N+M的動態(tài)糾刪編碼。
在此之上，Myriad還提供一些增強的數(shù)據(jù)服務，比如快照、克隆、復制，當然還有一些縮減存儲，數(shù)據(jù)壓縮的一些數(shù)據(jù)服務管理功能，當然還包括數(shù)據(jù)分析。在客戶端接口方面，支持NFS v4、NFS v3、SMB，之后還將提供S3對象接口等。
Myriad集群由三個部分組成：第一部分是“負載均衡器節(jié)點”，是連接到客戶環(huán)境中的100GbE網(wǎng)絡，并實現(xiàn)負載均衡的網(wǎng)絡服務層，提供數(shù)據(jù)和管理服務。第二部分是NVMe“存儲節(jié)點”層，這個節(jié)點層是基于NVMe存儲服務器，基于RDMA 100GB的Fabric構成高性能存儲池，就是閃存的集群存儲環(huán)境。第三部分是一個名為“部署節(jié)點”的組件，基礎節(jié)點，這個節(jié)點作用只是完成整個系統(tǒng)的配置、軟件的更新，本身不會參與到整個數(shù)據(jù)鏈路中。
Myriad只提供一個IP，然后面向用戶的數(shù)據(jù)傳輸和整個系統(tǒng)的管理，這和傳統(tǒng)的NAS擴展時需要預先在內(nèi)部保留很多IP地址有很大差異。Myriad部署內(nèi)部所需要的地址都是自動分配的，因此整個網(wǎng)絡部署都非常簡單。
我們再看一看Myriad集群是怎么擴展的。Myriad在擴展節(jié)點的時候非常簡單，它新增節(jié)點只需要把節(jié)點拆箱上架、連接網(wǎng)線、連接電源就可以了，整個過程無需中斷整個業(yè)務的運行。新節(jié)點加載到系統(tǒng)之后，一加電會自動檢測到，Myriad這個文件系統(tǒng)集群會自動檢測到新增的節(jié)點，然后自動進行配置。同樣Myriad集群里刪除節(jié)點或者更換節(jié)點也非常簡單，它新增節(jié)點，刪除節(jié)點，或者拿更高密度的存儲節(jié)點、更高容量的磁盤加入到這個集群里，就像新增一個節(jié)點到這個系統(tǒng)內(nèi)道理是一樣的。這一點非常重要，因為采用這種架構，我們可以把Myriad想象成一個經(jīng)得起未來考驗的系統(tǒng)，為什么呢？因為隨著市場的發(fā)展，新的硬件肯定有新的CPU、新的高密存儲設備、新的更大容量SSD磁盤涌現(xiàn)，它的成本肯定越來越低，用戶就可以利用Myriad的架構去替換更新的產(chǎn)品。
一套Myriad系統(tǒng)支持上百個存儲節(jié)點，負載均衡的節(jié)點也可以按需擴展。同樣縮減存儲節(jié)點非常簡單，Myriad的底層糾刪會自動去平衡。
做一下簡單的總結，Myriad是基于全閃存儲，然后提供文件對象存儲管理的，它用戶端接口支持NFS、SMB、S3，或者通過唯一的IP實現(xiàn)數(shù)據(jù)的傳輸和管理。它是基于云原生架構，基于微服務，基于K8S編排，無論部署在何處都可以提供良好的彈性規(guī)模，和類似云服務的簡單性。同時因為它是基于NVMe進行設計全新的Share-Nothing架構，與RDMA高速網(wǎng)絡結合，可以減輕網(wǎng)絡在傳輸時的服務器負載。每一個節(jié)點通過RDMA協(xié)議都可以直接訪問到其他節(jié)點管理的SSD閃存磁盤。另外，Myriad不需要專門的硬件支持，基于軟件定義方式，用戶可以在未來獲得硬件成本下降的收益。Myriad使得一切都變得非常簡單，包括存儲的管理、網(wǎng)絡管理，以及整個集群的管理。
以上就是我的分享，感謝大家！
