宏杉科技產(chǎn)品部副總工謝勇發(fā)表主題演講

宏杉MOFS洞見海量數(shù)據(jù)價值

根據(jù)IDC預測,全球數(shù)據(jù)量將由2019年的45ZB增長到2025年的175ZB,整體漲幅超過300%,中國將成為全球最大的數(shù)據(jù)圈,由人口紅利時代轉(zhuǎn)向數(shù)據(jù)紅利時代。其中非結構化數(shù)據(jù)與日俱增,占比超過80%,意味著分布式存儲發(fā)展的黃金時代已經(jīng)來臨。

MOFS是宏杉科技針對海量數(shù)據(jù)存儲應用推出的大規(guī)模分布式通用并行文件集群系統(tǒng),具備開放架構、卓越性能、極致可靠、數(shù)據(jù)融合、應用優(yōu)化五大特性,針對用戶多樣化的業(yè)務需求場景,提供文件、對象、大數(shù)據(jù)存儲資源服務。

1、開放架構

宏杉MOFS分布式存儲系統(tǒng)采用主流的分布式去中心化存算分離架構,可為用戶提供分布式塊、分布式文件、分布式對象多種存儲資源,滿足用戶在IT系統(tǒng)建設中靈活選擇、高效擴容、安全隔離的需求。

MOFS分布式存儲系統(tǒng)的另一開放架構特性是支持豐富的接口類型,尤其是支持100G InfiniBand接口,可為HPC高性能計算業(yè)務提供更高帶寬,單口達到100Gb/s吞吐、微秒級時延,顯著提升HPC高性能計算業(yè)務效率。

2、卓越性能

在性能方面,宏杉MOFS分布式存儲系統(tǒng)通過自主研發(fā)的增強型智能存儲協(xié)議,實現(xiàn)三方面提升:首先,采用源端切片技術,支持負載均衡多線程的并發(fā)讀寫,整體讀寫效率可提升30%以上;其次,通過7種權限靈活設置、共127種權限組合,打造業(yè)界領先的內(nèi)核級權限管理,提供更高級別的數(shù)據(jù)保護;此外,借助智能增強型客戶端,無需配置后端網(wǎng)絡,組網(wǎng)更加靈活。

在海量小文件應用場景中,宏杉MOFS分布式存儲系統(tǒng)結合增強型客戶端,采用創(chuàng)新Nest小文件聚合技術,有效解決海量小文件對IO占用嚴重的問題,優(yōu)化小文件的數(shù)據(jù)恢復和檢索速度,全面提升存儲性能。

3、極致可靠

宏杉MOFS分布式存儲系統(tǒng)能從系統(tǒng)級、節(jié)點級和權限級為用戶提供高達8個9的整體可靠性保障,實現(xiàn)本地數(shù)據(jù)極致可靠。

此外,宏杉MOFS分布式存儲系統(tǒng)還可通過跨節(jié)點的數(shù)據(jù)復制技術,利用大文件切片多線傳輸,小文件的打包傳輸、加密、壓縮、斷點續(xù)傳和文件校驗等豐富的子功能進行組合,保證數(shù)據(jù)在惡劣環(huán)境下仍能傳輸?shù)饺轂墓?jié)點,實現(xiàn)容災級數(shù)據(jù)極致可靠的保護。

4、數(shù)據(jù)融合

依托高效的多協(xié)議互通技術,宏杉MOFS分布式存儲系統(tǒng)可通過CIFS、NFS、HDFS、S3等多種文件或?qū)ο蟠鎯f(xié)議,同時訪問在同一個集群內(nèi)同一個目錄下的內(nèi)容;并實現(xiàn)所有非結構化數(shù)據(jù)協(xié)議互通,共享一份數(shù)據(jù)。在大數(shù)據(jù)分析應用中,無需生成額外的數(shù)據(jù)副本,直接進行數(shù)據(jù)分析和應用,極大提升數(shù)據(jù)分析效率,節(jié)省整體TCO。

5、應用優(yōu)化

在HPC高性能計算等應用場景中,需要對同一個文件的不同位置進行并行處理,宏杉科技MOFS分布式存儲系統(tǒng)根據(jù)用戶業(yè)務進行自主研發(fā)和優(yōu)化,創(chuàng)新采用分布式字節(jié)鎖技術,通過增強型協(xié)議客戶端,獲取該文件不同位置的鎖權限,權限粒度由傳統(tǒng)分布式存儲的文件級精確細化到字節(jié)級,實現(xiàn)前端多個客戶端同時對同一個文件的不同位置進行并行處理,提升整體處理性能,加速數(shù)據(jù)獲取,提升數(shù)據(jù)價值。

宏杉MOFS分布式存儲系統(tǒng)

多元化應用場景落地

目前,宏杉MOFS分布式存儲系統(tǒng)已廣泛應用于高性能計算、人工智能、大數(shù)據(jù)應用等場景之中。在百易存儲研究院、中國計算機協(xié)會、信息存儲專委會、中國計算機行業(yè)協(xié)會、信息存儲和安全專委會以及DOIT傳媒聯(lián)合發(fā)布的 《2022分布式存儲市場調(diào)研報告》中,對MOFS分布式存儲系統(tǒng)過硬的產(chǎn)品實力和廣泛的行業(yè)應用表示高度認可:

在高性能計算場景中,要充分釋放高性能計算的算力潛能,需要并行文件系統(tǒng)具備高效、穩(wěn)定、可靠、海量等特性。MOFS 并行文件系統(tǒng)具備高性能、高可靠、高可用和高 IO 吞吐能力,支持全局統(tǒng)一的系統(tǒng)映像和完全 POSIX 兼容的數(shù)據(jù)訪問接口,從而提供數(shù)以萬計的客戶端系統(tǒng)支持、PB 級存儲空間和每秒數(shù)百 GB 的吞吐量等強大動力,為高性能計算應用提供全新的支撐。宏杉科技MOFS分布式存儲系統(tǒng)在教育科研、交通、政府、醫(yī)療大數(shù)據(jù)、企業(yè)等行業(yè)的多樣化高性能場景中均已實現(xiàn)落地,為用戶業(yè)務提供高效可靠的數(shù)據(jù)保障,獲得用戶高度認可。

結束語

作為一站式數(shù)據(jù)存儲專家,宏杉科技擁有SAN、分布式、備份、云與超融合等全存儲產(chǎn)品線,具備涵蓋全產(chǎn)品、全方案、全服務的一站式數(shù)據(jù)存儲能力。未來,宏杉科技將充分發(fā)揮研發(fā)創(chuàng)新能力,持續(xù)優(yōu)化升級宏杉分布式存儲,進一步激活數(shù)據(jù)價值,助力千行百業(yè)從容應對海量多元化數(shù)據(jù)挑戰(zhàn)。

分享到

xiesc

相關推薦