CPFS是一種并行文件系統(tǒng),數(shù)據(jù)存儲到群集中多個數(shù)據(jù)節(jié)點,多個客戶端可以同時訪問這些數(shù)據(jù),為大型高性能計算機(jī)集群提供高IOPS、高吞吐,低時延的數(shù)據(jù)存儲服務(wù)。

隨著高性能并行計算大規(guī)模商業(yè)化時代的到來,傳統(tǒng)并行文件系統(tǒng)面臨諸多挑戰(zhàn),存儲資源的急劇增長,成本高,運維管理復(fù)雜度大,大規(guī)模存儲系統(tǒng)的穩(wěn)定性,性能隨規(guī)模無法完全線性擴(kuò)展等一系列問題困擾廣大客戶,CPFS應(yīng)運而生。

具體來說,CPFS可將數(shù)據(jù)條帶化后均勻分布在整個存儲集群上,允許client并行訪問,吞吐和IOPS隨存儲節(jié)點的數(shù)量實現(xiàn)線性增長,整個存儲集群對外提供超高的聚合帶寬和IOPS。同時,采用融合以太網(wǎng)的 RDMA 協(xié)議 (RoCE) 網(wǎng)絡(luò)縮短IO訪問的網(wǎng)絡(luò)時延,進(jìn)一步提高了IO訪問速度。此外,基于paxos ring的仲裁調(diào)度,CPFS可自動檢測服務(wù)節(jié)點異常,并在分鐘級別切換到其它節(jié)點重新提供服務(wù)。

以基因行業(yè)為例,人全基因組測序的原始數(shù)據(jù)大約有300GB,這些數(shù)據(jù)在傳統(tǒng)模式下需要70小時才能處理完畢,在云端優(yōu)化后也需要5小時才能完成。采用CPFS后,可在17分鐘內(nèi)加載完1萬個人類全基因組數(shù)據(jù),僅用1.5小時就可完成單個基因測序pipeline,這對臨床醫(yī)學(xué)的快速診斷、科研成果的快速轉(zhuǎn)換具有重大意義。

除了CPFS并行文件系統(tǒng),阿里云還推出了兩款NAS新品:NAS Plus智能緩存型和NAS Plus極速IO型。前者適用于對延時、單線程讀吞吐能力有較高要求的廣電行業(yè),可滿足單臺云圖站對20層4K高清編輯能力的需求,縮短視頻采編播流程;后者則適合搭建高性能彈性Web Server,可將海量小文件的訪問性能提升20倍,IOPS可達(dá)100萬,而單路延遲僅有500微秒。

 

分享到

xiesc

相關(guān)推薦