MemVerge首席執(zhí)行官兼聯(lián)合創(chuàng)始人范承工曾提到，動(dòng)態(tài)組合服務(wù)器并獲取10TB以上內(nèi)存池容量的能力將推動(dòng)更多應(yīng)用在內(nèi)存中運(yùn)行，避免外部存儲(chǔ)IO流讀寫。存儲(chǔ)級(jí)內(nèi)存將成為主要的熱數(shù)據(jù)存儲(chǔ)層，NAND和HDD分別用于溫?cái)?shù)據(jù)，而磁帶用于冷數(shù)據(jù)。

現(xiàn)在CXL市場(chǎng)經(jīng)歷了一年的發(fā)展，范承工指出，這是業(yè)內(nèi)近十年來(lái)一次重大的架構(gòu)變革，可能會(huì)帶來(lái)一個(gè)跨多服務(wù)器共享內(nèi)存結(jié)構(gòu)的新市場(chǎng)。

CXL基于 PCIe 5.0標(biāo)準(zhǔn)，是PCIe總線在服務(wù)器機(jī)箱外的延展協(xié)議。2019年3月，CXL 1.0正式發(fā)布，旨在讓服務(wù)器CPU能通過(guò)緩存一致性協(xié)議訪問(wèn)加速器設(shè)備上的共享內(nèi)存。

MemVerge軟件將DRAM和Optane DIMM持久內(nèi)存組合到一個(gè)集群存儲(chǔ)池中，供服務(wù)器應(yīng)用使用，無(wú)需更改代碼。換句話說(shuō)，這款軟件已經(jīng)結(jié)合了快速和慢速內(nèi)存。

MemVerge大內(nèi)存架構(gòu)

英特爾的Sapphire Rapids芯片和AMD Genoa支持CXL v1.1，規(guī)定如何執(zhí)行主機(jī)處理器和連接的CXL設(shè)備之間的互操作性測(cè)試。CXL v2.0則增加了支持CXL切換功能，這樣多個(gè)CXL 2.0連接的主機(jī)處理器就能使用分布式共享內(nèi)存和持久（存儲(chǔ)級(jí)）內(nèi)存了。

一臺(tái)CXL 2.0主機(jī)會(huì)有自己直連的DRAM，并且能通過(guò)CXL 2.0鏈路訪問(wèn)外部DRAM。外部 DRAM訪問(wèn)會(huì)比本地DRAM訪問(wèn)慢幾納秒，需要系統(tǒng)軟件（即MemVerge的系統(tǒng)軟件）彌補(bǔ)這一差距。 范承工認(rèn)為CXL 2.0的交換機(jī)和外部存儲(chǔ)設(shè)備最早可能在2024年出現(xiàn)。

三星CXL內(nèi)存擴(kuò)展盒子

MemVerge正在和組合系統(tǒng)供應(yīng)商Liqid合作，讓MemVerge創(chuàng)建的DRAM和Optane內(nèi)存池能通過(guò)當(dāng)今的PCIe 3和4總線能全部或部分動(dòng)態(tài)分配給服務(wù)器。CXL 2.0應(yīng)該引入外部?jī)?nèi)存池及其對(duì)服務(wù)器的動(dòng)態(tài)可用性。

范承工表示有了CXL，內(nèi)存動(dòng)態(tài)組合可以和云服務(wù)模型高度協(xié)同。因此，云服務(wù)提供商會(huì)成為這項(xiàng)技術(shù)的首批采用者之一。

Blocks & Files認(rèn)為，包括公有云供應(yīng)商在內(nèi)的所有超大規(guī)模企業(yè)都會(huì)依賴CXL連接內(nèi)存池。而且他們沒(méi)有可用于提供外部池化內(nèi)存資源的現(xiàn)有技術(shù)，因此要么自己建，要么得尋找合適的供應(yīng)商。

MemVerge將推動(dòng)由CXL交換機(jī)、擴(kuò)展器、存儲(chǔ)卡和設(shè)備供應(yīng)商組成的CXL 2.0生態(tài)系統(tǒng)的興起。 MemVerge的軟件能在公有云上運(yùn)行。有一家生物技術(shù)研究公司SeekGene已經(jīng)通過(guò)在阿里云i4p計(jì)算實(shí)例運(yùn)行上使用MemVerge Memory Machine，從而顯著減少了處理時(shí)間和成本。

阿里云是第一家面向用戶提供Optane實(shí)例支持的云服務(wù)提供商，和MemVerge的聯(lián)合服務(wù)就是在此之上，允許封裝應(yīng)用，并使用MemVerge的快照技術(shù)實(shí)現(xiàn)回卷恢復(fù)。

MemVerge會(huì)以開(kāi)源形式提供基礎(chǔ)版大內(nèi)存軟件來(lái)擴(kuò)大應(yīng)用范圍，并提供付費(fèi)擴(kuò)展功能，比如快照和檢查點(diǎn)服務(wù)。

外部?jī)?nèi)存池示例

想象一下，今天有20臺(tái)機(jī)架服務(wù)器，每臺(tái)服務(wù)器都有2TB內(nèi)存，就是20個(gè)2TB內(nèi)存塊，40TB容量，所有應(yīng)用使用的內(nèi)存限量2TB。MemVerge的軟件可以把任意一臺(tái)服務(wù)器的內(nèi)存地址空間擴(kuò)大到3TB左右，不過(guò)每臺(tái)服務(wù)器的DRAM插槽數(shù)量有限，一旦用完無(wú)法再使用。CXL 2.0消除了這個(gè)限制。

現(xiàn)在，重新來(lái)看，20臺(tái)機(jī)架服務(wù)器，如果每臺(tái)服務(wù)器都有512GB內(nèi)存，這個(gè)機(jī)架還裝了一個(gè)連接CXL 2.0的內(nèi)存擴(kuò)展機(jī)箱，有30TB DRAM。我們?nèi)匀挥型瑯?0TB的DRAM容量，但分布不同，有 20*512GB的塊容量，每個(gè)服務(wù)器除了分到一個(gè)塊，還有一個(gè)30TB共享內(nèi)存池。

內(nèi)存中的應(yīng)用能消耗高達(dá)30.5TB的DRAM，是以前的10倍，從根本上增加其處理工作數(shù)據(jù)集并減少了存儲(chǔ)IO流。我們可以有三個(gè)內(nèi)存應(yīng)用，每個(gè)應(yīng)用占用30TB內(nèi)存池中的10TB。這類應(yīng)用執(zhí)行速度將顯著提高。同時(shí)也提高了應(yīng)用可使用內(nèi)存的上限。不僅服務(wù)器可以用，GPU也可以使用更具可擴(kuò)展性的內(nèi)存層。

MemVerge內(nèi)存存儲(chǔ)分層理念

新創(chuàng)建的DRAM必須是持久內(nèi)存，因?yàn)榘?0TB的數(shù)據(jù)寫入NAND需要相當(dāng)長(zhǎng)的時(shí)間，可以使用Optane或類似的存儲(chǔ)級(jí)內(nèi)存，例如ReRAM。然后把最活躍的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)級(jí)內(nèi)存設(shè)備里，溫?cái)?shù)據(jù)優(yōu)先放到NAND，然后按時(shí)間再放到磁盤，磁帶上。

這種CXL連接的SCM可以是相同或不同的機(jī)箱進(jìn)行動(dòng)態(tài)組合?？梢栽O(shè)想使用這種外部DRAM和Optane系統(tǒng)的超大規(guī)模供應(yīng)商服務(wù)能更快，并能以更高的利用率支持更多的用戶。

與此應(yīng)用設(shè)計(jì)也可能會(huì)發(fā)生變化。應(yīng)用的一般邏輯是使用盡可能多的內(nèi)存，沒(méi)有內(nèi)存時(shí)才會(huì)使用存儲(chǔ)空間，對(duì)其它數(shù)據(jù)密集型應(yīng)用也是以相同方式進(jìn)行，包括數(shù)據(jù)庫(kù)，因此內(nèi)存數(shù)據(jù)庫(kù)也是大勢(shì)所趨。

而對(duì)于許多ISP，讓基礎(chǔ)設(shè)施能提供更多內(nèi)存也會(huì)影響他們的應(yīng)用設(shè)計(jì)——未來(lái)將以內(nèi)存為中心，反過(guò)來(lái)又減少了他們對(duì)存儲(chǔ)的依賴。

CXL 2.0、超大規(guī)模企業(yè)和公有云

公有云供應(yīng)商能設(shè)置具有更高內(nèi)存容量和SCM容量的額外計(jì)算實(shí)例類型。他們的客戶數(shù)量和規(guī)模將讓自身相比普通企業(yè)更有效地分?jǐn)傎?gòu)買DRAM和SCM的成本，并從服務(wù)器中獲得更多的利用率。

范承工認(rèn)為，目前的塊存儲(chǔ)設(shè)備供應(yīng)商可能會(huì)開(kāi)始生產(chǎn)外部存儲(chǔ)器和SCM設(shè)備，B&F認(rèn)為服務(wù)器制造商也可能會(huì)開(kāi)始生產(chǎn)。畢竟，他們已經(jīng)在當(dāng)前的服務(wù)器盒子里提供了DRAM和SCM。融合基礎(chǔ)設(shè)施系統(tǒng)可以開(kāi)始添加CXL內(nèi)存架和軟件。

我們正在進(jìn)入一個(gè)大內(nèi)存時(shí)代，CXL 2.0 的影響會(huì)和35年前光纖通道的影響一樣深遠(yuǎn)。在SAN 時(shí)代，存儲(chǔ)可以獨(dú)立管理和擴(kuò)展來(lái)進(jìn)行計(jì)算?，F(xiàn)在內(nèi)存也是如此。我們正在從SAN時(shí)代進(jìn)入大內(nèi)存時(shí)代！

原文來(lái)自：https://blocksandfiles.com/2022/06/20/cxl-led-big-memory/

崔歡歡