但是，這種異步歸并的方法還是有一定的局限性，因此在下一代對(duì)象存儲(chǔ)產(chǎn)品中，針對(duì)小文件歸并存在的挑戰(zhàn)，XSKY星辰天合再次剖析問(wèn)題，發(fā)明解決了小文件歸并方法需要寫(xiě)入緩存池，再?gòu)木彺娉刂凶x取歸并效率低的技術(shù)問(wèn)題，實(shí)現(xiàn)了在線歸并。該技術(shù)當(dāng)前已經(jīng)申請(qǐng)了國(guó)家知識(shí)產(chǎn)權(quán)局發(fā)明專(zhuān)利，正處于實(shí)質(zhì)審查階段。

星辰天合下一代對(duì)象存儲(chǔ)產(chǎn)品XEOS V6中，海量小文件歸并管理方案有了全新的升級(jí)，從異步歸并升級(jí)到在線歸并，將帶給用戶更良好的體驗(yàn)。下面講述下一代對(duì)象中的小文件在線歸并使用到的幾個(gè)關(guān)鍵技術(shù)。

多級(jí)緩存

從成本角度考慮，高性能 SSD 盤(pán)通常配置較少，難以應(yīng)對(duì)突發(fā)小文件流量壓力；對(duì)于 1MB 以上的小文件，直接寫(xiě)入 HDD 介質(zhì)會(huì)更加高效。不同于以往采用單一緩存池承載小文件，XEOS 設(shè)計(jì)了多級(jí)緩存池機(jī)制，存儲(chǔ)不同大小的數(shù)據(jù)。采用 SSD 構(gòu)建高速緩存池， HDD 構(gòu)建普通EC數(shù)據(jù)池，復(fù)用已有 HDD 硬件資源部署中速緩存副本池。文件上傳后，系統(tǒng)自動(dòng)識(shí)別文件大小，1MB以?xún)?nèi)的小文件寫(xiě)入高速緩存池，1~4MB文件寫(xiě)入中速緩存池，大于4MB的文件透?jìng)髦疗胀〝?shù)據(jù)池。

引入中速緩存池可以在保證文件訪問(wèn)性能的基礎(chǔ)上，減少1~4MB范圍大小文件對(duì)于高速緩存空間的占用，同時(shí)提高緩存池的可靠性。在高速緩存池寫(xiě)滿后，系統(tǒng)自動(dòng)啟用中速緩存池繼續(xù)寫(xiě)入小文件數(shù)據(jù)，保證了業(yè)務(wù)的連續(xù)性，當(dāng)高速緩存池的數(shù)據(jù)被歸并而釋放緩存空間后，恢復(fù)使用高速緩存池寫(xiě)入小文件數(shù)據(jù)。

高效歸并

小文件歸并存儲(chǔ)可以降低小文件寫(xiě)入的隨機(jī)性，提高存儲(chǔ)效率，減少寫(xiě)放大帶來(lái)的空間浪費(fèi)。XEOS V6同時(shí)支持在線歸并、離線歸并，歸并策略自動(dòng)切換。

默認(rèn)情況下執(zhí)行在線歸并策略。網(wǎng)關(guān)內(nèi)預(yù)留一定的內(nèi)存，在接收小文件數(shù)據(jù)并寫(xiě)入緩存池的同時(shí)，以追加的方式在內(nèi)存中緩存，緩存達(dá)到某個(gè)閾值后寫(xiě)入普通數(shù)據(jù)池，更新元數(shù)據(jù)，刪除緩存池中的數(shù)據(jù)。

采用在線歸并，不再需要從緩存池中讀取數(shù)據(jù)，大大減小了緩存池的壓力，同時(shí)歸并性能不受集群規(guī)模影響，并且由于在線歸并直接在前端IO上下文進(jìn)行處理，因此可以對(duì)前端IO起到很好的反饋?zhàn)饔茫乐骨岸藰I(yè)務(wù)壓力太大導(dǎo)致業(yè)務(wù)不可寫(xiě)。

當(dāng)小文件寫(xiě)入流量大，或存儲(chǔ)平臺(tái)短時(shí)間內(nèi)故障，在線歸并可能會(huì)將預(yù)留的內(nèi)存全部消耗完，無(wú)法繼續(xù)執(zhí)行，此刻，網(wǎng)關(guān)自動(dòng)轉(zhuǎn)入離線歸并策略，及時(shí)釋放緩存池的空間。

空洞回收

當(dāng)頻繁進(jìn)行小文件刪除時(shí)，歸并對(duì)象將產(chǎn)生大量的空洞，占用一定的存儲(chǔ)資源。為了能夠釋放該部分空間，XEOS 支持二次歸并機(jī)制。二次歸并將空洞率超過(guò)回收閾值的歸并對(duì)象中剩余的有效對(duì)象進(jìn)行重新歸并 ，歸并成新的歸并對(duì)象后刪除原有歸并對(duì)象，使得磁盤(pán)空間得以釋放。

總結(jié)

通過(guò)多年的努力，XSKY星辰天合在小文件處理機(jī)制上長(zhǎng)期處于領(lǐng)先地位，并且不斷地完成自我超越。下一代對(duì)象存儲(chǔ)海量小文件管理的實(shí)際表現(xiàn)如何，讓我們拭目以待。

XSKY星辰天合的下一代對(duì)象存儲(chǔ)產(chǎn)品XEOS即將在7月20日舉辦線上發(fā)布會(huì)，

可以掃描二維碼

或者點(diǎn)擊鏈接均可報(bào)名：https://d.looks.wang/CEOcV

崔歡歡