圖1:小文件聚合技術(shù)示意圖

原因在于,相比小文件,聚合文件在寫入時(shí)大幅減少了數(shù)據(jù)寫OSD(基于對(duì)象的存儲(chǔ)設(shè)備)的次數(shù),減少了OSD的寫入壓力,因而大大減少了客戶端對(duì)本地緩存(內(nèi)存)的使用。小文件順序?qū)憰r(shí),數(shù)據(jù)寫OSD次數(shù)分別可以減少99.9%(4KB),98.4%(64KB),96.8%(128KB)。

AS13000在小文件順序讀時(shí),亦可以有效縮短IO路徑。原因是,在聚合條件下,小文件分別可以獲得99.9%(4KB),98.4%(64KB),96.8%(128KB)的緩存命中率,從而縮短IO路徑,提升讀文件性能,小文件隨機(jī)讀的緩存命中率也能達(dá)到85%以上。

其次,以重新寫代替修改寫,降低寫延遲。由于小文件一般情況下一次寫操作即可完成,同時(shí)為了降低復(fù)雜度,AS13000對(duì)于已下盤到聚合文件的小文件不采取修改寫方式,而是采取“讀取源文件->刪除聚合文件中的源文件->重新寫普通文件”的方式進(jìn)行修改寫入,以降低寫延遲。

第三,建立智能定時(shí)掃描、碎片整理、垃圾清理機(jī)制,提高存儲(chǔ)空間利用率。在聚合文件中,多個(gè)源文件共用一個(gè)對(duì)象,刪除源文件并不能真正釋放所占用的空間,所以導(dǎo)致存儲(chǔ)空間的浪費(fèi);同時(shí),源文件數(shù)量的減少還導(dǎo)致在讀取文件時(shí)緩存命中率降低,影響讀性能。為此,AS13000采用可配置的定時(shí)掃描聚合文件信息:聚合文件的使用率低于p(設(shè)定值)且t時(shí)間(設(shè)定值)內(nèi)沒(méi)有修改過(guò),則將聚合文件放入清理隊(duì)列;掃描處理完所有聚合文件,若清理隊(duì)列有需要清理的聚合文件,則觸發(fā)碎片整理,從而提高空間利用率。

垃圾清理的任務(wù)就是計(jì)算聚合文件中有效數(shù)據(jù)在文件總大小中的占比,當(dāng)?shù)陀谠O(shè)定的閾值,且當(dāng)聚合文件在t時(shí)間內(nèi)無(wú)修改時(shí),系統(tǒng)對(duì)聚合文件進(jìn)行清理,以提高存儲(chǔ)空間利用率、提升小文件讀性能。

圖2:聚合文件使用率低于p值時(shí)進(jìn)行垃圾清理,重新寫入新聚合文件

技術(shù)優(yōu)勢(shì)二:通過(guò)數(shù)據(jù)預(yù)讀提高讀取速度

浪潮AS13000在讀取某個(gè)目錄下的文件時(shí),會(huì)順序預(yù)加載該文件后面的幾個(gè)文件內(nèi)容到緩存中,以加快其讀取速度;此外,還使用多節(jié)點(diǎn)并發(fā)讀操作,以加快預(yù)讀速度。


圖3:數(shù)據(jù)預(yù)讀技術(shù)加快存儲(chǔ)數(shù)據(jù)讀取速度

同時(shí),在非同步讀取目錄下的文件時(shí),AS13000還會(huì)觸發(fā)對(duì)其后續(xù)文件的讀請(qǐng)求,且這些讀請(qǐng)求是異步的,不影響本次用戶讀操作的返回。如果用戶緊接著讀取下一個(gè)文件,且此操作不是同步操作,那么就可以直接將本地緩存的數(shù)據(jù)讀出,從而避免了與OSD的交互,提高了性能。

與此同時(shí),在預(yù)讀文件時(shí),若有對(duì)該文件的寫入操作,AS13000會(huì)把當(dāng)前讀文件放入到等待讀隊(duì)列中并返回,等寫完成后再發(fā)信號(hào)通知重新讀該文件,并將之放入到本地緩存,從而提高用戶讀取速度。

由于上述獨(dú)特的技術(shù)機(jī)制,浪潮AS13000軟件定義存儲(chǔ)產(chǎn)品很好地解決了小文件讀寫速度慢、訪問(wèn)延遲高、資源浪費(fèi)等問(wèn)題,幫助廣電、電商、網(wǎng)絡(luò)視頻等用戶從容應(yīng)對(duì)海量小文件存儲(chǔ)與訪問(wèn)挑戰(zhàn)。目前,AS13000系統(tǒng)已經(jīng)在中國(guó)資源衛(wèi)星應(yīng)用中心、國(guó)家廣電總局、濟(jì)南商行、中國(guó)移動(dòng)、成都交通等金融、電信、政府、公安、大企業(yè)等行業(yè)客戶中得到廣泛應(yīng)用,充分驗(yàn)證了其領(lǐng)先技術(shù)。未來(lái),浪潮AS13000軟件定義存儲(chǔ)將繼續(xù)引領(lǐng)大數(shù)據(jù)與人工智能時(shí)代的存儲(chǔ)技術(shù),為用戶增加其企業(yè)的核心競(jìng)爭(zhēng)力不斷創(chuàng)新。

分享到

zhangnn

相關(guān)推薦