2014年4月10日存儲(chǔ)在線(xiàn)編譯：這是關(guān)于存儲(chǔ)經(jīng)濟(jì)學(xué)的系列文章中的第二篇文章。

自動(dòng)分級(jí)技術(shù)給大數(shù)據(jù)出了個(gè)難題

在第一篇文章中，我們了解到自動(dòng)分級(jí)技術(shù)可以如何為企業(yè)的經(jīng)營(yíng)節(jié)省開(kāi)支。現(xiàn)在，我們將要探討的是，雖然自動(dòng)分級(jí)技術(shù)有很多的優(yōu)勢(shì)，但是它也給大數(shù)據(jù)出了個(gè)難題。你的存儲(chǔ)是一個(gè)不斷變化的目標(biāo)。如果才能既享受到自動(dòng)分級(jí)技術(shù)帶來(lái)的優(yōu)勢(shì)，又能夠滿(mǎn)足大數(shù)據(jù)的需求呢？

大數(shù)據(jù)一詞涵蓋了很多種毫不相干的信息。一方面，很多銀行會(huì)通過(guò)檢查數(shù)月來(lái)的交易模式以發(fā)現(xiàn)欺詐交易者，另一方面，很多零售商也在積極跟蹤和收集消費(fèi)者的店里的行為信息，以研究消費(fèi)者的購(gòu)物模式。在第一個(gè)例子里，銀行信息是行為的一種長(zhǎng)期性記錄，而在零售店的例子中，那些信息只在很短的時(shí)間里有用。然而，那些數(shù)據(jù)都可以被歸到大數(shù)據(jù)的范疇之內(nèi)。

這就自然而然地引發(fā)了大數(shù)據(jù)面臨的困境，即大數(shù)據(jù)的存儲(chǔ)問(wèn)題。你會(huì)將某個(gè)元素保留多長(zhǎng)的時(shí)間？保存在哪里？等等等等。IT業(yè)界將大數(shù)據(jù)看作是一組數(shù)據(jù)流，那些數(shù)據(jù)流一直在更新和流動(dòng)。我們面臨的一個(gè)難題是，我們必須高效地將數(shù)據(jù)流區(qū)分出來(lái)，然后決定針對(duì)不同的數(shù)據(jù)流采取不同的行動(dòng)。我們顯然不能將一切信息都保留下來(lái)，而且肯定不能將所有的信息都保存在速度超快、價(jià)格也超高的閃存設(shè)備上。

區(qū)分?jǐn)?shù)據(jù)流的目的是為了兼顧管理精度和管理效率，或者說(shuō)在這兩者之間找到一個(gè)平衡點(diǎn)。我們可以為單一的目標(biāo)設(shè)置政策，但在那種情況下，元數(shù)據(jù)管理的成本可能就會(huì)非常高。另一方面，LUN級(jí)別的區(qū)分可以建立起一種機(jī)制，從而一次性達(dá)成所有的目標(biāo)。

首先要做的事情是為每一個(gè)數(shù)據(jù)流建立一個(gè)位置和保留政策。這將取決于那些數(shù)據(jù)被訪(fǎng)問(wèn)的速度需要達(dá)到多快的程度，還有其他的一些因素。在上述零售店的例子中，數(shù)據(jù)一旦被創(chuàng)建出來(lái)，它的價(jià)值就在不斷流失，因?yàn)槟繕?biāo)也許是實(shí)時(shí)創(chuàng)建個(gè)性化店內(nèi)廣告以提升營(yíng)業(yè)額。在那種情況下，數(shù)據(jù)會(huì)直接進(jìn)入內(nèi)存中（in-memory）數(shù)據(jù)庫(kù)。

其中一個(gè)難題是大數(shù)據(jù)通常都是分布在數(shù)量眾多的并聯(lián)服務(wù)器上。在并聯(lián)服務(wù)器網(wǎng)絡(luò)中，對(duì)不同的服務(wù)器實(shí)施不同的政策比在連網(wǎng)存儲(chǔ)中對(duì)合并數(shù)據(jù)實(shí)施不同的政策要難得多。

一旦經(jīng)過(guò)分析處理，數(shù)據(jù)就會(huì)被傳輸?shù)接谰么鎯?chǔ)中。由于內(nèi)存內(nèi)數(shù)據(jù)庫(kù)需要非常高的帶寬，因此它必須使用閃存或是快速固態(tài)硬盤(pán)。其中一個(gè)原因是，在數(shù)據(jù)恢復(fù)過(guò)程中，利用其它技術(shù)重新加載高達(dá)TB級(jí)的數(shù)據(jù)所需的時(shí)間可能會(huì)長(zhǎng)達(dá)數(shù)個(gè)小時(shí)。但是，當(dāng)數(shù)據(jù)流被丟棄或儲(chǔ)存到價(jià)格低廉、容量巨大的存儲(chǔ)系統(tǒng)中時(shí)，顯然是需要很多時(shí)間的。

數(shù)據(jù)分析還會(huì)從原始數(shù)據(jù)中創(chuàng)造出新的數(shù)據(jù)流，這個(gè)過(guò)程也應(yīng)該是受控的。這些數(shù)據(jù)流的價(jià)值評(píng)估和保留政策通常會(huì)因?yàn)樵�始�?shù)據(jù)的不同而不同。

由于并行數(shù)據(jù)流的數(shù)量太大，因此整個(gè)控制機(jī)制必須是自動(dòng)化的。這就是自動(dòng)分級(jí)技術(shù)進(jìn)入該領(lǐng)域的原因。這是一種在大型系統(tǒng)中有選擇性地自動(dòng)移動(dòng)數(shù)據(jù)的方法。

自動(dòng)分級(jí)技術(shù)控制著所有的數(shù)據(jù)，對(duì)于正在使用的服務(wù)器來(lái)說(shuō)它就是一個(gè)資源池。在那個(gè)資源池中，也許有純閃存陣列、固態(tài)硬盤(pán)和廉價(jià)硬盤(pán)，甚至還可以將磁帶庫(kù)也包含進(jìn)去�？梢酝ㄟ^(guò)存儲(chǔ)虛擬化來(lái)增加資源池的容量。數(shù)據(jù)移動(dòng)則通過(guò)一系列政策來(lái)控制。

創(chuàng)建以及隨后執(zhí)行這些政策是一項(xiàng)實(shí)質(zhì)性努力，它需要使用LUN層級(jí)的政策而非對(duì)象層級(jí)的政策，但是在很多情況下，應(yīng)該使用的卻是對(duì)象層級(jí)的政策。政策可以由超大規(guī)模數(shù)據(jù)環(huán)境下的分析應(yīng)用來(lái)創(chuàng)建以減少人工干預(yù)和出錯(cuò)的概率，或者由自動(dòng)分級(jí)軟件自己去控制。

自動(dòng)分級(jí)的結(jié)果應(yīng)當(dāng)是相對(duì)可預(yù)見(jiàn)的，而且在各個(gè)數(shù)據(jù)流之間實(shí)現(xiàn)平衡。從經(jīng)濟(jì)的角度來(lái)說(shuō)，這會(huì)對(duì)安裝成本造成一定的影響。最近云市場(chǎng)的服務(wù)價(jià)格發(fā)生了一些變化，那些變化表明使用消費(fèi)級(jí)SATA硬盤(pán)的大容量存儲(chǔ)服務(wù)是非常經(jīng)濟(jì)的。

硬盤(pán)價(jià)格很可能會(huì)呈現(xiàn)出分級(jí)的現(xiàn)象，每臺(tái)服務(wù)器中的PCIe 固態(tài)硬盤(pán)（每TB容量3000美元）將位于最高級(jí)，隨后是容量相對(duì)更大但速度相對(duì)較慢的多級(jí)單元SATA 固態(tài)硬盤(pán)（每TB容量500美元到1000美元），最后是容量巨大的SATA硬盤(pán)（每TB容量100美元）。現(xiàn)在的自動(dòng)分級(jí)技術(shù)或許很難將最頂級(jí)的本地固態(tài)硬盤(pán)融合到存儲(chǔ)資源池中，但是虛擬存儲(chǔ)局域網(wǎng)和軟件定義存儲(chǔ)已經(jīng)開(kāi)始解決那個(gè)問(wèn)題了。

由于物聯(lián)網(wǎng)的發(fā)展，我們已經(jīng)看到感應(yīng)器大爆炸時(shí)代即將來(lái)臨的跡象，業(yè)內(nèi)觀察員們預(yù)計(jì)，數(shù)據(jù)流將大幅增長(zhǎng)。以自動(dòng)分級(jí)和壓縮為關(guān)鍵功能的數(shù)據(jù)管理和存儲(chǔ)虛擬化對(duì)大數(shù)據(jù)的處理很重要。

在第三篇文章中，我們將探討用于儲(chǔ)存最熱數(shù)據(jù)的存儲(chǔ)設(shè)備價(jià)格的下降將如何改變存儲(chǔ)層級(jí)工藝。