相比之下,Corona提供了如下所示的配置:

Facebook是這樣描述Corona:

“Corona引入了一個(gè)集群管理器,它的唯一目的是跟蹤集群中的節(jié)點(diǎn)和空閑資源的數(shù)量。每個(gè)作業(yè)都有一個(gè)專(zhuān)門(mén)的跟蹤器,并且可以運(yùn)行在與客戶(hù)端相 同的進(jìn)程中(針對(duì)小型作業(yè)),或者作為集群中一個(gè)單獨(dú)的進(jìn)行(針對(duì)大型作業(yè))。這與之前Hadoop MapReduce部署的最大不同之處,在于Corona采用基于推送、而不是拉取的調(diào)度機(jī)制。在集群管理器接收到來(lái)自作業(yè)追蹤器的資源請(qǐng)求時(shí),它將資源 推送回作業(yè)追蹤器。而且,一旦作業(yè)追蹤器獲得資源授予,它就會(huì)創(chuàng)建任務(wù),然后將這些任務(wù)推送到任務(wù)追蹤器中運(yùn)行。在這個(gè)調(diào)度過(guò)程中,沒(méi)有周期性的心跳,因 此調(diào)度延遲被降至最低。”

通過(guò)博客,我們還了解到Facebook如何引入這個(gè)新工具,以及一些見(jiàn)解,關(guān)于Facebook基礎(chǔ)設(shè)施從500個(gè)節(jié)點(diǎn)的集群開(kāi)始獲取“來(lái)自早期采用者的反饋”。

在該工具引入到Facebook所有服務(wù)器中之前,一個(gè)1000節(jié)點(diǎn)的試驗(yàn)就遇到了第一個(gè)擴(kuò)展問(wèn)題。

Facebook現(xiàn)在已經(jīng)啟用Corona,采用合適的開(kāi)源規(guī)則,并且相信Corona將是“未來(lái)幾年內(nèi)”一個(gè)非常重要的工具。

考慮到Facebook的數(shù)據(jù)倉(cāng)庫(kù)“在過(guò)去4年中增長(zhǎng)了2500倍”,Corona將擔(dān)負(fù)著沉重的數(shù)據(jù)處理任務(wù)。但這僅僅是數(shù)據(jù)倉(cāng)庫(kù):究竟Facebook有多少數(shù)據(jù),并未披露,關(guān)于Corona將交付怎樣的產(chǎn)品和數(shù)據(jù)分析,我們也不得而知。

分享到

cuihao

相關(guān)推薦