Platform Symphony MapReduce為企業(yè)級(jí)MapReduce應(yīng)用提供了以下主要功能:
策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器
Platform Symphony MapReduce策略驅(qū)動(dòng)型工作負(fù)載調(diào)度器提供了10,000個(gè)優(yōu)先級(jí),支持多個(gè)MapReduce作業(yè)并行運(yùn)行。這種策略驅(qū)動(dòng)型調(diào)度器的功能包括為搶先式作業(yè)提供資源優(yōu)先級(jí),并對(duì)Map作業(yè)和Reducer作業(yè)進(jìn)行公平調(diào)度,這一切都在作業(yè)層進(jìn)行,以提供更好的細(xì)粒度和控制度。
極高的資源可用性
Platform Symphony MapReduce在分布式運(yùn)行時(shí)引擎中確保了正常運(yùn)行時(shí)間——因?yàn)闆](méi)有單一故障點(diǎn)。它提供了作業(yè)跟蹤器/任務(wù)跟蹤器自動(dòng)實(shí)現(xiàn)故障切換和作業(yè)恢復(fù),無(wú)需重新啟動(dòng)作業(yè)。Platform Symphony MapReduce為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動(dòng)實(shí)現(xiàn)故障切換的功能,并提供了文件系統(tǒng)恢復(fù)和相關(guān)作業(yè)恢復(fù)功能。
為應(yīng)用開(kāi)發(fā)和文件系統(tǒng)的選擇提供了開(kāi)放式架構(gòu)
Platform Symphony MapReduce采用開(kāi)放式架構(gòu),支持多種MapReduce應(yīng)用,確保Hadoop應(yīng)用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。內(nèi)置在產(chǎn)品中的應(yīng)用適配器(Application Adapter)技術(shù)提供了與Platform MapReduce無(wú)縫的應(yīng)用集成,如此一來(lái),采用Hadoop MapReduce技術(shù)(Java、Pig、Hive及其他技術(shù))構(gòu)建的作業(yè)無(wú)需改動(dòng)編程邏輯,即可在Platform Symphony MapReduce上執(zhí)行。這種開(kāi)放式架構(gòu)還提供了一種方法,可充分利用多種類(lèi)型的文件系統(tǒng)和數(shù)據(jù)庫(kù)架構(gòu)。Platform Symphony MapReduce全面支持HDFS、GPFS及其他分布式文件系統(tǒng)類(lèi)型和數(shù)據(jù)類(lèi)型。此外,就MapReduce進(jìn)程而言,輸入數(shù)據(jù)源文件系統(tǒng)的類(lèi)型可以不同于輸出數(shù)據(jù)源文件系統(tǒng)。這便于支持許多應(yīng)用,包括抽取、轉(zhuǎn)換和加載(ETL)工作流邏輯。
支持同一集群上運(yùn)行的多種MapReduce應(yīng)用和混合類(lèi)型的工作負(fù)載
Platform Symphony MapReduce為MapReduce工作負(fù)載支持多達(dá)300種不同的應(yīng)用(作業(yè)跟蹤器),以及其他類(lèi)型的分布式應(yīng)用。這讓客戶可以充分利用現(xiàn)有資源和新資源,最大限度地利用IT基礎(chǔ)架構(gòu),同時(shí)只需使用單一管理界面。
支持滾動(dòng)升級(jí)
Platform Symphony MapReduce支持在同一集群上運(yùn)行的多個(gè)版本的MapReduce應(yīng)用,無(wú)需停止運(yùn)行整個(gè)集群,就可以升級(jí)軟件。運(yùn)行升級(jí)后應(yīng)用的服務(wù)器可與其他節(jié)點(diǎn)上前一個(gè)版本的軟件產(chǎn)品共存,因而可以在一組服務(wù)器上逐步進(jìn)行升級(jí),無(wú)需讓整個(gè)集群停止運(yùn)行。
更出色的監(jiān)控和故障排除功能
Platform Symphony MapReduce可監(jiān)控處理器和內(nèi)存的使用量,并相應(yīng)分配資源。它提供了從單臺(tái)服務(wù)器獲取日志數(shù)據(jù),并從單一界面來(lái)管理這些數(shù)據(jù)的功能。
極強(qiáng)的數(shù)據(jù)親和力
Platform Symphony MapReduce擁有強(qiáng)大的數(shù)據(jù)親和力(data affinity)功能,通過(guò)在調(diào)度管理MapReduce工作負(fù)載時(shí)充分考慮數(shù)據(jù)位置,大幅提升應(yīng)用性能和資源利用率。其數(shù)據(jù)親和力功能節(jié)省了MapReduce應(yīng)用訪問(wèn)大量數(shù)據(jù)所需的時(shí)間。通過(guò)加快文件訪問(wèn)速度,它可以將總的應(yīng)用性能提升400%。
Platform Symphony MapReduce目前已經(jīng)在多個(gè)關(guān)鍵的市場(chǎng)廣泛采用,其中包括金融服務(wù)、政府機(jī)構(gòu)、零售業(yè)和生命科學(xué)等行業(yè),為遍及各大行業(yè)的全球財(cái)富500強(qiáng)企業(yè)中要求最為苛刻、關(guān)鍵任務(wù)的分布式計(jì)算工作負(fù)載提供支持。
關(guān)于Platform Computing
Platform Computing隸屬于IBM公司,是全球領(lǐng)先的集群、網(wǎng)格和云管理軟件提供商,為全球2,000多家要求最為苛刻的客戶提供服務(wù)。在過(guò)去19年里,Platform Computing的工作負(fù)載和資源管理解決方案為眾多企業(yè)計(jì)算、HPC和技術(shù)計(jì)算客戶提供了優(yōu)化的IT基礎(chǔ)設(shè)施,它們易于管理且成本更低。了解詳情,請(qǐng)?jiān)L問(wèn)http://www.platform.com.cn。了解有關(guān)IBM技術(shù)計(jì)算的詳細(xì)信息,請(qǐng)?jiān)L問(wèn)http://www.ibm.com/deepcomputing。