面對這些巨變,傳統(tǒng)的IT技術并不足以應對這種新挑戰(zhàn),傳統(tǒng)的關系型數據庫以及桌面BI分析軟件處理的結構化數據,其容量一般都在GB級別,無法從更大的數據集中發(fā)現(xiàn)有意義的信息。另外,需要處理的目標數據也一直在增長,傳統(tǒng)技術無法適應這種擴展性。
那么,究竟什么樣的技術和解決方案才能勝任這種挑戰(zhàn)呢,我們認為,適合大數據時代需求的解決方案,一般要具備以下條件:
支持PB級別數據的處理和分析
支持結構和非結構化數據
支持萬級每秒數據查詢
支持高可靠性系統(tǒng)
支持高頻率統(tǒng)計分析
也就是說,對于大量的結構化和非結構化數據,支持可變的數據結構和高效的數據導入、查詢、統(tǒng)計分析。作為引領服務器發(fā)展方向的英特爾來說,目前它擁有在Apache開源版基礎上修訂的發(fā)行版和免費版兩個Hadoop版本,并在GitHub維護著Project Panthera開源項目,其中包括即時分析、基于HBase的文檔存儲、基于Hive/MapReduce的分析SQL引擎、HiBench和 HiTune等子項目。
英特爾Hadoop發(fā)行版組成
為何談大數據的時候我們要重點談Hadoop呢?因為Hadoop是目前為止大數據解決方案的主流平臺,也是順應未來大數據和云計算環(huán)境的平臺。接下來,我們將為大家介紹英特爾發(fā)行版Hadoop在應對大數據挑戰(zhàn)方面的獨特優(yōu)勢。
相比其他版本的Hadoop,英特爾Hadoop發(fā)行版有何優(yōu)勢呢?眾所周知,英特爾在開放服務器領域有著豐富而又完整的解決方案,在云計算、數據中心領域積累了大量實踐經驗。而Hadoop無疑是云計算領域中最炙手可熱的技術,也是商業(yè)價值最突出的大數據處理平臺。英特爾結合自己的硬件技術和成熟經驗,打造面向大數據應用的Hadoop平臺,有助于提供相比其他Hadoop平臺更可靠、更高性能、更多和更易于管理的大數據解決方案:
更高性能
基于Hadoop底層的大量優(yōu)化算法,使應用效率更高、計算存儲分布更均衡。系統(tǒng)安裝程序計算得出的參數配置,適合目前主流平臺的大多數應用情況。而且,它與硬件技術深度結合,可幫助提高平臺性能,實現(xiàn)軟硬一體的大數據高效率解決方案。
更可靠
全面測試的企業(yè)級發(fā)行版,保證長期穩(wěn)定運行。集成最新開源的和自行開發(fā)的補丁,用戶可以及時修正漏洞。保證各個部件之間的一致性,使應用順滑運行。
更易于管理
提供獨有的基于瀏覽器的集群安裝和管理界面,解決開源版本管理困難的問題。提供網頁、郵件方式的系統(tǒng)異常報警。
更多功能
提供跨數據中心的HBase數據庫虛擬大表功能。實現(xiàn)HBase數據庫復制和備份功能。其他針對企業(yè)用戶需要的增強功能。
英特爾Hadoop發(fā)行版與開源版本功能對比
目前,英特爾發(fā)行版Hadoop在電信、視頻監(jiān)控、生產制造等行業(yè)都有廣泛應用。另外,去年英特爾推出發(fā)行版Hadoop的免費版。免費版本除了在支持的節(jié)點數量和存儲容量上和發(fā)行版不同外,其核心代碼和核心功能都相同。它有助于讓更多的用戶試用和體驗Hadoop在大數據處理上的性能和優(yōu)勢,降低大數據應用的門檻。從而將大數據Hadoop解決方案惠及更多用戶。