大數(shù)據(jù)應具備什么樣的解決方案
中關村在線 發(fā)表于：13年02月27日 10:23 [轉載] 中關村在線
海量數(shù)據(jù)的時代正在到來，在這種環(huán)境下，需要有新的技術手段來應對大數(shù)據(jù)帶來的挑戰(zhàn)，并充分挖掘其潛在價值，實現(xiàn)業(yè)務的進一步發(fā)展和保持企業(yè)的競爭優(yōu)勢。作為半導體領導廠商，英特爾擁有完整的涵蓋軟硬件平臺的大數(shù)據(jù)解決方案。
根據(jù)IDC預測，全球的數(shù)據(jù)使用量到2020將將會增長44倍，達到35.2ZB(1ZB=10億TB)。Facebook、Twitter、微博等各種社交平臺的海量數(shù)據(jù)，以及視頻通訊、醫(yī)療影像、地理信息和監(jiān)控錄像等視頻內容也會極具增加，加之傳感器、RFID閱讀器、導航終端等非傳統(tǒng)IT設備和移動設備，都將產生越來越多的數(shù)據(jù)。增加的這些數(shù)據(jù)當中，有80%的數(shù)據(jù)屬于非結構化。
面對這些巨變，傳統(tǒng)的IT技術并不足以應對這種新挑戰(zhàn)，傳統(tǒng)的關系型數(shù)據(jù)庫以及桌面BI分析軟件處理的結構化數(shù)據(jù)，其容量一般都在GB級別，無法從更大的數(shù)據(jù)集中發(fā)現(xiàn)有意義的信息。另外，需要處理的目標數(shù)據(jù)也一直在增長，傳統(tǒng)技術無法適應這種擴展性。
那么，究竟什么樣的技術和解決方案才能勝任這種挑戰(zhàn)呢，我們認為，適合大數(shù)據(jù)時代需求的解決方案，一般要具備以下條件：
支持PB級別數(shù)據(jù)的處理和分析
支持結構和非結構化數(shù)據(jù)
支持萬級每秒數(shù)據(jù)查詢
支持高可靠性系統(tǒng)
支持高頻率統(tǒng)計分析
也就是說，對于大量的結構化和非結構化數(shù)據(jù)，支持可變的數(shù)據(jù)結構和高效的數(shù)據(jù)導入、查詢、統(tǒng)計分析。作為引領服務器發(fā)展方向的英特爾來說，目前它擁有在Apache開源版基礎上修訂的發(fā)行版和免費版兩個Hadoop版本，并在GitHub維護著Project Panthera開源項目，其中包括即時分析、基于HBase的文檔存儲、基于Hive/MapReduce的分析SQL引擎、HiBench和 HiTune等子項目。
英特爾Hadoop發(fā)行版組成
為何談大數(shù)據(jù)的時候我們要重點談Hadoop呢?因為Hadoop是目前為止大數(shù)據(jù)解決方案的主流平臺，也是順應未來大數(shù)據(jù)和云計算環(huán)境的平臺。接下來，我們將為大家介紹英特爾發(fā)行版Hadoop在應對大數(shù)據(jù)挑戰(zhàn)方面的獨特優(yōu)勢。
