OLTP和OLAP平臺的融合
OLTP(聯(lián)機事務(wù)處理)的發(fā)展得益于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，基于能夠查詢一個記錄的所有列的行式數(shù)據(jù)庫，處理如插入、修改或查詢一條銷售訂單這樣的作業(yè)得心應(yīng)手，但OLAP(聯(lián)機分析處理)就非行式數(shù)據(jù)庫所長，數(shù)據(jù)倉庫領(lǐng)域的數(shù)據(jù)分析、海量存儲和商業(yè)智能更適合采用列式數(shù)據(jù)庫，這就需要用ETL工具把數(shù)據(jù)放到另一套系統(tǒng)來做。
數(shù)據(jù)量小、時效性要求不高的時候，這種模式也能夠應(yīng)對用戶的需求，但在大數(shù)據(jù)時代，這個流程就無法滿足實時分析的需求了。但SAP HANA加上了內(nèi)存計算和列式存儲的技術(shù)，既可以為 OLAP 應(yīng)用提供列存儲，又能為 OLTP 應(yīng)用提供行存儲，同時提供基于自然語言的文本分析、內(nèi)置的預(yù)測性算法等，就能夠避開這種尷尬。
目前，SAP已經(jīng)著手把它的商業(yè)套件都遷移到HANA平臺上，同時支持云和本地部署的模式，為客戶的OLTP和OLAP平臺的融合提供了基礎(chǔ)。
SAP的老對手、關(guān)系型數(shù)據(jù)庫的老大Oracle也已經(jīng)支持這種融合，其最新推出的Oracle Database In-Memory，通過在同一張表在內(nèi)存中同時支持行和列兩種格式，同時激活并保持事務(wù)一致性，對分析和報表采用列格式，OLTP則采用久經(jīng)考驗的行格式運行，這就允許客戶突破Oracle自己的傳統(tǒng)數(shù)據(jù)庫圍墻，可以在OLTP數(shù)據(jù)庫中直接做實時分析。
存儲與計算的融合
我們知道，存儲系統(tǒng)的功能主要集中在提供對數(shù)據(jù)存放空間的管理，它與計算并不是割裂的，只是在計算機發(fā)展的當(dāng)前階段，存儲與計算采用了相互獨立的方式發(fā)展，但它們的融合順理成章。
當(dāng)TB級數(shù)據(jù)出現(xiàn)之后，傳統(tǒng)的架構(gòu)，即RISC小型機加上集中式存儲，外接光纖存儲，局限性非常大，可擴展的存儲方案呼之欲出。在英特爾(中國)有限公司數(shù)據(jù)中心及云計算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東看來，支持?jǐn)?shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu)，需要更快、支持更大的數(shù)據(jù)量和更高的性價比的解決方案。
Hadoop、Spark等架構(gòu)能夠滿足這樣的需求。它們提供節(jié)點通信，實現(xiàn)計算任務(wù)的分配，以及容錯擴展等等問題，最終實現(xiàn)對分布式系統(tǒng)中各個節(jié)點計算能力的聚合。尤其是Hadoop，在節(jié)點間傳遞計算過程，而不是傳遞數(shù)據(jù)，能夠用更少的帶寬更快地推進大數(shù)據(jù)的處理。這其實是保存算法的存儲，是計算與存儲的一種融合。
賀曉東表示，英特爾通過至強E5的平臺、開源社區(qū)Hadoop與合作伙伴一起更好地支持Hadoop。而采用x86硬件，也會使得大數(shù)據(jù)處理的成本變得更加低廉。在此之前，英特爾已經(jīng)和Cloudera達成戰(zhàn)略合作關(guān)系，為用戶提供更易于部署和使用、比開源版本更完善的Hadoop技術(shù)。
硬件與軟件的融合
從英特爾與SAP的合作，很容易理解軟件與硬件的融合。賀曉東指出，在業(yè)界有這樣的趨勢，就是做一體機，把硬件、軟件(包括分析軟件)全集成在一起來作為一攬子的方案交付給用戶。當(dāng)然，英特爾也會提供相應(yīng)的計算、存儲的解決方案，例如，英特爾已經(jīng)和OEM廠商合作推出了面向醫(yī)療行業(yè)的英特爾大數(shù)據(jù)一體機。當(dāng)然國內(nèi)的浪潮、曙光等也推出了大數(shù)據(jù)一體機，而華為、惠普、戴爾、IBM等也和SAP合作打造HANA一體機以支持海量數(shù)據(jù)的處理。
軟件應(yīng)用和硬件畢竟是術(shù)業(yè)有專攻，這就需要軟硬件廠商的合作才能實現(xiàn)這樣的融合。對于內(nèi)存分析的理念，英特爾在最新發(fā)布的E7 v2中也做出了回應(yīng)，允許單臺四路服務(wù)器最多支持6TB內(nèi)存，能夠直接把很多數(shù)據(jù)加載到內(nèi)存中進行實時分析。
“英特爾和SAP在總部已經(jīng)合作了20多年，HANA作為一個內(nèi)存計算環(huán)境每次推出的時候，它的版本研發(fā)一定是跟英特爾的工程師在做一些底層的優(yōu)化。芯片上的態(tài)勢、具體的指令等，都作了很多拓展。”SAP公司數(shù)據(jù)庫及技術(shù)平臺部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平說。他認(rèn)為，共同搭建一個大數(shù)據(jù)處理平臺很重要。
開源平臺與商業(yè)套件的融合
因為數(shù)據(jù)的復(fù)雜性、分析的復(fù)雜性和業(yè)務(wù)的復(fù)雜性，我們還無法打造一個萬能的系統(tǒng)，譬如Hadoop能夠輕易實現(xiàn)PB級數(shù)據(jù)存儲，卻短于實時分析，SAP HANA擅長于做實時分析，但內(nèi)存還達不到PB級，而且這個對硬件要求相對苛刻的系統(tǒng)用于對實時性要求不高的歷史數(shù)據(jù)的挖掘來說，有大炮打蚊子的感覺，太過浪費。
然而，開源平臺與商業(yè)軟件的融合能夠為我們帶來更簡單、更高效、更智能、更敏捷的解決方案。事實上，SAP正在研究內(nèi)存數(shù)據(jù)管理與Hadoop的結(jié)合。宋一平表示，HANA+Hadoop，也是一種平臺和存儲的模式，再借助具體的芯片和具體的服務(wù)器，就能夠打造一個更強的大數(shù)據(jù)處理平臺。
怎么從Hadoop中提煉一些屬性數(shù)據(jù)，以同時實現(xiàn)海量存儲和秒級甚至毫秒級分析性能，是SAP的目標(biāo)。宋一平介紹，Hadoop和HANA的結(jié)合，和SAP的數(shù)據(jù)管理、數(shù)據(jù)庫結(jié)合有很多種方式，有在線、離線方式、聯(lián)邦方式，就是透過前端應(yīng)用直接訪問Hadoop和HANA里面的數(shù)據(jù)，或者先透過HANA后面再去訪問Hadoop的方式，都可以去實現(xiàn)這樣一個目標(biāo)。
其實，除了SAP，IBM、微軟、Teradata、Oracle等公司無不在研究如何打通Hadoop與自家解決方案，以形成大數(shù)據(jù)處理技術(shù)的閉環(huán)。
而從英特爾的角度來看，通過相同的x86架構(gòu)，以全面的產(chǎn)品線滿足傳統(tǒng)的核心業(yè)務(wù)系統(tǒng)、實時分析系統(tǒng)、可擴展存儲系統(tǒng)、甚至可視化展現(xiàn)系統(tǒng)的不同需求，提供了整個數(shù)據(jù)生命周期的支撐。這其實能夠為這種融合掃清了硬件架構(gòu)差異的障礙。
小結(jié)
總體來看，在大數(shù)據(jù)時代，我們需要一個融合架構(gòu)的解決方案。融合是老生常談，但這里更注重分工與協(xié)作的統(tǒng)一。具體而言，融合的核心是數(shù)據(jù)，融合的本質(zhì)是讓不同特征不同價值的數(shù)據(jù)得到最經(jīng)濟、最高效的方式存儲、處理和分析，我們要盡可能地用一個系統(tǒng)完成這些數(shù)據(jù)任務(wù)，當(dāng)采用同一平臺的ROI不能接受的時候，需要靈活地考慮綜合的解決方案，但應(yīng)當(dāng)兼具實時子系統(tǒng)和存儲子系統(tǒng)，而且要保證數(shù)據(jù)或者計算力能夠便捷地在不同的子系統(tǒng)中自由流動，以便靈活地滿足業(yè)務(wù)需求的不斷變化。只有這樣，我們才能做到快+極致。英特爾和SAP的合作，為我們展示了一個新融合的很好的樣板。
