IBM Smart Analytics System 5600的solid-state storage選項整合了Fusion-io ioDrive Duo,提供在PCI Express擴(kuò)展卡上的固態(tài)存儲。
筆者:我看到EMC的Project Lightning宣稱具備分布式緩存的技術(shù),也就是多臺服務(wù)器后端可以同時連接一臺共享存儲。IBM的情況如何?
Vincent Hsu:(ISAS)當(dāng)然是多個節(jié)點的(SSD緩存)。目前還只有Read-only,但下一步我們正在研發(fā)DAS的clustering(集群),把它們的數(shù)據(jù)存儲(捆綁)在一起,這樣寫入數(shù)據(jù)(temp data)也是可以的。
筆者:IBM這些技術(shù)暫時還沒有和外部存儲來做結(jié)合?
Vincent Hsu:目前正在做這方面的事情。因為IBM現(xiàn)在有Easy Tier(自動分層存儲技術(shù))將冷數(shù)據(jù)和熱數(shù)據(jù)分開放在不同層級存儲里的功能,(服務(wù)器上的SSD緩存)對我們來說只是另外一種層級的存儲而已。
GPFS整合Hadoop,IBM的大數(shù)據(jù)分析野心
媒體提問:剛才說到了IBM的存儲是和數(shù)據(jù)分析結(jié)合在一起的。你說的Netezza這個產(chǎn)品,是幫助存儲業(yè)務(wù)大幅度的增長,但是Netezza這個產(chǎn)品是軟件產(chǎn)品。從硬件角度來看你們的大數(shù)據(jù)戰(zhàn)略有哪些呢?
Douglas M.Balog:大數(shù)據(jù)是IBM非常全面的戰(zhàn)略是面向整個市場的戰(zhàn)略,除了Netezza軟件,還有系統(tǒng)分析解決方案,它包括了很多面對市場的不同需求,像入門級的需求都是包括的,還有一些更多的軟件產(chǎn)品Cognos等等也是我們的存儲軟件,都是為了滿足客戶的需求,可以看到我們這個大數(shù)據(jù)解決方案其實是我們的一些設(shè)備加上客戶解決方案一起來滿足客戶需求的。
媒體提問:大數(shù)據(jù)包括很多方面,其他的競爭對手都在做,EMC有一個Greenplum,甲骨文有自己大數(shù)據(jù)的解決方案,他們都有自己的分析業(yè)務(wù),比較之下IBM的優(yōu)勢在哪里?
Douglas M.Balog:IBM收購了上百個專門做分析的軟件公司,我們既能夠提供基礎(chǔ)的架構(gòu)這一層面的業(yè)務(wù)分析的能力,也能提供更多的行業(yè)的業(yè)務(wù)分析能力,我們的產(chǎn)品組合和業(yè)務(wù)分析能力,以及我們收購的上百家公司的能力是競爭對手不能對比的。
媒體提問:Hadoop是大數(shù)據(jù)方面較有影響力的開源技術(shù),各廠商也在Hadoop方面各自提供自己的支持,請問IBM將如何支持Hadoop?
Douglas M.Balog:IBM具有很強(qiáng)的分析組合產(chǎn)品,比如說我們有一個中間件產(chǎn)品Big insight,可以與Hadoop一起使用,在Hadoop的基礎(chǔ)上使用InforSpere BigInsights產(chǎn)品,就可以把Hadoop的文檔系統(tǒng)和IBM的基礎(chǔ)架構(gòu)很好的結(jié)合,就可以生成GPFS。這樣IBM就把它的硬件和文檔系統(tǒng)以及軟件以及Hadoop很好的結(jié)合在一起。
下面是半年前的采訪:
筆者:目前談到云存儲和大數(shù)據(jù),Hadoop(包括HDFS文件系統(tǒng))是一個關(guān)注的焦點。開源是Hadoop的一大優(yōu)勢,比如EMC收購的Greenplum就在與Hadoop 結(jié)合,NetApp也在研究相關(guān)方案。IBM對Hadoop持何種態(tài)度?Netezza可能會和Hadoop產(chǎn)生某種聯(lián)系嗎?
Vincent Hsu:Hadoop是一個大的趨勢,非常適合做大數(shù)據(jù)分析的。IBM有一個很有亮點的技術(shù)叫做GPFS(通用并行文件系統(tǒng)),我們正在做GPFS和Hadoop的整合,將來你會看到IBM有針對Hadoop優(yōu)化環(huán)境的(存儲/設(shè)備)來運行相應(yīng)的工作負(fù)載。
去年的SNW2011大會上,在SNIA(全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會)的一個演講中,我們看到IBM GPFS可以替代HDFS作為Hadoop架構(gòu)的底層文件系統(tǒng)/數(shù)據(jù)存儲。而在上面的應(yīng)用開發(fā)層,商業(yè)方案/接口(Commercial Project / Interface,相對于Hadoop開源方案而言)中第一個列出的就是IBM Bigsheets(大數(shù)據(jù)表)。
GPFS和SONAS在有些觀念上是不一樣的,SONAS雖然也是Scale-out,但它所有的存儲還是以共享式的存儲為主;而 Hadoop(也包括HDFS)本身是分開的。我們現(xiàn)在讓GPFS也能處理這些分散的、分布式的數(shù)據(jù)存儲,與SONAS使用同樣的技術(shù),但支持的工作負(fù)載和架構(gòu)是完全不一樣的。
點評:GPFS與Hadoop的結(jié)合是一種分布式文件系統(tǒng)的形式,專門針對大數(shù)據(jù)分析的應(yīng)用;而作為集群NAS產(chǎn)品的IBM SONAS則具備更多的適應(yīng)性,主要面向高性能計算、海量媒體(音/視頻)數(shù)據(jù)的存儲。
Vincent Hsu:IBM在過去這5年收購了一些做分析工作負(fù)載的軟件(包括Netezza?筆者注),現(xiàn)在我們正在做分析軟件和Hadoop環(huán)境的結(jié)合。
DS8000:未來基于Power的Scale-out?
媒體提問:英特爾的E5處理器平臺很快會發(fā)布,而且在這個E5處理器平臺中包括了很多存儲特性,是不是從英特爾的這種觀點來說,認(rèn)為存儲從硬件上會越來越趨近,存儲和服務(wù)器在性能上越來越像,主要差異體現(xiàn)在軟件,不知道IBM如何看待這種趨勢,在研發(fā)中有沒有相應(yīng)的調(diào)整?
Laura Guio:我不能對其他公司未來要公布的產(chǎn)品進(jìn)行評價。如果你仔細(xì)看一下我們的存儲產(chǎn)品組合的話,現(xiàn)在存儲行業(yè)確實是以軟件為導(dǎo)向的行業(yè),現(xiàn)在有很多行業(yè)標(biāo)準(zhǔn)使用的硬盤,比如說硬盤、閃存,不管是英特爾的處理器還是POWER處理器等其他的計算的模板,可以看到這些都是行業(yè)標(biāo)準(zhǔn)的?,F(xiàn)在對于存儲系統(tǒng)來說有一個革命性的變化,就是把行業(yè)內(nèi)應(yīng)用的這些軟件都拿來,同時匹配上差異化的軟件,同時體現(xiàn)差異化的體系。英特爾會給全世界帶來一種想法,讓大家覺得一切都是在英特爾的界面基礎(chǔ)上運行。對于IBM,我們自己也有我們自己的POWER芯片,現(xiàn)在POWER5、POWER6都應(yīng)用在DS8000上了,POWER7很快會應(yīng)用在DS8000上了,對于我們來說,我們其實是把行業(yè)中這些最優(yōu)秀的組件都拿來用在我們的產(chǎn)品上,不管是Power還是英特爾,所以我們比英特爾有著更寬泛的視角。
下面是半年前的采訪:
筆者:我們看到目前多核x86 CPU性能越來越強(qiáng)、4插槽MP系統(tǒng)的內(nèi)存已經(jīng)可以支持到1~2TB。那么,IBM DS8000系列將來還有必要繼續(xù)使用自己的Power處理器嗎?
Vincent Hsu:存儲器不光是一個性能的問題,特別是高端存儲最重要的關(guān)鍵就是數(shù)據(jù)完整性。所以事實上我們有很多和Power整合的技術(shù),我想將來(IBM)高端產(chǎn)品還是會用Power。具體到x86的性能現(xiàn)在也比較強(qiáng),但是對數(shù)據(jù)的可靠性和一致性來講,Power在這方面還是有比較多的優(yōu)點。
將來你會看到不一樣的地方,DS8000系列中會有Scale-out和Scale-up的設(shè)計?,F(xiàn)在DS8800和DS8300就有很大的不同,DS8800的每一個矩陣節(jié)點(I/O擴(kuò)展柜)Adapter和Power之間都是PCIe點對點的連接。
IBM DS8000(DS8700/8800)系列架構(gòu)圖
點評:DS8700、DS8800使用的CPU分別為4.7GHz的P6 570和5.0GHz的P6+ 570,前者的后端驅(qū)動器連接為2Gb/s FC-AL(光纖通道仲裁環(huán)路),而后者通過交換式的8Gb/s FC-AL連接到支持2.5英寸6Gb/s SAS驅(qū)動器的擴(kuò)展柜。
除了這些,IBM DS8700和8800在系統(tǒng)I/O架構(gòu)上的設(shè)計基本相同。兩臺Power 6服務(wù)器中各有兩個CPU插槽(支持單核或雙核處理器),它們通過P5ioc2芯片轉(zhuǎn)接出的PCIe Cable分別連接到8個I/O擴(kuò)展柜。而兩臺P6服務(wù)器之間的通信則由專用的RIO-G(remote I/O)環(huán)路來實現(xiàn),一種高性能、帶有自我恢復(fù)功能的內(nèi)部連接技術(shù)。