(圖注:由于使用了伯格和后續(xù)的歐米茄系統(tǒng),谷歌不用在不同的服務器群組上運行各自的軟件系統(tǒng),而是將所有的東西放在一個服務器群組上運行。)

谷歌并未正式參與那個項目。但是它為巴克萊AMP試驗室提供了資金,而AMP試驗室正是Mesos項目的主要研究機構。而且,那些參與了Mesos 項目的研究人員也經(jīng)常與威爾克斯那樣的谷歌員工交換想法。威爾克斯稱:“我們發(fā)現(xiàn)他們正在開發(fā)它,我開始安排自己的日程表,以便每6個月就可以跟他們碰一次頭,有時只是為了在一起聊聊。”

孔維因斯基也在谷歌臨時工作了一段時間,并且還在威爾克斯手下干了一段時間??拙S因斯基說:“我們從未針對谷歌內(nèi)部運行的某些特定的系統(tǒng)交換過想法,因為谷歌在那些項目的保密性上面管得非常嚴。但是我們還是得到了很多有用的反饋信息,都是在很高層面上的,比如具體的問題是什么,我們應該關注哪些問題等等。”

Mesos項目與伯格系統(tǒng)有一點不同,后者的歷史要比前者長一些。但是它們本質(zhì)性的問題是一樣的。據(jù)海因德曼稱,谷歌的新版伯格系統(tǒng)即歐米茄與Mesos的模式更為接近。

這些系統(tǒng)被稱作“服務器群組管理系統(tǒng)”,它們與多年以前就在開發(fā)的很多被用來運行超級電腦和Sun Grid Engine等服務的工具很相似。歐米茄和Mesos都可以讓你在同一個服務器群組上運行多套分布式系統(tǒng)。你不需要專門為Hadoop分配一個服務器群組,然后為Storm(一種可以實時處理多條數(shù)據(jù)流的工具)分配另一個服務器群組,你可以將它們放在同一個服務器群組上運行。威爾克斯稱:“這就是我們開發(fā)的方向,它可以提高效率,這也就是我們開發(fā)這些系統(tǒng)的原因。”

那些工具還提供了一個接口,軟件設計師們可以利用那個接口在伯格或Mesos平臺上運行他們自己的應用程序。在Twitter,這個接口被稱作 “Aurora”。例如,一組工程師可以利用Aurora來運行Twitter的廣告系統(tǒng)。海因德曼當時說,公司大約20%的服務都是以這種方式運行在 Mesos平臺上的。

威爾克斯稱,現(xiàn)在谷歌提供了很多工具,幫助工程師們將各項資源分配給他們的應用程序。但是歐米茄的目的是處理更多這樣的任務,因此工程師們不必擔心細節(jié)問題。他說:“你可以將它看作是自動擋汽車與手動擋汽車的對比,你想要跑得更快,你沒必要去調(diào)整壓縮比或進口歧管。”

歐米茄項目仍處于開發(fā)狀態(tài),但是公司已經(jīng)開始在實際數(shù)據(jù)中心中進行樣品測試了。

伯格的回歸:Twitter如何重建谷歌秘密武器

Twitter的本海因德曼

克隆的攻擊

據(jù)威爾克斯稱,谷歌打算發(fā)布一份關于伯格系統(tǒng)的研究報告。谷歌通常不愿意透露其支撐著它的網(wǎng)絡帝國的各種系統(tǒng)的資料。從競爭的角度來說,那些技術具有非常重要的意義;但是一旦這些工具達到一定的成熟階段,谷歌就會向外公布。

在發(fā)布那樣一份研究報告和Mesos在Twitter的興起期間,伯格模式將在網(wǎng)絡上得到進一步擴散。其他一些公司如AirBNB、Conviva 和另外一家與加州伯克萊大學關系密切的公司已經(jīng)開始使用Mesos系統(tǒng),威爾克斯相信,Mesos項目背后的基本構想可能會極大地改變企業(yè)運行分布式系統(tǒng)的方式。

是的,還有很多其他方式可以高效地將工作負載分配到服務器群組中去。你可以使用虛擬化解決方案,在物理服務器上運行虛擬服務器,然后把你想要加載的任何軟件加載到虛擬服務器上去。但是在伯格和Mesos平臺上,你不用擔心去擔心那些虛擬機。

海因德曼稱:“接口是最重要的東西。虛擬化解決方案給你的接口是一個新的虛擬機,我們不想那樣,我們要想一種更簡單的解決方案。我們希望人們可以管理數(shù)據(jù)中心,就象他們管理筆記本電腦一樣。”

威爾克斯稱:“如果你是一名工程師并建立起一個虛擬機,你會得到一個看起來象是另一臺硬件的東西。你必須在它上面運行一款操作系統(tǒng),你必須去管理它,你必須升級它,你必須去做需要對一臺物理設備做的所有工作。”

他接著說:“但那并不是一名工程師利用他的時間的最好方式。他們真正想要做的是運行他們的應用程序。我們?yōu)樗麄兲峁┝艘环N實現(xiàn)那個目標的方法,而且不需要去使用虛擬機。”

顯然,很多工程師寧愿使用原始的虛擬機。這就是他們從亞馬遜EC2服務中獲得到的東西。亞馬遜的云計算服務已經(jīng)成為運行軟件應用程序最流行的方式,以致于無數(shù)公司都在努力為開發(fā)人員和企業(yè)用戶提供相似的工具。

畢業(yè)于加州巴克萊大學、同樣在威爾克斯手下干過一段時間臨時工的查理雷斯(Charles Reiss)并不認為現(xiàn)在的這個系統(tǒng)能夠提供比其他可比解決方案更大的優(yōu)勢。但是他同時也補充說,歐米茄就不同了。

谷歌打算通過歐米茄項目讓整個流程變得更加順暢,就象Twitter利用Mesos平臺和Aurora實現(xiàn)的目標一樣。從長期角度來說,其他公司肯定會模仿它們。谷歌和Twitter將數(shù)據(jù)中心當做一個超大型的計算機來看待,最終全世界也會這樣做。計算機科學總是利用這樣的方式向前發(fā)展。我們從一種復雜的接口起步,慢慢地開發(fā)出一種不再復雜的接口。這樣的事情在臺式機電腦、筆記本電腦和服務器領域都已經(jīng)發(fā)生過了。現(xiàn)在,輪到數(shù)據(jù)中心了。

分享到

zhaohang

相關推薦