負(fù)責(zé)這一版本整體進(jìn)度的Release Manager,是來(lái)自騰訊云產(chǎn)品部大數(shù)據(jù)及人工智能產(chǎn)品中心的專家研究員堵俊平,他同時(shí)也是Apache Hadoop社區(qū)PMC的成員。
Apache軟件基金會(huì)推崇PMC制度,每個(gè)開(kāi)源項(xiàng)目都是一個(gè)PMC,即項(xiàng)目管理委員會(huì),可以自行決定技術(shù)發(fā)展方向和社區(qū)運(yùn)作模式,但需要公開(kāi)信息,并定期向Apache的董事會(huì)匯報(bào),以便董事會(huì)監(jiān)督。
成為PMC的成員可是非常不容易的事,必須要一步步“打怪升級(jí)”。要實(shí)現(xiàn)從一個(gè)普通的Developer到PMC Member的跨越,除了碼代碼以外,開(kāi)源社區(qū)的組織能力也要強(qiáng),是不是帥呆了?
堵 俊 平
騰訊T4大數(shù)據(jù)技術(shù)專家,曾任EMC,VMware資深研發(fā)工程師,Hortonworks美國(guó)YARN團(tuán)隊(duì)負(fù)責(zé)人。深耕云計(jì)算,大數(shù)據(jù)方向10余年,在多個(gè)社區(qū)均享有極高知名度,包括Apache Hadoop社區(qū)Committer & PMC,并領(lǐng)導(dǎo)hadoop 2.6、2.8等應(yīng)用非常廣泛的社區(qū)release。曾領(lǐng)導(dǎo)開(kāi)發(fā)多個(gè)Hadoop在云平臺(tái)上優(yōu)化與拓展的項(xiàng)目與產(chǎn)品。目前在騰訊致力于領(lǐng)導(dǎo)騰訊云大數(shù)據(jù)及人工智能產(chǎn)品研發(fā)工作。
小編采訪了一下這位男神,接下來(lái)就讓他給大家講一下,這次新版本發(fā)布過(guò)程中的小細(xì)節(jié)吧。
Q很多人可能聽(tīng)說(shuō)過(guò)“開(kāi)源”,但了解不多,您可以簡(jiǎn)單介紹一下嗎?
A?開(kāi)源可以理解為“向公眾開(kāi)放源代碼”。近幾年來(lái)熱度不減的大數(shù)據(jù),就是由開(kāi)源的軟件來(lái)驅(qū)動(dòng)整個(gè)產(chǎn)業(yè)生態(tài)的。這里就不得不提到一個(gè)里程碑式的開(kāi)源產(chǎn)品——hadoop:從谷歌的三篇論文,到雅虎的hadoop,開(kāi)啟了如今的大數(shù)據(jù)時(shí)代。
過(guò)去的系統(tǒng)軟件主要是由閉源軟件來(lái)驅(qū)動(dòng)的。雖然像操作系統(tǒng)涌現(xiàn)出Linux這樣優(yōu)秀的軟件,但后面的數(shù)據(jù)庫(kù)和應(yīng)用服務(wù)器,仍然幾乎都是從閉源產(chǎn)品去驅(qū)動(dòng)的。
hadoop誕生后的這十年來(lái),一直都是大數(shù)據(jù)生態(tài)的核心,它改變了以往的軟件形式,成為了最主流的開(kāi)源項(xiàng)目之一。現(xiàn)在基本上各家數(shù)據(jù)平臺(tái)團(tuán)隊(duì),都是在hadoop生態(tài)系統(tǒng)上小修小改,去支持大數(shù)據(jù)相關(guān)的業(yè)務(wù)系統(tǒng),可以認(rèn)為它是開(kāi)源的一個(gè)標(biāo)準(zhǔn)吧。
Q與傳統(tǒng)的閉源生態(tài)相比,開(kāi)源有什么好處呢?
A?首先是避免“重復(fù)發(fā)明輪子”的問(wèn)題,不同的個(gè)人和團(tuán)體可以在公開(kāi)的代碼平臺(tái)上集體創(chuàng)作,而不是封閉起來(lái)做重復(fù)的事情。其次是用戶不必被綁架在特定的軟件平臺(tái)上,隨時(shí)可以遷移應(yīng)用和數(shù)據(jù)。最后是核心知識(shí)產(chǎn)權(quán),比如以前的IOE,不只是沒(méi)有“中國(guó)芯”的問(wèn)題,上面的應(yīng)用軟件和系統(tǒng)軟件可能隨時(shí)面臨被人封鎖的危險(xiǎn),而開(kāi)源就不會(huì)有這個(gè)問(wèn)題,它完全公開(kāi)透明。另外,開(kāi)源也鼓勵(lì)公司規(guī)劃長(zhǎng)線的技術(shù)投資,而不只是短線的利益操作。
Q騰訊這次主導(dǎo)阿帕奇社區(qū)hadoop新版本的發(fā)布,在國(guó)內(nèi)算是首次嗎?
A?對(duì),以前都是由微軟、Hortonworks和Cloudera等國(guó)外大數(shù)據(jù)廠家輪流坐莊,而這個(gè)版本是第一次完全由國(guó)內(nèi)的公司來(lái)支持的。從技術(shù)號(hào)召力或者對(duì)整個(gè)開(kāi)源社區(qū)的影響力來(lái)說(shuō),可以鼓勵(lì)國(guó)內(nèi)的開(kāi)發(fā)者和公司更積極地參與開(kāi)源項(xiàng)目貢獻(xiàn),勇于承擔(dān)更大的責(zé)任,更多地回饋開(kāi)源社區(qū)。
Q給整個(gè)社會(huì)也帶來(lái)了哪些積極的影響呢?
A?首先,大數(shù)據(jù)軟件屬于基礎(chǔ)技術(shù),這次平臺(tái)是由騰訊做技術(shù)主導(dǎo)的,在國(guó)內(nèi)算是一個(gè)突破。其次,對(duì)于開(kāi)發(fā)者社區(qū)來(lái)說(shuō),也是比較可靠的一個(gè)社區(qū)、最熱門(mén)的項(xiàng)目。
最后,對(duì)于普通人來(lái)說(shuō),也是可以從中受益的。因?yàn)榛A(chǔ)平臺(tái)能力的提高,也伴隨著數(shù)據(jù)處理能力的提高,可以讓大家的生活更方便。大數(shù)據(jù)時(shí)代到來(lái)之前,可能沒(méi)有那么多面向數(shù)據(jù)的業(yè)務(wù),比如地圖業(yè)務(wù)、O2O業(yè)務(wù)、智能推薦系統(tǒng)等等。包括現(xiàn)在極具話題性的AI人工智能,如果沒(méi)有大數(shù)據(jù)平臺(tái)的進(jìn)步,也是發(fā)展不起來(lái)的。
Q之前是有技術(shù)難關(guān)的限制嗎?
A?過(guò)去十年,中國(guó)的互聯(lián)網(wǎng)公司發(fā)展很快,大家都以追求業(yè)務(wù)為主,在技術(shù)或開(kāi)源方面做得不夠,這是我們相較西方的短板。國(guó)內(nèi)很多公司其實(shí)也嘗試過(guò)開(kāi)源,但它只有開(kāi)源的代碼,沒(méi)有開(kāi)源的社區(qū),也就是自己覺(jué)得某個(gè)產(chǎn)品做得不錯(cuò),就把源代碼開(kāi)放出來(lái)而已。
源代碼的開(kāi)放和開(kāi)源社區(qū)是兩回事,區(qū)別就是你這個(gè)開(kāi)源的代碼,其它第三方(尤其是你的生態(tài)合作伙伴)有沒(méi)有能力來(lái)參與。
現(xiàn)在整個(gè)大數(shù)據(jù)的熱潮,其實(shí)就是被幾款開(kāi)源的核心軟件所推動(dòng)的。中國(guó)的這些大公司在具備了經(jīng)濟(jì)實(shí)力之后,也開(kāi)始以開(kāi)源為手段想要構(gòu)造一個(gè)更好的生態(tài)。這可能需要一個(gè)過(guò)程,但大家已經(jīng)慢慢意識(shí)到這些基礎(chǔ)軟件跟開(kāi)源結(jié)合的重要性了。