華云數(shù)據(jù)CTO鄭軍博士
華云數(shù)據(jù)CTO鄭軍博士表示，云計算的核心之一，就是大型分布式系統(tǒng)的資源管理。可以從兩個維度觀察云的自動化是如何被推動和發(fā)展的。一是虛擬化的發(fā)展，從2008年虛擬化熱度到2014年Docker出現(xiàn)，輕量級Linux容器實現(xiàn)了對X86服務器資源一個更細粒度的劃分，為資源管理提供了更細顆粒度的調度單元。二是軟件定義的發(fā)展，從軟件定義網(wǎng)絡發(fā)展到今天很大程度上的軟件定義一切，軟件定義實現(xiàn)了資源調度對象的拓展和延伸。同時，軟件定義也打破了硬件和軟件的隔閡，能夠快速為用戶創(chuàng)建無縫服務。從另外一個角度，這提供了基礎，使得未來IaaS和PaaS的界限會越來越模糊，二者越來越統(tǒng)一。
當然，云計算的發(fā)展更離不開開源。可以說開源軟件的發(fā)展直接推動了云的發(fā)展，沒有開源軟件就沒有云，就沒有工業(yè)界今天的發(fā)展。
未來的服務將由更大型的云數(shù)據(jù)中心提供，大型云數(shù)據(jù)中心內部是成千上萬的物理服務器和更趨向透明化簡單化的硬件處理單元完成。如何在這樣的前提下，為一個或復雜或簡單的任務，云平臺在后臺調度聚合成千上萬的子任務來協(xié)同計算和處理，這是非常有挑戰(zhàn)性。當部署多層的分布式系統(tǒng)的時候，如何做到跨層全局統(tǒng)一的管理，包括資源管理等方面仍存在諸多challenge。舉例來說，如果部署一個Spark大數(shù)據(jù)系統(tǒng)，很多用戶會選擇OpenStack作為最底層架構，Spark通過Mesos、YARN來管理資源，如果再基于Docker進行spark部署，那么這三層資源的調度和綜合管理就是很大的問題。工業(yè)界還沒有一個很好的答案。華云數(shù)據(jù)在這方面也正在進行實踐，設計通用的資源管理系統(tǒng)，對接Spark大數(shù)據(jù)系統(tǒng)和云平臺。
鄭軍博士也談到，SDN和NFV近年來的發(fā)展也是如日中天，但是在自動化的資源管理方面，SDN和NFV跟Openstack結合，現(xiàn)在沒有標準的答案。
那么當企業(yè)搭建一個大數(shù)據(jù)系統(tǒng)時，應該怎么做？鄭軍博士分享了華云數(shù)據(jù)在這方面的實踐成果。搭建一個真正的生產大數(shù)據(jù)系統(tǒng)時，所有的邏輯和操作流程大約20個左右，甚至更復雜。部署大數(shù)據(jù)系統(tǒng)，尤其在云上進行部署時將面臨很大的問題。華云數(shù)據(jù)的實踐理念是“事件驅動”。首先通過資源調度，即通過SDN和NFV將底層軟硬件打通。它需要一個X86的集群，也需要不同的軟件組件。目前華云數(shù)據(jù)已經(jīng)做到了“事件驅動”，在華云私有云平臺上封裝了大數(shù)據(jù)系統(tǒng)的支撐模塊。另外一個維度與服務相關，包括服務聚合和數(shù)據(jù)自動分析。華云數(shù)據(jù)正在進行基于此的研發(fā)和創(chuàng)新，沿著自助機器學習的方向往前走。
在云計算大會上分享的最后，鄭軍博士談了他對云未來發(fā)展的三個觀點。一是云的加減法，也就是對于用戶而言，云變得越來越簡單、越來越透明；而對于華云數(shù)據(jù)這樣的云服務提供商來說，需要在紛繁復雜的軟硬件資源上提供無縫的聚合服務。第二個觀點是云需要更細顆粒度的調度資源和管理機制，實現(xiàn)更廣意義的異構資源管理。這可以通過擴展軟件定義和Docker等平臺系統(tǒng)來實現(xiàn)。第三就是IaaS和PaaS走向融合統(tǒng)一，界限越來越模糊。更多的用戶將會融合度更高的全棧解決方案。
所以，為了給用戶提供好的服務體驗，像華云數(shù)據(jù)這樣的云計算服務商仍然在奮斗的路上。
