孫冰:海量流數(shù)據(jù)處理的服務(wù)化
王雪楊 發(fā)表于:13年06月08日 14:55 [原創(chuàng)] DOIT.com.cn
第五屆云計(jì)算大會于2013年6月5日—6月7日在北京會議中心隆重召開,本次大會以“大數(shù)據(jù)大帶寬推動云計(jì)算應(yīng)用與創(chuàng)新”為主題,以全新的國際視野,洞 悉全球云計(jì)算發(fā)展趨勢,并從應(yīng)用出發(fā),探討云計(jì)算與大數(shù)據(jù)、云計(jì)算與移動互聯(lián)網(wǎng)、云安全及云計(jì)算行業(yè)應(yīng)用等焦點(diǎn)話題,分享云計(jì)算發(fā)展經(jīng)驗(yàn),促進(jìn)云計(jì)算創(chuàng)新合作。
6月7日上午,阿里云飛天開放平臺總監(jiān)孫冰在大會分會場進(jìn)行了主題為“海量流數(shù)據(jù)處理的服務(wù)化”的演講。他分享了飛天開放平臺在海量流數(shù)據(jù)處理的服務(wù)化取得的經(jīng)驗(yàn)。

阿里云飛天開放平臺總監(jiān)孫冰
大會上孫冰首先說明了一下關(guān)于流數(shù)據(jù)處理不斷生長的需求。

流數(shù)據(jù)處理
孫冰認(rèn)為,流數(shù)據(jù)處理服務(wù)設(shè)計(jì)的關(guān)鍵要素有三個:各向擴(kuò)展,超強(qiáng)容錯和確保實(shí)時。所以他從這些方面對比了離線和流兩大規(guī)模數(shù)據(jù)處理。如圖:

大規(guī)模數(shù)據(jù)處理:離線VS 流
接下來,孫冰從擴(kuò)展、容錯、實(shí)時等多個方面對垂直系統(tǒng)和平臺服務(wù)也進(jìn)行了對比。如圖: 垂直系統(tǒng)VS平臺服務(wù)

垂直系統(tǒng)VS平臺服務(wù)
孫冰表示,對于OSPS這樣一個系統(tǒng)來說,它是基于飛天平臺的,這樣做的好處在于,容錯是用了非常直接的方法,如果沒有飛天平臺,沒有一個非常好的既可以記普通文件,又可以記log文件,又高效又分布在每臺機(jī)器上都能做的底層存儲系統(tǒng),這件事情就變得很復(fù)雜。由于我們做OSPS的時候已經(jīng)有飛天平臺,省了非常多的力氣。接下來,我們在C++自主研發(fā),寫類似于SQL的腳本,優(yōu)化在系統(tǒng)里做,保證數(shù)據(jù)不丟、不重,實(shí)現(xiàn)動態(tài)負(fù)載均衡。
孫冰表示,飛天平臺設(shè)計(jì)目標(biāo)是五千臺物理機(jī),每天處理PB級數(shù)據(jù)。

OSPS應(yīng)用架構(gòu)

公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.