火山引擎ByteHouse短視頻、直播數(shù)據(jù)批流一體寫(xiě)入及分析方案
據(jù)介紹,在短視頻結(jié)合直播的場(chǎng)景中,短視頻平臺(tái)一般面臨以下問(wèn)題:首先,創(chuàng)作者、電商、數(shù)據(jù)等各類(lèi)數(shù)據(jù)格式不同、來(lái)源多樣化;其次,平臺(tái)同時(shí)存在離線、實(shí)時(shí)數(shù)據(jù),在進(jìn)行數(shù)據(jù)分析和加工時(shí)涉及到離線、實(shí)時(shí)數(shù)據(jù)源合并的問(wèn)題;最后,運(yùn)營(yíng)人員經(jīng)常實(shí)時(shí)查詢(xún)數(shù)據(jù)以便完成決策的需求,會(huì)對(duì)任意指標(biāo)進(jìn)行實(shí)時(shí)篩選、排序,因此需要平臺(tái)具備高性能。
針對(duì)以上問(wèn)題,火山引擎ByteHouse推出批流一體的能力,可以將實(shí)時(shí)查詢(xún)、交互式分析與離線數(shù)據(jù)加工的處理流程整合在同一個(gè)平臺(tái),不僅僅能保證數(shù)據(jù)的一致性和準(zhǔn)確性,避免數(shù)據(jù)在系統(tǒng)流轉(zhuǎn)中出現(xiàn)不一致的問(wèn)題,還可以簡(jiǎn)化數(shù)據(jù)處理架構(gòu),研發(fā)人員不再需要維護(hù)和管理多個(gè)工具、系統(tǒng)。
除此之外,運(yùn)營(yíng)人員需要對(duì)指標(biāo)進(jìn)行實(shí)時(shí)查詢(xún),秒級(jí)產(chǎn)出結(jié)果,ByteHouse主要通過(guò)自研Unique表引擎和 HaKafka引擎來(lái)解決這一問(wèn)題。ByteHouse Unique表引擎在數(shù)據(jù)寫(xiě)入時(shí)即可完成實(shí)時(shí)去重和查詢(xún),同時(shí)自研 HaKafka引擎支持對(duì)數(shù)據(jù)進(jìn)行緩存,能夠解決系統(tǒng)高負(fù)載的問(wèn)題,保障海量數(shù)據(jù)實(shí)時(shí)性。
在雙十一等海量數(shù)據(jù)高并發(fā)的場(chǎng)景下,火山引擎ByteHouse提供的直播電商數(shù)據(jù)能力,不僅能保障數(shù)據(jù)唯一性、準(zhǔn)確性,更能實(shí)現(xiàn)高性能、低延時(shí)。
除了在直播電商領(lǐng)域落地,火山引擎ByteHouse還與中國(guó)地震臺(tái)網(wǎng)中心、海王集團(tuán)、莉莉絲游戲、極客邦科技等諸多行業(yè)企業(yè)達(dá)成了深度合作,憑借新一代的云原生架構(gòu),高效方便的運(yùn)維模式,以及高性能更靈活的實(shí)時(shí)查詢(xún)能力,為企業(yè)抓穩(wěn)數(shù)字化機(jī)遇建立了夯實(shí)的地基,推動(dòng)企業(yè)的數(shù)智化轉(zhuǎn)型升級(jí)。