易觀OLAP算法大賽商業(yè)組頒獎(jiǎng)儀式

開(kāi)源組三甲:

第一名:廣州向量線科技 韋萬(wàn)和李本旺

在開(kāi)源組比賽中韋萬(wàn)和李本旺另辟蹊徑,向北取經(jīng)。使用目前國(guó)內(nèi)鮮為人知的俄羅斯神級(jí)開(kāi)源軟件ClickHouse參賽。利用ClickHouse超強(qiáng)分析性能和靈活的架構(gòu)特點(diǎn),使得集群間節(jié)點(diǎn)的計(jì)算完全并行化,同時(shí)優(yōu)化底層的存儲(chǔ)和上層的計(jì)算細(xì)節(jié),挖掘CPU cache、向量化執(zhí)行和具體算法優(yōu)化方面的潛力。憑借在時(shí)效和精度上的優(yōu)異表現(xiàn),韋萬(wàn)和李本旺團(tuán)隊(duì)成為本屆大賽最大黑馬,獲得開(kāi)源組第一名。

第二名:美團(tuán)點(diǎn)評(píng) 孫業(yè)銳

美團(tuán)點(diǎn)評(píng)團(tuán)隊(duì)基于自身的業(yè)務(wù)優(yōu)勢(shì)經(jīng)驗(yàn),設(shè)計(jì)了本次參賽的解題思路。用bitmap快速過(guò)濾和基于時(shí)間戳序列匹配的算法,利用Apache Spark、Alluxio等開(kāi)源框架快速落地實(shí)現(xiàn),使用了一系列工程優(yōu)化方法,在每日數(shù)百億條日志和百萬(wàn)屬性的數(shù)據(jù)集上,實(shí)現(xiàn)有序漏斗的秒級(jí)查詢。在易觀正式數(shù)據(jù)環(huán)境中,在26億數(shù)據(jù),400萬(wàn)用戶,幾十個(gè)屬性的場(chǎng)景下,美團(tuán)點(diǎn)評(píng)團(tuán)隊(duì)均實(shí)現(xiàn)了快速查詢。

第三名:北京郵電大學(xué) 盧躍凱

易觀OLAP算法大賽還吸引了來(lái)自計(jì)算機(jī)名門高校的個(gè)人選手。北京郵電大學(xué)的研究生盧躍凱,采用了HDFS作為儲(chǔ)存,將Spark作為數(shù)據(jù)預(yù)處理和核心過(guò)濾算法實(shí)現(xiàn)。借鑒最長(zhǎng)遞增子序列的存儲(chǔ)和更新思想,將查找每個(gè)用戶轉(zhuǎn)化率的時(shí)間復(fù)雜度變?yōu)榱?(n),提升了漏斗計(jì)算的效率。

易觀OLAP算法大賽開(kāi)源組頒獎(jiǎng)儀式

開(kāi)源組10萬(wàn)元現(xiàn)金獎(jiǎng)勵(lì)

易觀OLAP大賽為每組前三名的團(tuán)隊(duì)頒發(fā)獲獎(jiǎng)證書,同時(shí)開(kāi)源組第一名還將獲得UCloud提供的10萬(wàn)元現(xiàn)金獎(jiǎng)勵(lì)。據(jù)悉,韋萬(wàn)和李本旺獲得開(kāi)源組第一名后注冊(cè)了自己的公司,將對(duì)算法技術(shù)進(jìn)行更深入的研究和落地實(shí)踐。

開(kāi)源組第一名10萬(wàn)元現(xiàn)金獎(jiǎng)勵(lì)授予儀式

賽制公正具有含金量

2017易觀OLAP算法大賽在“有序漏斗”的實(shí)時(shí)計(jì)算效率和精確度上得到突破性的好成績(jī),這離不開(kāi)易觀海量的數(shù)據(jù)支撐以及UCloud強(qiáng)大的技術(shù)支持。

一直以來(lái),UCloud都是易觀良好的合作伙伴,本次大賽UCloud為所有參賽團(tuán)隊(duì)提供了穩(wěn)定的底層IT計(jì)算資源服務(wù)。比賽在4臺(tái)UCloud云主機(jī)16核、16G內(nèi)存、SSD數(shù)據(jù)盤300G硬件的環(huán)境下進(jìn)行。比賽時(shí)現(xiàn)給出8個(gè)不同的場(chǎng)景,同時(shí)開(kāi)始計(jì)時(shí),每個(gè)場(chǎng)景的運(yùn)行時(shí)間須在8分鐘以內(nèi),8個(gè)場(chǎng)景總體比賽時(shí)間在1小時(shí)內(nèi),以此考察參賽團(tuán)隊(duì)在不同場(chǎng)景下的實(shí)時(shí)計(jì)算精度和用時(shí)效率。每個(gè)場(chǎng)景根據(jù)事件的數(shù)量、事件的復(fù)雜程度、事件的屬性、時(shí)間窗口的大小等差異賦予不同的權(quán)重。總分為單個(gè)場(chǎng)景乘以該場(chǎng)景權(quán)重的累加所得。在8個(gè)場(chǎng)景中,運(yùn)行時(shí)間最短且精確度最高的隊(duì)伍獲勝。在正式數(shù)據(jù)環(huán)境開(kāi)跑階段,還進(jìn)行全程錄像,確保比賽成果的含金量。

作為易觀A10峰會(huì)的重要項(xiàng)目,OLAP算法大賽不僅為技術(shù)黑馬提供大展拳腳的道場(chǎng),同時(shí)還為行業(yè)挖掘出更多技術(shù)型人才和更優(yōu)秀解決方案。做技術(shù)領(lǐng)域的“伯樂(lè)”,讓世界看到更多“黑馬”,易觀致力于推進(jìn)大數(shù)據(jù)應(yīng)用創(chuàng)新。未來(lái),易觀OLAP大賽取得的成果將用于數(shù)據(jù)產(chǎn)品的研發(fā)當(dāng)中,從技術(shù)應(yīng)用層面實(shí)踐“數(shù)以致用”。

分享到

songjy

相關(guān)推薦