流計算在蘇寧的前世今生

課程簡介：1. 流計算平臺的發(fā)展歷程

2014年到現(xiàn)在4年多的發(fā)展歷程，經(jīng)歷storm->spark streaming->flink的轉(zhuǎn)變，目前在轉(zhuǎn)變中。

2. storm及spark streaming的缺點&我們?yōu)槭裁催x擇flink？

（1）兼顧吞吐量和延時；（2）高效的狀態(tài)管理；（3）Exactly-Once的保證；（4）Event-Time

3. 關(guān)于flink，我們做了哪些工作？

（1）平臺層功能豐富：sql語法豐富（distinct，流表join)，算子自動擴縮容，connector(mysql, hbase，kafka1.0)，sink降速；（2）工具層：統(tǒng)一日志收集及展示、統(tǒng)一監(jiān)控管理平臺（平臺層&業(yè)務層）；（3）服務層：Dlink 一站式開發(fā)平臺。

4. 未來展望

數(shù)據(jù)集成 && 機器學習 && CEP 等

講師介紹：蘇寧易購IT總部大數(shù)據(jù)平臺高級技術(shù)經(jīng)理陳豐，負責蘇寧易購集團大數(shù)據(jù)流計算平臺建設，包括Storm、SparkStreaming、Flink等組件，經(jīng)歷了流計算從組件化到平臺服務化到智能化的發(fā)展過程。對大數(shù)據(jù)開源框架有較為豐富的經(jīng)驗，在分布式計算架構(gòu)設計和系統(tǒng)優(yōu)化方面有自己的思考和領悟。

流式大數(shù)據(jù)和即時交互式分析技術(shù)

課程簡介：大數(shù)據(jù)技術(shù)逐漸變成企業(yè)的標配，漫長的等待數(shù)據(jù)分析結(jié)果已經(jīng)不合時宜，延遲更低的流式大數(shù)據(jù)處理技術(shù)，即時分析變得越來越重要。在本論壇將給大家?guī)硇袠I(yè)中領先的流式大數(shù)據(jù)，即時交互式分析技術(shù)的相關(guān)分享。

講師介紹：TalkingData研發(fā)副總裁閻志濤，現(xiàn)任TalkingData研發(fā)副總裁，領導研發(fā)了公司的數(shù)據(jù)管理平臺(DMP)、數(shù)據(jù)觀象臺等產(chǎn)品，并且負責公司大數(shù)據(jù)計算平臺的研發(fā)。目前專注于構(gòu)建一個融合多種計算模型，支持機器學習和數(shù)據(jù)挖掘的大數(shù)據(jù)計算平臺。關(guān)注Spark、Hadoop、HBase、MongoDB等技術(shù)。超過15年的IT領域從業(yè)經(jīng)驗，一直從事大規(guī)模分布式計算系統(tǒng)、中間件、BI等相關(guān)工作。

流式計算在內(nèi)容資訊推薦服務的應用

課程簡介：流式計算一直是近年來赤手可熱的專業(yè)技術(shù)話題，內(nèi)容資訊也是互聯(lián)網(wǎng)發(fā)展近20年來一致持續(xù)受資本青睞的創(chuàng)業(yè)方向，本期內(nèi)容主要是向大家介紹流式計算在內(nèi)容資訊推薦方面的應用，給大家介紹當前主流資訊推薦服務流程，介紹其中用戶畫像的實時更新，這個也正是流式計算的典型應用。

講師介紹：中東新媒體首席架構(gòu)師王成光，曾先后在百麗電商優(yōu)購、搜狐、網(wǎng)易、一點資訊任職架構(gòu)師、技術(shù)專家等職位，一直從事搜索、數(shù)據(jù)挖掘和個性化推薦的設計、研發(fā)工作，曾多次從零構(gòu)建完整的搜索和推薦系統(tǒng)，曾開源輕量級分布式實時計算框架light_drtc，并于2016年出版《分布式實時計算框架原理及實踐案例》。

Fred

baiyan