核心技術方面,F(xiàn)LIP(Flink Improvement Proposal)是 Flink 核心設計提案,代表了Flink發(fā)展路線圖中最核心、最重要的功能和設計落地。阿里巴巴與Ververica共主導了211 個FLIP,貢獻了Flink 70%以上的核心改進。其中,最為值得關注的有:2019年,用Blink planner替代Flink SQL 舊引擎,帶領 Flink SQL 在性能、功能、穩(wěn)定性上全面生產(chǎn)可用,成為 Flink 用戶構建實時應用的首選 API;從2020年開始,力推“流批一體”架構演進和大規(guī)模實踐落地;積極推進Flink擁抱AI和云原生。

人才培養(yǎng)方面,阿里與Ververica共累計培養(yǎng)了近70位Flink核心貢獻者(含項目管理委員會PMC成員和活躍貢獻者committer),占比超70%。社區(qū)運營方面,阿里在2018年把Apache Flink 社區(qū)官方技術大會Flink Forward引入亞洲,2019-2022年間,連續(xù)舉辦了4屆FFA大會(Flink Forward Asia);不定期舉辦各種類型線下 Meetup,已累計上百場;投入大量精力打造Flink中文社區(qū),大力推廣Flink生態(tài),吸引及培養(yǎng)Flink開發(fā)人才。

應用落地方面,Apple、Capital One、eBay、Ericsson等全球知名公司使用Flink處理實時數(shù)據(jù),基于Flink的實時化技術升級走向成熟。大規(guī)模應用也帶來了社區(qū)貢獻的蓬勃發(fā)展,以Flink CDC為例,自2021年開始,吸引了Decodable、Cloudera等多家海外知名企業(yè)集成。云服務是開源技術最廣泛的用戶實踐平臺,云廠商積極擁抱Flink技術,如阿里云就基于Apache Flink推出了實時計算Flink云產(chǎn)品和全球統(tǒng)一的Flink企業(yè)版平臺Ververica Platform,推動Flink在各行各業(yè)落地;目前,已在政務、金融、制造、零售、交通出行、傳媒、游戲、科技等行業(yè)大規(guī)模應用,幫助上千家全球企業(yè)更高效地進行實時業(yè)務升級。根據(jù)不完全統(tǒng)計,使用Flink的非互聯(lián)網(wǎng)企業(yè)占比已超過30%。

2021年Ververica Platform挺進權威咨詢機構Forrester數(shù)據(jù)流分析報告“強勁者表現(xiàn)者”象限。

大幅降低開發(fā)門檻 向“流式數(shù)倉”演進

目前,F(xiàn)link已推出1.16版本,在批處理方面,完成了易用性、穩(wěn)定性、性能全方位的改進,是 Flink 批處理的里程碑式版本,是走向成熟的重要一步;在流處理方面,也完成了很多重大改進,毫秒級Checkpoint大幅提升用戶容錯體驗,常被用戶詬病的多個痛點也得以解決。這標志著Flink社區(qū)正一步步推動Streaming Warehouse(流式數(shù)倉)從概念變?yōu)楝F(xiàn)實,并走向成熟。

阿里巴巴開源委員會副主席、阿里云開源大數(shù)據(jù)平臺負責人、Flink中文社區(qū)發(fā)起人王峰表示,F(xiàn)link 擊敗Storm成為新一代流計算引擎的關鍵點在于,它是一款有狀態(tài)的流計算,除了低延遲、高吞吐的流計算能力,它能將流計算和狀態(tài)存儲進行有機融合,從而在框架層支持整個流計算狀態(tài)的精準數(shù)據(jù)一致性。

2019 年,阿里將Blink SQL 貢獻給Flink 社區(qū),解決了計算層的體驗問題,大幅降低了開發(fā)門檻,使得Flink 的應用得到爆炸式增長。Flink 社區(qū)下一步將繼續(xù)提升計算、存儲一體化體驗,通過Flink 的流批一體SQL和流批一體存儲,構建一套真正一體化體驗的流式數(shù)倉。

“阿里巴巴積極擁抱開源,貢獻開源、引領開源。”王峰表示,“Flink是阿里代表性開源項目之一,未來會持續(xù)對其進行投入。我們會繼續(xù)朝著流式數(shù)倉的方向努力,真正意義上完成流批一體計算與存儲的融合,讓數(shù)倉的數(shù)據(jù)流動起來,為全球的用戶提供更優(yōu)質(zhì)的服務與支持。”

分享到

xiesc

相關推薦