圖:CDP 系統(tǒng)架構

其中,標簽持久化場景需要解決業(yè)務標簽的持久化存儲、更新、查詢服務,攜程采用了 TiDB 來存儲業(yè)務持久化的標簽,并采用實時觸發(fā)場景中的動態(tài)規(guī)則配置方式消費業(yè)務系統(tǒng)數(shù)據(jù)變更消息,保證業(yè)務持久化標簽的時效性,通過 TiDB 對 OLTP 和 OLAP 不同場景查詢特性的支持,來滿足不同業(yè)務場景中訪問業(yè)務特征數(shù)據(jù)的需要。

系統(tǒng)借鑒了 Lambda 數(shù)據(jù)處理架構的思想,新增數(shù)據(jù)根據(jù)來源不同分別發(fā)送到不同的通道中,歷史全量數(shù)據(jù)通過數(shù)據(jù)批處理引擎(如 Spark)轉(zhuǎn)換完,批量寫入到數(shù)據(jù)持久化存儲引擎 TiDB 中。增量數(shù)據(jù)業(yè)務應用以消息形式發(fā)送到 Kafka 或 QMQ 消息隊列,將數(shù)據(jù)按照標簽持久化的邏輯規(guī)則處理完成,增量寫入到持久化存儲引擎 TiDB,以此解決數(shù)據(jù)的時效性問題。

TiDB 同時具有兩大持久化存儲方式,一種是行存 TiKV ,可以支持 OLTP 場景,另一種是列存 TiFlash ,可以支持 OLAP 場景。TiDB 數(shù)據(jù)存儲內(nèi)部自動解決這兩個引擎的數(shù)據(jù)同步問題,客戶端查詢根據(jù)自身需要選擇查詢方式。同時,TiDB 還能保障兩種方式有著良好的隔離性,并兼顧數(shù)據(jù)強一致性,出色地解決了 HTAP 場景的隔離性及列存同步問題。

目前,CDP 已經(jīng)與攜程各個業(yè)務系統(tǒng)進行深度整合打通,為國際業(yè)務增長提供業(yè)務特征標簽庫的數(shù)據(jù)與服務支持。

TiDB 應用價值

· HTAP 混合負載

完美支撐 OLTP + OLAP 混合負載,簡化 IT 系統(tǒng)架構,大幅提升業(yè)務的實時查詢性能。

· 水平彈性擴展

擺脫了 MySQL 分庫分表難題,幫助攜程隨時根據(jù)業(yè)務增長情況進行水平彈性擴展。

分享到

xiesc

相關推薦