818 汽車狂歡數(shù)據(jù)看板業(yè)務(wù)架構(gòu)圖

在整個 818 活動中,TiDB 被用作 818 汽車狂歡節(jié)數(shù)據(jù)看板的核心數(shù)據(jù)庫。易車準(zhǔn)備了兩套 TiDB 集群,和實時計算的主備方案一一對應(yīng)。業(yè)務(wù)研發(fā)通過雙寫的方式把數(shù)據(jù)同時寫入兩個集群,一部分業(yè)務(wù)的查詢連接集群 1 ,另一部分業(yè)務(wù)的查詢連接集群 2,當(dāng)其中一個集群出現(xiàn)問題,應(yīng)用端就會切換到另外一個集群。兩個 TiDB 集群都是部署了 3 個 TiDB Server、3 個 PD Server、6 個 TiKV 節(jié)點、2 個 TiFlash 節(jié)點。此外,還準(zhǔn)備了 4 臺機器做擴容以免數(shù)據(jù)量暴漲集群支撐不了。

最終,易車 818 汽車狂歡節(jié)期間數(shù)據(jù)量達到了平時的 10 倍以上,在直播最后蔡徐坤出場時,數(shù)據(jù)庫流量更是直接翻了四倍,差點啟用事先準(zhǔn)備好兜底用的一鍵擴容方案。在整個過程中,818 汽車狂歡數(shù)據(jù)看板業(yè)務(wù) SQL 999 始終控制在 8ms 以內(nèi),SQL 99 在 3ms 左右,QPS 達到 62k。

紅包搖一搖業(yè)務(wù)架構(gòu)圖

同時,TiDB 也作為容災(zāi)方案被應(yīng)用在紅包搖一搖業(yè)務(wù)中,避免由于業(yè)務(wù)流量暴漲引起 MySQL 不可用的情況。一旦發(fā)生不可用,業(yè)務(wù)方可以直接將數(shù)據(jù)庫切換到 TiDB。TiDB 在整個業(yè)務(wù)中需要作為數(shù)據(jù)源、實時計算維表和實時計算結(jié)果存儲引擎三個角色。TiDB 通過 TiCDC 將數(shù)據(jù)實時推送到 Kafka 中,為了保證 TiCDC 穩(wěn)定高效,易車為 TiDB 中的每個庫創(chuàng)建了一個 TiCDC 任務(wù),將數(shù)據(jù)實時推送到指定 Kafka 中,然后 Flink 負(fù)責(zé)將同一個 TOPIC 中的屬于不同庫表的數(shù)據(jù)進行解析,分流到庫表對應(yīng)的 TOPIC 中,提供給實時計算業(yè)務(wù)使用。實時計算任務(wù)消費 Kafka 中的 TiDB 數(shù)據(jù)進行業(yè)務(wù)邏輯計算,同時還需要從 TiDB 中查詢對應(yīng)的維度數(shù)據(jù),最終將計算結(jié)果再輸出到 TiDB 中。

高速增長的挑戰(zhàn):技術(shù)棧統(tǒng)一

大促的極限場景總能發(fā)現(xiàn)一些平時注意不到的問題,在易車的高速發(fā)展中,很多業(yè)務(wù)為了快速迭代、迅速上線,引入了非常多的技術(shù)棧,如 Lambda 、 Kappa 等大數(shù)據(jù)架構(gòu),Kylin、Druid、Clickhouse 等實時數(shù)倉等等。但易車 DBA 團隊卻只有 6個人,管理如此多的技術(shù)棧無疑是一個很大的挑戰(zhàn)。

統(tǒng)一技術(shù)棧成為易車 DBA 團隊的最佳選擇,借著這次大促的機會,易車希望用 TiDB 上線取代 Kylin、Druid、Clickhouse ,簡化技術(shù)棧,DBA 團隊也能將注意力放回專職工作上。

TiDB 的 HTAP 架構(gòu)是一個混合了交易型事務(wù)和分析處理的融合架構(gòu),由于都是在同一個架構(gòu)、同一套數(shù)據(jù)中,解決了易車實時數(shù)倉數(shù)據(jù)流延遲的問題。數(shù)據(jù)不用再從 OLTP 數(shù)據(jù)庫復(fù)制出來,經(jīng)過漫長的 ETL 清洗等過程進入分析工具。

而 TiDB 對 MySQL 的完美兼容,對 DBA 和開發(fā)者意味著不需要做什么改變,只要會 SQL 就能使用。在以往應(yīng)用 Hadoop 或 Spark 時,由于學(xué)習(xí)成本比較高,對使用造成了一定壁壘。

經(jīng)此一役,易車的業(yè)務(wù)方對 TiDB 平添了許多期待與信任。未來,易車的廣告、媒體平臺、網(wǎng)站、投放數(shù)據(jù)、廣告效果都希望能夠?qū)崟r看到,田震希望借用 TiDB 覆蓋易車整個混合技術(shù)棧的場景,與其他數(shù)據(jù)流進行打通,這些都需要 TiDB HTAP 對實時數(shù)倉進行支持。

大促對于企業(yè)而言,除了支持業(yè)務(wù)創(chuàng)新,也是一次對自身技術(shù)架構(gòu)的大練兵和全鏈路演練。通過大促的極致考驗,企業(yè)的 IT 架構(gòu)、組織流程、人才技能都獲得了大幅提升。而在大促中的經(jīng)驗和思

分享到

songjy

相關(guān)推薦