路線場景分析

從數(shù)據(jù)使用場景來講,可大致按下面進行劃分:

金融業(yè)分布式數(shù)據(jù)庫選型及 TiDB HTAP 場景實踐

針對不同的場景,不同分布式數(shù)據(jù)庫路線產品各有所長:

針對事務類場景下,強調高并發(fā)聯(lián)機交易、對分析能力要求不高的場景比較適合分布式中間件路線產品。

針對事務類及事務/分析混合類場景,既要滿足常規(guī)聯(lián)機交易場景的同時,還需滿足分析類的一部分能力,這種情況比較適合原生分布式產品。基于原生分布式的 HTAP 數(shù)據(jù)庫,用一個數(shù)據(jù)平臺應對規(guī)模化交易和實時分析,提升業(yè)務決策的時效性,降低數(shù)據(jù)技術棧的復雜性,越來越多的混合負載需求推動了 HTAP 在金融場景的落地。

金融業(yè) HTAP 應用場景實踐

金融場景下 HTAP 的分析

在金融企業(yè)數(shù)字化轉型的過程中,各類業(yè)務對“海量、實時、在線”的數(shù)據(jù)需求變得愈發(fā)迫切。在金融企業(yè)運營場景中,實時推薦、精準營銷是企業(yè)提升競爭力的一大因素。在企業(yè)風險控制場景中,實時風控、反欺詐等業(yè)務開展可以更早地識別和阻斷風險可以讓企業(yè)減少損失,HTAP 正是基于上述背景誕生出的需求,為各類實時數(shù)據(jù)處理需求提供了解決方案。

某金融用戶 HTAP 的架構設計和實踐

隨著金融市場同業(yè)業(yè)務的蓬勃發(fā)展,業(yè)務部門對于交易數(shù)據(jù)的實時統(tǒng)計分析和展現(xiàn)有了急切的需求。基于大數(shù)據(jù)技術棧的 T+1 報表模式,已無法滿足業(yè)務部門通過實時分析交易發(fā)生情況來防范風險以及提供決策的需求,迫切的需要找到一種能讓數(shù)據(jù)實時變現(xiàn)的解決方案。結合金融行業(yè)特點,在技術選型過程中,重點考察待選產品如下能力:包括承載業(yè)務復雜查詢處理、海量數(shù)據(jù)容量存儲、應用透明無侵入、開發(fā)協(xié)議可適配及混合負載下的表現(xiàn)等。經過測試,選擇 TiDB 作為基礎數(shù)據(jù)庫平臺,基于其 HTAP 的特性,打造金融市場實時數(shù)據(jù)平臺,目前已投產了靈活報表和交易對手分析等應用場景。整個處理流程包括:

· Flink 消費交易系統(tǒng)產生的實時增量數(shù)據(jù),對部分事實表進行拉寬處理并寫入 TiDB

· 維表和其他明細表直接寫入 TiDB

· BI 工具直接連接 TiDB,提供秒級的實時計算和分析能力

金融業(yè)分布式數(shù)據(jù)庫選型及 TiDB HTAP 場景實踐

這一案例中,構建千萬及以上數(shù)據(jù)規(guī)模、超過五張表的復雜關聯(lián)實時查詢能力,讓業(yè)務人員在極短的時間內(大部分報表執(zhí)行時間為幾十到幾百毫秒、個別報表秒級別)獲得實時交易的詳情。

未來 HTAP 的場景發(fā)展

實時數(shù)據(jù)處理技術還以某些具體的應用場景為主,從現(xiàn)狀來看以事件驅動類、流式管道數(shù)據(jù)計算類為代表的場景,已經開始使用 HTAP 場景的。未來隨著 HTAP 計算能力進一步的提升,實時全量數(shù)據(jù)的計算將帶來更多場景。

面向未來的架構趨勢 云原生

從未來的發(fā)展趨勢來看,云方向是一個大的趨勢。

金融業(yè)分布式數(shù)據(jù)庫選型及 TiDB HTAP 場景實踐

從上圖可見,云數(shù)據(jù)庫的發(fā)展經歷了幾個階段,從云托管、云服務、云原生之路。

云托管,是最接近傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的部署模式。本質是將原本部署于 IDC 機房內物理服務器上的傳統(tǒng)數(shù)據(jù)庫軟件部署在了云主機上。這種模式下,云平臺提供諸如高可用、異地災備、備份恢復、數(shù)據(jù)安全、SQL 審計、性能優(yōu)化和狀態(tài)監(jiān)測等企業(yè)級數(shù)據(jù)庫管理能力,用戶可減少運維投入即可享受之前同等的服務水平。

云服務,之前的托管架構中,受限于傳統(tǒng)數(shù)據(jù)庫架構的局限,未能完全發(fā)揮云計算的優(yōu)勢。在諸如彈性擴展、高性能、高可用等方面,均有不足。到了云服務時代,充分利用云基礎設施的底層能力,提供定制化的數(shù)據(jù)庫產品。

云原生,與之前的云服務架構不同,這一階段產品將更為充分地利用云基礎設施的能力,通過多層資源解耦,可享受云帶來的彈性擴展、按需供給、超大規(guī)模能力,真正做到了數(shù)據(jù)庫與云的深度結合。從長期來看,金融機構逐漸把業(yè)務和技術向云原生演進,實現(xiàn)傳統(tǒng)應用遷移上云和云原生改造是重要的方向。在這個過程中需要考慮分布式數(shù)據(jù)庫對 K8s、微服務應用的支持,提供高效、彈性調度能力,同時需要兼顧開發(fā)運維和敏捷度。

多云方向

云作為未來主流的資源供給方式,多云必然是企業(yè)不得不考慮的問題。多云通常指金融機構同時采用多種不同的云環(huán)境組合來滿足業(yè)務需求的多樣性和金融業(yè)監(jiān)管的要求。如何圍繞數(shù)據(jù)打造面向未來的多云 IT 架構,滿足在多云之間提供數(shù)據(jù)服務能力,擺脫單一供應商的弊端,是必須考慮的問題。多云架構對分布式數(shù)據(jù)庫的考察重點聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8s 的部署、服務提供與統(tǒng)一運維能力等。

分享到

xiesc

相關推薦