路線(xiàn)場(chǎng)景分析

從數(shù)據(jù)使用場(chǎng)景來(lái)講，可大致按下面進(jìn)行劃分：

針對(duì)不同的場(chǎng)景，不同分布式數(shù)據(jù)庫(kù)路線(xiàn)產(chǎn)品各有所長(zhǎng)：

針對(duì)事務(wù)類(lèi)場(chǎng)景下，強(qiáng)調(diào)高并發(fā)聯(lián)機(jī)交易、對(duì)分析能力要求不高的場(chǎng)景比較適合分布式中間件路線(xiàn)產(chǎn)品。

針對(duì)事務(wù)類(lèi)及事務(wù)/分析混合類(lèi)場(chǎng)景，既要滿(mǎn)足常規(guī)聯(lián)機(jī)交易場(chǎng)景的同時(shí)，還需滿(mǎn)足分析類(lèi)的一部分能力，這種情況比較適合原生分布式產(chǎn)品?；谠植际降?HTAP 數(shù)據(jù)庫(kù)，用一個(gè)數(shù)據(jù)平臺(tái)應(yīng)對(duì)規(guī)模化交易和實(shí)時(shí)分析，提升業(yè)務(wù)決策的時(shí)效性，降低數(shù)據(jù)技術(shù)棧的復(fù)雜性，越來(lái)越多的混合負(fù)載需求推動(dòng)了 HTAP 在金融場(chǎng)景的落地。

金融業(yè) HTAP 應(yīng)用場(chǎng)景實(shí)踐

金融場(chǎng)景下 HTAP 的分析

在金融企業(yè)數(shù)字化轉(zhuǎn)型的過(guò)程中，各類(lèi)業(yè)務(wù)對(duì)“海量、實(shí)時(shí)、在線(xiàn)”的數(shù)據(jù)需求變得愈發(fā)迫切。在金融企業(yè)運(yùn)營(yíng)場(chǎng)景中，實(shí)時(shí)推薦、精準(zhǔn)營(yíng)銷(xiāo)是企業(yè)提升競(jìng)爭(zhēng)力的一大因素。在企業(yè)風(fēng)險(xiǎn)控制場(chǎng)景中，實(shí)時(shí)風(fēng)控、反欺詐等業(yè)務(wù)開(kāi)展可以更早地識(shí)別和阻斷風(fēng)險(xiǎn)可以讓企業(yè)減少損失，HTAP 正是基于上述背景誕生出的需求，為各類(lèi)實(shí)時(shí)數(shù)據(jù)處理需求提供了解決方案。

某金融用戶(hù) HTAP 的架構(gòu)設(shè)計(jì)和實(shí)踐

隨著金融市場(chǎng)同業(yè)業(yè)務(wù)的蓬勃發(fā)展，業(yè)務(wù)部門(mén)對(duì)于交易數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)分析和展現(xiàn)有了急切的需求。基于大數(shù)據(jù)技術(shù)棧的 T+1 報(bào)表模式，已無(wú)法滿(mǎn)足業(yè)務(wù)部門(mén)通過(guò)實(shí)時(shí)分析交易發(fā)生情況來(lái)防范風(fēng)險(xiǎn)以及提供決策的需求，迫切的需要找到一種能讓數(shù)據(jù)實(shí)時(shí)變現(xiàn)的解決方案。結(jié)合金融行業(yè)特點(diǎn)，在技術(shù)選型過(guò)程中，重點(diǎn)考察待選產(chǎn)品如下能力：包括承載業(yè)務(wù)復(fù)雜查詢(xún)處理、海量數(shù)據(jù)容量存儲(chǔ)、應(yīng)用透明無(wú)侵入、開(kāi)發(fā)協(xié)議可適配及混合負(fù)載下的表現(xiàn)等。經(jīng)過(guò)測(cè)試，選擇 TiDB 作為基礎(chǔ)數(shù)據(jù)庫(kù)平臺(tái)，基于其 HTAP 的特性，打造金融市場(chǎng)實(shí)時(shí)數(shù)據(jù)平臺(tái)，目前已投產(chǎn)了靈活報(bào)表和交易對(duì)手分析等應(yīng)用場(chǎng)景。整個(gè)處理流程包括：

· Flink 消費(fèi)交易系統(tǒng)產(chǎn)生的實(shí)時(shí)增量數(shù)據(jù)，對(duì)部分事實(shí)表進(jìn)行拉寬處理并寫(xiě)入 TiDB

· 維表和其他明細(xì)表直接寫(xiě)入 TiDB

· BI 工具直接連接 TiDB，提供秒級(jí)的實(shí)時(shí)計(jì)算和分析能力

這一案例中，構(gòu)建千萬(wàn)及以上數(shù)據(jù)規(guī)模、超過(guò)五張表的復(fù)雜關(guān)聯(lián)實(shí)時(shí)查詢(xún)能力，讓業(yè)務(wù)人員在極短的時(shí)間內(nèi)（大部分報(bào)表執(zhí)行時(shí)間為幾十到幾百毫秒、個(gè)別報(bào)表秒級(jí)別）獲得實(shí)時(shí)交易的詳情。

未來(lái) HTAP 的場(chǎng)景發(fā)展

實(shí)時(shí)數(shù)據(jù)處理技術(shù)還以某些具體的應(yīng)用場(chǎng)景為主，從現(xiàn)狀來(lái)看以事件驅(qū)動(dòng)類(lèi)、流式管道數(shù)據(jù)計(jì)算類(lèi)為代表的場(chǎng)景，已經(jīng)開(kāi)始使用 HTAP 場(chǎng)景的。未來(lái)隨著 HTAP 計(jì)算能力進(jìn)一步的提升，實(shí)時(shí)全量數(shù)據(jù)的計(jì)算將帶來(lái)更多場(chǎng)景。

面向未來(lái)的架構(gòu)趨勢(shì) 云原生

從未來(lái)的發(fā)展趨勢(shì)來(lái)看，云方向是一個(gè)大的趨勢(shì)。

從上圖可見(jiàn)，云數(shù)據(jù)庫(kù)的發(fā)展經(jīng)歷了幾個(gè)階段，從云托管、云服務(wù)、云原生之路。

云托管，是最接近傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的部署模式。本質(zhì)是將原本部署于 IDC 機(jī)房?jī)?nèi)物理服務(wù)器上的傳統(tǒng)數(shù)據(jù)庫(kù)軟件部署在了云主機(jī)上。這種模式下，云平臺(tái)提供諸如高可用、異地災(zāi)備、備份恢復(fù)、數(shù)據(jù)安全、SQL 審計(jì)、性能優(yōu)化和狀態(tài)監(jiān)測(cè)等企業(yè)級(jí)數(shù)據(jù)庫(kù)管理能力，用戶(hù)可減少運(yùn)維投入即可享受之前同等的服務(wù)水平。

云服務(wù)，之前的托管架構(gòu)中，受限于傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)的局限，未能完全發(fā)揮云計(jì)算的優(yōu)勢(shì)。在諸如彈性擴(kuò)展、高性能、高可用等方面，均有不足。到了云服務(wù)時(shí)代，充分利用云基礎(chǔ)設(shè)施的底層能力，提供定制化的數(shù)據(jù)庫(kù)產(chǎn)品。

云原生，與之前的云服務(wù)架構(gòu)不同，這一階段產(chǎn)品將更為充分地利用云基礎(chǔ)設(shè)施的能力，通過(guò)多層資源解耦，可享受云帶來(lái)的彈性擴(kuò)展、按需供給、超大規(guī)模能力，真正做到了數(shù)據(jù)庫(kù)與云的深度結(jié)合。從長(zhǎng)期來(lái)看，金融機(jī)構(gòu)逐漸把業(yè)務(wù)和技術(shù)向云原生演進(jìn)，實(shí)現(xiàn)傳統(tǒng)應(yīng)用遷移上云和云原生改造是重要的方向。在這個(gè)過(guò)程中需要考慮分布式數(shù)據(jù)庫(kù)對(duì) K8s、微服務(wù)應(yīng)用的支持，提供高效、彈性調(diào)度能力，同時(shí)需要兼顧開(kāi)發(fā)運(yùn)維和敏捷度。

多云方向

云作為未來(lái)主流的資源供給方式，多云必然是企業(yè)不得不考慮的問(wèn)題。多云通常指金融機(jī)構(gòu)同時(shí)采用多種不同的云環(huán)境組合來(lái)滿(mǎn)足業(yè)務(wù)需求的多樣性和金融業(yè)監(jiān)管的要求。如何圍繞數(shù)據(jù)打造面向未來(lái)的多云 IT 架構(gòu)，滿(mǎn)足在多云之間提供數(shù)據(jù)服務(wù)能力，擺脫單一供應(yīng)商的弊端，是必須考慮的問(wèn)題。多云架構(gòu)對(duì)分布式數(shù)據(jù)庫(kù)的考察重點(diǎn)聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8s 的部署、服務(wù)提供與統(tǒng)一運(yùn)維能力等。

xiesc