路線(xiàn)場(chǎng)景分析
從數(shù)據(jù)使用場(chǎng)景來(lái)講,可大致按下面進(jìn)行劃分:
針對(duì)不同的場(chǎng)景,不同分布式數(shù)據(jù)庫(kù)路線(xiàn)產(chǎn)品各有所長(zhǎng):
針對(duì)事務(wù)類(lèi)場(chǎng)景下,強(qiáng)調(diào)高并發(fā)聯(lián)機(jī)交易、對(duì)分析能力要求不高的場(chǎng)景比較適合分布式中間件路線(xiàn)產(chǎn)品。
針對(duì)事務(wù)類(lèi)及事務(wù)/分析混合類(lèi)場(chǎng)景,既要滿(mǎn)足常規(guī)聯(lián)機(jī)交易場(chǎng)景的同時(shí),還需滿(mǎn)足分析類(lèi)的一部分能力,這種情況比較適合原生分布式產(chǎn)品?;谠植际降?HTAP 數(shù)據(jù)庫(kù),用一個(gè)數(shù)據(jù)平臺(tái)應(yīng)對(duì)規(guī)模化交易和實(shí)時(shí)分析,提升業(yè)務(wù)決策的時(shí)效性,降低數(shù)據(jù)技術(shù)棧的復(fù)雜性,越來(lái)越多的混合負(fù)載需求推動(dòng)了 HTAP 在金融場(chǎng)景的落地。
金融業(yè) HTAP 應(yīng)用場(chǎng)景實(shí)踐
金融場(chǎng)景下 HTAP 的分析
在金融企業(yè)數(shù)字化轉(zhuǎn)型的過(guò)程中,各類(lèi)業(yè)務(wù)對(duì)“海量、實(shí)時(shí)、在線(xiàn)”的數(shù)據(jù)需求變得愈發(fā)迫切。在金融企業(yè)運(yùn)營(yíng)場(chǎng)景中,實(shí)時(shí)推薦、精準(zhǔn)營(yíng)銷(xiāo)是企業(yè)提升競(jìng)爭(zhēng)力的一大因素。在企業(yè)風(fēng)險(xiǎn)控制場(chǎng)景中,實(shí)時(shí)風(fēng)控、反欺詐等業(yè)務(wù)開(kāi)展可以更早地識(shí)別和阻斷風(fēng)險(xiǎn)可以讓企業(yè)減少損失,HTAP 正是基于上述背景誕生出的需求,為各類(lèi)實(shí)時(shí)數(shù)據(jù)處理需求提供了解決方案。
某金融用戶(hù) HTAP 的架構(gòu)設(shè)計(jì)和實(shí)踐
隨著金融市場(chǎng)同業(yè)業(yè)務(wù)的蓬勃發(fā)展,業(yè)務(wù)部門(mén)對(duì)于交易數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)分析和展現(xiàn)有了急切的需求。基于大數(shù)據(jù)技術(shù)棧的 T+1 報(bào)表模式,已無(wú)法滿(mǎn)足業(yè)務(wù)部門(mén)通過(guò)實(shí)時(shí)分析交易發(fā)生情況來(lái)防范風(fēng)險(xiǎn)以及提供決策的需求,迫切的需要找到一種能讓數(shù)據(jù)實(shí)時(shí)變現(xiàn)的解決方案。結(jié)合金融行業(yè)特點(diǎn),在技術(shù)選型過(guò)程中,重點(diǎn)考察待選產(chǎn)品如下能力:包括承載業(yè)務(wù)復(fù)雜查詢(xún)處理、海量數(shù)據(jù)容量存儲(chǔ)、應(yīng)用透明無(wú)侵入、開(kāi)發(fā)協(xié)議可適配及混合負(fù)載下的表現(xiàn)等。經(jīng)過(guò)測(cè)試,選擇 TiDB 作為基礎(chǔ)數(shù)據(jù)庫(kù)平臺(tái),基于其 HTAP 的特性,打造金融市場(chǎng)實(shí)時(shí)數(shù)據(jù)平臺(tái),目前已投產(chǎn)了靈活報(bào)表和交易對(duì)手分析等應(yīng)用場(chǎng)景。整個(gè)處理流程包括:
· Flink 消費(fèi)交易系統(tǒng)產(chǎn)生的實(shí)時(shí)增量數(shù)據(jù),對(duì)部分事實(shí)表進(jìn)行拉寬處理并寫(xiě)入 TiDB
· 維表和其他明細(xì)表直接寫(xiě)入 TiDB
· BI 工具直接連接 TiDB,提供秒級(jí)的實(shí)時(shí)計(jì)算和分析能力
這一案例中,構(gòu)建千萬(wàn)及以上數(shù)據(jù)規(guī)模、超過(guò)五張表的復(fù)雜關(guān)聯(lián)實(shí)時(shí)查詢(xún)能力,讓業(yè)務(wù)人員在極短的時(shí)間內(nèi)(大部分報(bào)表執(zhí)行時(shí)間為幾十到幾百毫秒、個(gè)別報(bào)表秒級(jí)別)獲得實(shí)時(shí)交易的詳情。
未來(lái) HTAP 的場(chǎng)景發(fā)展
實(shí)時(shí)數(shù)據(jù)處理技術(shù)還以某些具體的應(yīng)用場(chǎng)景為主,從現(xiàn)狀來(lái)看以事件驅(qū)動(dòng)類(lèi)、流式管道數(shù)據(jù)計(jì)算類(lèi)為代表的場(chǎng)景,已經(jīng)開(kāi)始使用 HTAP 場(chǎng)景的。未來(lái)隨著 HTAP 計(jì)算能力進(jìn)一步的提升,實(shí)時(shí)全量數(shù)據(jù)的計(jì)算將帶來(lái)更多場(chǎng)景。
面向未來(lái)的架構(gòu)趨勢(shì) 云原生
從未來(lái)的發(fā)展趨勢(shì)來(lái)看,云方向是一個(gè)大的趨勢(shì)。
從上圖可見(jiàn),云數(shù)據(jù)庫(kù)的發(fā)展經(jīng)歷了幾個(gè)階段,從云托管、云服務(wù)、云原生之路。
云托管,是最接近傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的部署模式。本質(zhì)是將原本部署于 IDC 機(jī)房?jī)?nèi)物理服務(wù)器上的傳統(tǒng)數(shù)據(jù)庫(kù)軟件部署在了云主機(jī)上。這種模式下,云平臺(tái)提供諸如高可用、異地災(zāi)備、備份恢復(fù)、數(shù)據(jù)安全、SQL 審計(jì)、性能優(yōu)化和狀態(tài)監(jiān)測(cè)等企業(yè)級(jí)數(shù)據(jù)庫(kù)管理能力,用戶(hù)可減少運(yùn)維投入即可享受之前同等的服務(wù)水平。
云服務(wù),之前的托管架構(gòu)中,受限于傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)的局限,未能完全發(fā)揮云計(jì)算的優(yōu)勢(shì)。在諸如彈性擴(kuò)展、高性能、高可用等方面,均有不足。到了云服務(wù)時(shí)代,充分利用云基礎(chǔ)設(shè)施的底層能力,提供定制化的數(shù)據(jù)庫(kù)產(chǎn)品。
云原生,與之前的云服務(wù)架構(gòu)不同,這一階段產(chǎn)品將更為充分地利用云基礎(chǔ)設(shè)施的能力,通過(guò)多層資源解耦,可享受云帶來(lái)的彈性擴(kuò)展、按需供給、超大規(guī)模能力,真正做到了數(shù)據(jù)庫(kù)與云的深度結(jié)合。從長(zhǎng)期來(lái)看,金融機(jī)構(gòu)逐漸把業(yè)務(wù)和技術(shù)向云原生演進(jìn),實(shí)現(xiàn)傳統(tǒng)應(yīng)用遷移上云和云原生改造是重要的方向。在這個(gè)過(guò)程中需要考慮分布式數(shù)據(jù)庫(kù)對(duì) K8s、微服務(wù)應(yīng)用的支持,提供高效、彈性調(diào)度能力,同時(shí)需要兼顧開(kāi)發(fā)運(yùn)維和敏捷度。
多云方向
云作為未來(lái)主流的資源供給方式,多云必然是企業(yè)不得不考慮的問(wèn)題。多云通常指金融機(jī)構(gòu)同時(shí)采用多種不同的云環(huán)境組合來(lái)滿(mǎn)足業(yè)務(wù)需求的多樣性和金融業(yè)監(jiān)管的要求。如何圍繞數(shù)據(jù)打造面向未來(lái)的多云 IT 架構(gòu),滿(mǎn)足在多云之間提供數(shù)據(jù)服務(wù)能力,擺脫單一供應(yīng)商的弊端,是必須考慮的問(wèn)題。多云架構(gòu)對(duì)分布式數(shù)據(jù)庫(kù)的考察重點(diǎn)聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8s 的部署、服務(wù)提供與統(tǒng)一運(yùn)維能力等。