作者:中通快運信息中心副總監(jiān)張賢孝

*本文根據(jù)中通快運信息中心副總監(jiān)張賢孝在「StarRocks Summit 2023」上演講整理,感興趣可前往峰會官網(wǎng),查看直播回放。

前言

數(shù)字化或者數(shù)據(jù)驅(qū)動不僅僅是 IT 職能,數(shù)據(jù)部門不是一個傳統(tǒng)的支撐部門,而是新一代信息技術(shù)驅(qū)動下的一場業(yè)務(wù)、管理和商業(yè)模式的深度變革和重構(gòu),技術(shù)是支撐,業(yè)務(wù)是內(nèi)核。

中通快運成立于 2016 年,是中通品牌旗下快運企業(yè),聚焦數(shù)智物流新趨勢, 提供面向企業(yè)及個人客戶的全鏈路一站式物流服務(wù)。目前,中通快運在全國部署了 80 家分部中心、9000 多臺自由車輛和幾千個網(wǎng)點。在日常生活中,快遞一般處理重量在 10 公斤以下的小件,快運則處理重量在 30 公斤以上的大件物品,比如家具、電器等。

在數(shù)字化的過程中,中通快運隨著業(yè)務(wù)的發(fā)展也進行了一系列數(shù)據(jù)架構(gòu)上的實踐,同時也將過程中的思考整理出來分享給大家。

一、傳統(tǒng)數(shù)據(jù)架構(gòu)遇挑戰(zhàn),業(yè)務(wù)用數(shù)難、IT 響應(yīng)難

與互聯(lián)網(wǎng)和科技公司不同,身為傳統(tǒng)企業(yè),中通快運在初期搭建數(shù)據(jù)架構(gòu)時,主要是為了解決運營操作的問題,忽略了數(shù)據(jù)對于業(yè)務(wù)決策的重要性。因此,在業(yè)務(wù)系統(tǒng)開發(fā)過程中,對數(shù)據(jù)架構(gòu)的規(guī)范和部署不夠重視,這也是許多傳統(tǒng)物流公司面臨的問題。

1.分析和數(shù)據(jù)業(yè)務(wù)混合,導(dǎo)致數(shù)據(jù)無法分離和擴容。

物流企業(yè)偏傳統(tǒng)企業(yè),大多數(shù)軟件是流程管理軟件。在開發(fā)運輸管理系統(tǒng)時,需要完成發(fā)車控制、貨物卸載、裝載和分揀等操作,并生成龐大的行為數(shù)據(jù)。開發(fā)時會出現(xiàn)行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)雜糅、無法分離的問題,導(dǎo)致無法擴容和升級。

2.軟件基礎(chǔ)架構(gòu)混亂,存在單點故障,無法快速升級。

隨著業(yè)務(wù)數(shù)據(jù)庫的增大,我們需要進行縱向升級來逐漸提升數(shù)據(jù)庫的能力。然而,這種縱向升級導(dǎo)致了數(shù)據(jù)層面的單點故障,因為數(shù)據(jù)同步造成的性能消耗超過了額外機器的收益,導(dǎo)致無法繼續(xù)升級。

3.數(shù)據(jù)備份周期短,無法挖掘歷史數(shù)據(jù)的價值。

由于每天產(chǎn)生數(shù)據(jù)量極大,所以數(shù)據(jù)在存儲時只能保存三個月甚至更短的時間。這種數(shù)據(jù)備份的方式,導(dǎo)致業(yè)務(wù)人員無法利用歷史數(shù)據(jù)進行分析,發(fā)揮其價值。

4.開發(fā)和部署方式呈現(xiàn)煙囪式,無法快速響應(yīng)業(yè)務(wù)變化。

物流行業(yè)的業(yè)務(wù)正在快速變化,需要快速響應(yīng)不同的運營模式,但當(dāng)前每個系統(tǒng)都是獨立開發(fā)的,沒有考慮模塊化組裝的方式來提高開發(fā)效率和對外部需求的響應(yīng)速度。

當(dāng)意識到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題,中通快運就開始積極改進和優(yōu)化基礎(chǔ)數(shù)據(jù)架構(gòu),以提高系統(tǒng)的穩(wěn)定性、可擴展性和靈活性。

二、錨定數(shù)據(jù)賦能業(yè)務(wù),中通快運推動架構(gòu)進化

數(shù)據(jù)賦能業(yè)務(wù)是個脫胎換骨洗筋伐髓的過程,業(yè)務(wù)需求驅(qū)動數(shù)據(jù)準(zhǔn)備,推動業(yè)務(wù)運作流程的演進,驅(qū)動業(yè)務(wù)軟件架構(gòu)面向數(shù)據(jù)的標(biāo)準(zhǔn)化治理,這是一個螺旋上升的過程。

我們開始重新梳理和規(guī)劃數(shù)據(jù)架構(gòu),結(jié)合業(yè)務(wù)和數(shù)據(jù)兩部分思考,確定了通過數(shù)據(jù)賦能業(yè)務(wù),實現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)流程,驅(qū)動業(yè)務(wù)決策的核心目標(biāo),并開始針對這一目標(biāo)進行實踐。

1. 重新定位數(shù)據(jù)部門價值,推動業(yè)務(wù)流程變革

當(dāng)意識到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題,中通快運 IT 團隊開始推動集團高層,將數(shù)據(jù)部門定位為業(yè)務(wù)賦能的核心,重新定位數(shù)據(jù)部門的價值,將其納入戰(zhàn)略規(guī)劃中,推動業(yè)務(wù)流程的變革。同時,與業(yè)務(wù)部門緊密合作,理解業(yè)務(wù)需求,提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案,實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務(wù)決策和優(yōu)化。

2. 數(shù)據(jù)服務(wù)治理,基于 StarRocks 建設(shè)高效驅(qū)動業(yè)務(wù)的數(shù)據(jù)中心

服務(wù)治理是指在業(yè)務(wù)架構(gòu)中面向數(shù)據(jù)進行設(shè)計,確保數(shù)據(jù)采集和建立數(shù)據(jù)之間的關(guān)系。中通快運將數(shù)據(jù)作為業(yè)務(wù)架構(gòu)設(shè)計的核心,建立數(shù)據(jù)之間的關(guān)系和流程,將操作和分析兩種業(yè)務(wù)進行解耦,提供靈活的數(shù)據(jù)存儲和訪問方式。

中通快運采用了 Paimon 和 StarRocks 來構(gòu)建批流一體的數(shù)據(jù)基礎(chǔ),提供不同的對外服務(wù)標(biāo)準(zhǔn)。

首先是實時響應(yīng),所有數(shù)據(jù)都通過實時采集傳輸過來。由于傳統(tǒng)企業(yè)的業(yè)務(wù)操作可能不是完全靜態(tài)的,可能存在行為逆轉(zhuǎn)的情況,因此在實時操作過程中需要落表,我們使用了 tiDB 作為實時存儲庫。

而 StarRocks 承擔(dān)著核心的 OLAP 能力。對于實時性的數(shù)據(jù)需求,通過 StarRocks 實時鏈路完成秒級響應(yīng)(約為 10 秒)。對于歷史數(shù)據(jù)的大規(guī)模對比和復(fù)雜查詢,通過 StarRocks 進行存算分離,直接讀取和查詢 Paimon 的數(shù)據(jù),以實現(xiàn)快速響應(yīng),業(yè)務(wù)端發(fā)生的數(shù)據(jù)傳輸?shù)椒?wù)端的響應(yīng)時間優(yōu)化到 2-3 分鐘。

由于中通快運的業(yè)務(wù)需要支持分析和操作兩種模式,因此存儲和計算分為實時和離線兩部分,數(shù)據(jù)分析鏈路為湖倉一體,采集以實時為主,輔之以批處理同步,重點是滿足秒級實時響應(yīng)的需求。

三、多重價值落地,實現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)、驅(qū)動業(yè)務(wù)

中通快運不僅僅將數(shù)據(jù)視為一種資源,還將其視為推動業(yè)務(wù)發(fā)展的關(guān)鍵要素。中通快運 IT 團隊能夠保持靈活性和敏捷性,深入了解業(yè)務(wù),快速適應(yīng)新的業(yè)務(wù)要求,并結(jié)合 StarRocks 提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案,收獲整個集團層面的進展:

1.提升數(shù)據(jù)分離和擴容能力,實現(xiàn)便捷數(shù)據(jù)管理

通過混合數(shù)據(jù)業(yè)務(wù)的分離,中通快運可以更好地管理和擴展數(shù)據(jù)資源。這使得企業(yè)能夠更有效地利用數(shù)據(jù)進行決策和優(yōu)化業(yè)務(wù)流程。數(shù)據(jù)分離和擴容的能力提升還可以為中通快運提供更好的數(shù)據(jù)管理和資源分配,以滿足不斷增長的業(yè)務(wù)需求。

2.提高業(yè)務(wù)運營效率,實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)

通過架構(gòu)升級,中通快運可以進行深入的數(shù)據(jù)分析和挖掘,從歷史數(shù)據(jù)中發(fā)現(xiàn)潛在的業(yè)務(wù)洞察和趨勢,從而幫助業(yè)務(wù)人員做出更明智的決策,并優(yōu)化業(yè)務(wù)流程,提高效率和競爭力。

3.敏捷的開發(fā),快速響應(yīng)業(yè)務(wù)需求

通過采用模塊化和組裝化的開發(fā)方式,中通快運可以更快速地響應(yīng)業(yè)務(wù)變化,能夠更靈活地開發(fā)和部署新的功能和服務(wù),以滿足不斷變化的業(yè)務(wù)需求。

四、結(jié)語

數(shù)據(jù)部門不僅僅是傳統(tǒng)支撐部門,也要承載了企業(yè)發(fā)展過程中業(yè)務(wù)管理和商業(yè)模式的深度重構(gòu)與融合的使命,一路走來,感謝 StarRocks 給予的支持。

未來,也希望進一步探索 StarRocks 資源隔離和物化視圖能力,為企業(yè)提供更強有力的數(shù)據(jù)分析解決方案,賦能業(yè)務(wù)更好的決策和進一步升級。

分享到

zhupb

相關(guān)推薦