作者：中通快運(yùn)信息中心副總監(jiān)張賢孝

*本文根據(jù)中通快運(yùn)信息中心副總監(jiān)張賢孝在「StarRocks Summit 2023」上演講整理，感興趣可前往峰會(huì)官網(wǎng)，查看直播回放。

前言

數(shù)字化或者數(shù)據(jù)驅(qū)動(dòng)不僅僅是 IT 職能，數(shù)據(jù)部門不是一個(gè)傳統(tǒng)的支撐部門，而是新一代信息技術(shù)驅(qū)動(dòng)下的一場(chǎng)業(yè)務(wù)、管理和商業(yè)模式的深度變革和重構(gòu)，技術(shù)是支撐，業(yè)務(wù)是內(nèi)核。

中通快運(yùn)成立于 2016 年，是中通品牌旗下快運(yùn)企業(yè)，聚焦數(shù)智物流新趨勢(shì)， 提供面向企業(yè)及個(gè)人客戶的全鏈路一站式物流服務(wù)。目前，中通快運(yùn)在全國部署了 80 家分部中心、9000 多臺(tái)自由車輛和幾千個(gè)網(wǎng)點(diǎn)。在日常生活中，快遞一般處理重量在 10 公斤以下的小件，快運(yùn)則處理重量在 30 公斤以上的大件物品，比如家具、電器等。

在數(shù)字化的過程中，中通快運(yùn)隨著業(yè)務(wù)的發(fā)展也進(jìn)行了一系列數(shù)據(jù)架構(gòu)上的實(shí)踐，同時(shí)也將過程中的思考整理出來分享給大家。

一、傳統(tǒng)數(shù)據(jù)架構(gòu)遇挑戰(zhàn)，業(yè)務(wù)用數(shù)難、IT 響應(yīng)難

與互聯(lián)網(wǎng)和科技公司不同，身為傳統(tǒng)企業(yè)，中通快運(yùn)在初期搭建數(shù)據(jù)架構(gòu)時(shí)，主要是為了解決運(yùn)營(yíng)操作的問題，忽略了數(shù)據(jù)對(duì)于業(yè)務(wù)決策的重要性。因此，在業(yè)務(wù)系統(tǒng)開發(fā)過程中，對(duì)數(shù)據(jù)架構(gòu)的規(guī)范和部署不夠重視，這也是許多傳統(tǒng)物流公司面臨的問題。

1.分析和數(shù)據(jù)業(yè)務(wù)混合，導(dǎo)致數(shù)據(jù)無法分離和擴(kuò)容。

物流企業(yè)偏傳統(tǒng)企業(yè)，大多數(shù)軟件是流程管理軟件。在開發(fā)運(yùn)輸管理系統(tǒng)時(shí)，需要完成發(fā)車控制、貨物卸載、裝載和分揀等操作，并生成龐大的行為數(shù)據(jù)。開發(fā)時(shí)會(huì)出現(xiàn)行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)雜糅、無法分離的問題，導(dǎo)致無法擴(kuò)容和升級(jí)。

2.軟件基礎(chǔ)架構(gòu)混亂，存在單點(diǎn)故障，無法快速升級(jí)。

隨著業(yè)務(wù)數(shù)據(jù)庫的增大，我們需要進(jìn)行縱向升級(jí)來逐漸提升數(shù)據(jù)庫的能力。然而，這種縱向升級(jí)導(dǎo)致了數(shù)據(jù)層面的單點(diǎn)故障，因?yàn)閿?shù)據(jù)同步造成的性能消耗超過了額外機(jī)器的收益，導(dǎo)致無法繼續(xù)升級(jí)。

3.數(shù)據(jù)備份周期短，無法挖掘歷史數(shù)據(jù)的價(jià)值。

由于每天產(chǎn)生數(shù)據(jù)量極大，所以數(shù)據(jù)在存儲(chǔ)時(shí)只能保存三個(gè)月甚至更短的時(shí)間。這種數(shù)據(jù)備份的方式，導(dǎo)致業(yè)務(wù)人員無法利用歷史數(shù)據(jù)進(jìn)行分析，發(fā)揮其價(jià)值。

4.開發(fā)和部署方式呈現(xiàn)煙囪式，無法快速響應(yīng)業(yè)務(wù)變化。

物流行業(yè)的業(yè)務(wù)正在快速變化，需要快速響應(yīng)不同的運(yùn)營(yíng)模式，但當(dāng)前每個(gè)系統(tǒng)都是獨(dú)立開發(fā)的，沒有考慮模塊化組裝的方式來提高開發(fā)效率和對(duì)外部需求的響應(yīng)速度。

當(dāng)意識(shí)到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題，中通快運(yùn)就開始積極改進(jìn)和優(yōu)化基礎(chǔ)數(shù)據(jù)架構(gòu)，以提高系統(tǒng)的穩(wěn)定性、可擴(kuò)展性和靈活性。

二、錨定“數(shù)據(jù)賦能業(yè)務(wù)”，中通快運(yùn)推動(dòng)架構(gòu)進(jìn)化

數(shù)據(jù)賦能業(yè)務(wù)是個(gè)脫胎換骨洗筋伐髓的過程，業(yè)務(wù)需求驅(qū)動(dòng)數(shù)據(jù)準(zhǔn)備，推動(dòng)業(yè)務(wù)運(yùn)作流程的演進(jìn)，驅(qū)動(dòng)業(yè)務(wù)軟件架構(gòu)面向數(shù)據(jù)的標(biāo)準(zhǔn)化治理，這是一個(gè)螺旋上升的過程。

我們開始重新梳理和規(guī)劃數(shù)據(jù)架構(gòu)，結(jié)合業(yè)務(wù)和數(shù)據(jù)兩部分思考，確定了通過數(shù)據(jù)賦能業(yè)務(wù)，實(shí)現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)流程，驅(qū)動(dòng)業(yè)務(wù)決策的核心目標(biāo)，并開始針對(duì)這一目標(biāo)進(jìn)行實(shí)踐。

1. 重新定位數(shù)據(jù)部門價(jià)值，推動(dòng)業(yè)務(wù)流程變革

當(dāng)意識(shí)到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題，中通快運(yùn) IT 團(tuán)隊(duì)開始推動(dòng)集團(tuán)高層，將數(shù)據(jù)部門定位為業(yè)務(wù)賦能的核心，重新定位數(shù)據(jù)部門的價(jià)值，將其納入戰(zhàn)略規(guī)劃中，推動(dòng)業(yè)務(wù)流程的變革。同時(shí)，與業(yè)務(wù)部門緊密合作，理解業(yè)務(wù)需求，提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)決策和優(yōu)化。

2. 數(shù)據(jù)服務(wù)治理，基于 StarRocks 建設(shè)高效驅(qū)動(dòng)業(yè)務(wù)的數(shù)據(jù)中心

服務(wù)治理是指在業(yè)務(wù)架構(gòu)中面向數(shù)據(jù)進(jìn)行設(shè)計(jì)，確保數(shù)據(jù)采集和建立數(shù)據(jù)之間的關(guān)系。中通快運(yùn)將數(shù)據(jù)作為業(yè)務(wù)架構(gòu)設(shè)計(jì)的核心，建立數(shù)據(jù)之間的關(guān)系和流程，將操作和分析兩種業(yè)務(wù)進(jìn)行解耦，提供靈活的數(shù)據(jù)存儲(chǔ)和訪問方式。

中通快運(yùn)采用了 Paimon 和 StarRocks 來構(gòu)建批流一體的數(shù)據(jù)基礎(chǔ)，提供不同的對(duì)外服務(wù)標(biāo)準(zhǔn)。

首先是實(shí)時(shí)響應(yīng)，所有數(shù)據(jù)都通過實(shí)時(shí)采集傳輸過來。由于傳統(tǒng)企業(yè)的業(yè)務(wù)操作可能不是完全靜態(tài)的，可能存在行為逆轉(zhuǎn)的情況，因此在實(shí)時(shí)操作過程中需要落表，我們使用了 tiDB 作為實(shí)時(shí)存儲(chǔ)庫。

而 StarRocks 承擔(dān)著核心的 OLAP 能力。對(duì)于實(shí)時(shí)性的數(shù)據(jù)需求，通過 StarRocks 實(shí)時(shí)鏈路完成秒級(jí)響應(yīng)（約為 10 秒）。對(duì)于歷史數(shù)據(jù)的大規(guī)模對(duì)比和復(fù)雜查詢，通過 StarRocks 進(jìn)行存算分離，直接讀取和查詢 Paimon 的數(shù)據(jù)，以實(shí)現(xiàn)快速響應(yīng)，業(yè)務(wù)端發(fā)生的數(shù)據(jù)傳輸?shù)椒?wù)端的響應(yīng)時(shí)間優(yōu)化到 2-3 分鐘。

由于中通快運(yùn)的業(yè)務(wù)需要支持分析和操作兩種模式，因此存儲(chǔ)和計(jì)算分為實(shí)時(shí)和離線兩部分，數(shù)據(jù)分析鏈路為湖倉一體，采集以實(shí)時(shí)為主，輔之以批處理同步，重點(diǎn)是滿足秒級(jí)實(shí)時(shí)響應(yīng)的需求。

三、多重價(jià)值落地，實(shí)現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)、驅(qū)動(dòng)業(yè)務(wù)

中通快運(yùn)不僅僅將數(shù)據(jù)視為一種資源，還將其視為推動(dòng)業(yè)務(wù)發(fā)展的關(guān)鍵要素。中通快運(yùn) IT 團(tuán)隊(duì)能夠保持靈活性和敏捷性，深入了解業(yè)務(wù)，快速適應(yīng)新的業(yè)務(wù)要求，并結(jié)合 StarRocks 提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案，收獲整個(gè)集團(tuán)層面的進(jìn)展：

1.提升數(shù)據(jù)分離和擴(kuò)容能力，實(shí)現(xiàn)便捷數(shù)據(jù)管理

通過混合數(shù)據(jù)業(yè)務(wù)的分離，中通快運(yùn)可以更好地管理和擴(kuò)展數(shù)據(jù)資源。這使得企業(yè)能夠更有效地利用數(shù)據(jù)進(jìn)行決策和優(yōu)化業(yè)務(wù)流程。數(shù)據(jù)分離和擴(kuò)容的能力提升還可以為中通快運(yùn)提供更好的數(shù)據(jù)管理和資源分配，以滿足不斷增長(zhǎng)的業(yè)務(wù)需求。

2.提高業(yè)務(wù)運(yùn)營(yíng)效率，實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)

通過架構(gòu)升級(jí)，中通快運(yùn)可以進(jìn)行深入的數(shù)據(jù)分析和挖掘，從歷史數(shù)據(jù)中發(fā)現(xiàn)潛在的業(yè)務(wù)洞察和趨勢(shì)，從而幫助業(yè)務(wù)人員做出更明智的決策，并優(yōu)化業(yè)務(wù)流程，提高效率和競(jìng)爭(zhēng)力。

3.敏捷的開發(fā)，快速響應(yīng)業(yè)務(wù)需求

通過采用模塊化和組裝化的開發(fā)方式，中通快運(yùn)可以更快速地響應(yīng)業(yè)務(wù)變化，能夠更靈活地開發(fā)和部署新的功能和服務(wù)，以滿足不斷變化的業(yè)務(wù)需求。

四、結(jié)語

數(shù)據(jù)部門不僅僅是傳統(tǒng)支撐部門，也要承載了企業(yè)發(fā)展過程中業(yè)務(wù)管理和商業(yè)模式的深度重構(gòu)與融合的使命，一路走來，感謝 StarRocks 給予的支持。

未來，也希望進(jìn)一步探索 StarRocks 資源隔離和物化視圖能力，為企業(yè)提供更強(qiáng)有力的數(shù)據(jù)分析解決方案，賦能業(yè)務(wù)更好的決策和進(jìn)一步升級(jí)。

zhupb