作者：中通快運信息中心副總監(jiān)張賢孝

*本文根據(jù)中通快運信息中心副總監(jiān)張賢孝在「StarRocks Summit 2023」上演講整理，感興趣可前往峰會官網(wǎng)，查看直播回放。

前言

數(shù)字化或者數(shù)據(jù)驅(qū)動不僅僅是 IT 職能，數(shù)據(jù)部門不是一個傳統(tǒng)的支撐部門，而是新一代信息技術(shù)驅(qū)動下的一場業(yè)務(wù)、管理和商業(yè)模式的深度變革和重構(gòu)，技術(shù)是支撐，業(yè)務(wù)是內(nèi)核。

中通快運成立于 2016 年，是中通品牌旗下快運企業(yè)，聚焦數(shù)智物流新趨勢， 提供面向企業(yè)及個人客戶的全鏈路一站式物流服務(wù)。目前，中通快運在全國部署了 80 家分部中心、9000 多臺自由車輛和幾千個網(wǎng)點。在日常生活中，快遞一般處理重量在 10 公斤以下的小件，快運則處理重量在 30 公斤以上的大件物品，比如家具、電器等。

在數(shù)字化的過程中，中通快運隨著業(yè)務(wù)的發(fā)展也進行了一系列數(shù)據(jù)架構(gòu)上的實踐，同時也將過程中的思考整理出來分享給大家。

一、傳統(tǒng)數(shù)據(jù)架構(gòu)遇挑戰(zhàn)，業(yè)務(wù)用數(shù)難、IT 響應(yīng)難

與互聯(lián)網(wǎng)和科技公司不同，身為傳統(tǒng)企業(yè)，中通快運在初期搭建數(shù)據(jù)架構(gòu)時，主要是為了解決運營操作的問題，忽略了數(shù)據(jù)對于業(yè)務(wù)決策的重要性。因此，在業(yè)務(wù)系統(tǒng)開發(fā)過程中，對數(shù)據(jù)架構(gòu)的規(guī)范和部署不夠重視，這也是許多傳統(tǒng)物流公司面臨的問題。

1.分析和數(shù)據(jù)業(yè)務(wù)混合，導(dǎo)致數(shù)據(jù)無法分離和擴容。

物流企業(yè)偏傳統(tǒng)企業(yè)，大多數(shù)軟件是流程管理軟件。在開發(fā)運輸管理系統(tǒng)時，需要完成發(fā)車控制、貨物卸載、裝載和分揀等操作，并生成龐大的行為數(shù)據(jù)。開發(fā)時會出現(xiàn)行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)雜糅、無法分離的問題，導(dǎo)致無法擴容和升級。

2.軟件基礎(chǔ)架構(gòu)混亂，存在單點故障，無法快速升級。

隨著業(yè)務(wù)數(shù)據(jù)庫的增大，我們需要進行縱向升級來逐漸提升數(shù)據(jù)庫的能力。然而，這種縱向升級導(dǎo)致了數(shù)據(jù)層面的單點故障，因為數(shù)據(jù)同步造成的性能消耗超過了額外機器的收益，導(dǎo)致無法繼續(xù)升級。

3.數(shù)據(jù)備份周期短，無法挖掘歷史數(shù)據(jù)的價值。

由于每天產(chǎn)生數(shù)據(jù)量極大，所以數(shù)據(jù)在存儲時只能保存三個月甚至更短的時間。這種數(shù)據(jù)備份的方式，導(dǎo)致業(yè)務(wù)人員無法利用歷史數(shù)據(jù)進行分析，發(fā)揮其價值。

4.開發(fā)和部署方式呈現(xiàn)煙囪式，無法快速響應(yīng)業(yè)務(wù)變化。

物流行業(yè)的業(yè)務(wù)正在快速變化，需要快速響應(yīng)不同的運營模式，但當(dāng)前每個系統(tǒng)都是獨立開發(fā)的，沒有考慮模塊化組裝的方式來提高開發(fā)效率和對外部需求的響應(yīng)速度。

當(dāng)意識到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題，中通快運就開始積極改進和優(yōu)化基礎(chǔ)數(shù)據(jù)架構(gòu)，以提高系統(tǒng)的穩(wěn)定性、可擴展性和靈活性。

二、錨定“數(shù)據(jù)賦能業(yè)務(wù)”，中通快運推動架構(gòu)進化

數(shù)據(jù)賦能業(yè)務(wù)是個脫胎換骨洗筋伐髓的過程，業(yè)務(wù)需求驅(qū)動數(shù)據(jù)準(zhǔn)備，推動業(yè)務(wù)運作流程的演進，驅(qū)動業(yè)務(wù)軟件架構(gòu)面向數(shù)據(jù)的標(biāo)準(zhǔn)化治理，這是一個螺旋上升的過程。

我們開始重新梳理和規(guī)劃數(shù)據(jù)架構(gòu)，結(jié)合業(yè)務(wù)和數(shù)據(jù)兩部分思考，確定了通過數(shù)據(jù)賦能業(yè)務(wù)，實現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)流程，驅(qū)動業(yè)務(wù)決策的核心目標(biāo)，并開始針對這一目標(biāo)進行實踐。

1. 重新定位數(shù)據(jù)部門價值，推動業(yè)務(wù)流程變革

當(dāng)意識到傳統(tǒng)的數(shù)據(jù)架構(gòu)可能存在問題，中通快運 IT 團隊開始推動集團高層，將數(shù)據(jù)部門定位為業(yè)務(wù)賦能的核心，重新定位數(shù)據(jù)部門的價值，將其納入戰(zhàn)略規(guī)劃中，推動業(yè)務(wù)流程的變革。同時，與業(yè)務(wù)部門緊密合作，理解業(yè)務(wù)需求，提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案，實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務(wù)決策和優(yōu)化。

2. 數(shù)據(jù)服務(wù)治理，基于 StarRocks 建設(shè)高效驅(qū)動業(yè)務(wù)的數(shù)據(jù)中心

服務(wù)治理是指在業(yè)務(wù)架構(gòu)中面向數(shù)據(jù)進行設(shè)計，確保數(shù)據(jù)采集和建立數(shù)據(jù)之間的關(guān)系。中通快運將數(shù)據(jù)作為業(yè)務(wù)架構(gòu)設(shè)計的核心，建立數(shù)據(jù)之間的關(guān)系和流程，將操作和分析兩種業(yè)務(wù)進行解耦，提供靈活的數(shù)據(jù)存儲和訪問方式。

中通快運采用了 Paimon 和 StarRocks 來構(gòu)建批流一體的數(shù)據(jù)基礎(chǔ)，提供不同的對外服務(wù)標(biāo)準(zhǔn)。

首先是實時響應(yīng)，所有數(shù)據(jù)都通過實時采集傳輸過來。由于傳統(tǒng)企業(yè)的業(yè)務(wù)操作可能不是完全靜態(tài)的，可能存在行為逆轉(zhuǎn)的情況，因此在實時操作過程中需要落表，我們使用了 tiDB 作為實時存儲庫。

而 StarRocks 承擔(dān)著核心的 OLAP 能力。對于實時性的數(shù)據(jù)需求，通過 StarRocks 實時鏈路完成秒級響應(yīng)（約為 10 秒）。對于歷史數(shù)據(jù)的大規(guī)模對比和復(fù)雜查詢，通過 StarRocks 進行存算分離，直接讀取和查詢 Paimon 的數(shù)據(jù)，以實現(xiàn)快速響應(yīng)，業(yè)務(wù)端發(fā)生的數(shù)據(jù)傳輸?shù)椒?wù)端的響應(yīng)時間優(yōu)化到 2-3 分鐘。

由于中通快運的業(yè)務(wù)需要支持分析和操作兩種模式，因此存儲和計算分為實時和離線兩部分，數(shù)據(jù)分析鏈路為湖倉一體，采集以實時為主，輔之以批處理同步，重點是滿足秒級實時響應(yīng)的需求。

三、多重價值落地，實現(xiàn)數(shù)據(jù)服務(wù)業(yè)務(wù)、驅(qū)動業(yè)務(wù)

中通快運不僅僅將數(shù)據(jù)視為一種資源，還將其視為推動業(yè)務(wù)發(fā)展的關(guān)鍵要素。中通快運 IT 團隊能夠保持靈活性和敏捷性，深入了解業(yè)務(wù)，快速適應(yīng)新的業(yè)務(wù)要求，并結(jié)合 StarRocks 提供相應(yīng)的數(shù)據(jù)服務(wù)和解決方案，收獲整個集團層面的進展：

1.提升數(shù)據(jù)分離和擴容能力，實現(xiàn)便捷數(shù)據(jù)管理

通過混合數(shù)據(jù)業(yè)務(wù)的分離，中通快運可以更好地管理和擴展數(shù)據(jù)資源。這使得企業(yè)能夠更有效地利用數(shù)據(jù)進行決策和優(yōu)化業(yè)務(wù)流程。數(shù)據(jù)分離和擴容的能力提升還可以為中通快運提供更好的數(shù)據(jù)管理和資源分配，以滿足不斷增長的業(yè)務(wù)需求。

2.提高業(yè)務(wù)運營效率，實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)

通過架構(gòu)升級，中通快運可以進行深入的數(shù)據(jù)分析和挖掘，從歷史數(shù)據(jù)中發(fā)現(xiàn)潛在的業(yè)務(wù)洞察和趨勢，從而幫助業(yè)務(wù)人員做出更明智的決策，并優(yōu)化業(yè)務(wù)流程，提高效率和競爭力。

3.敏捷的開發(fā)，快速響應(yīng)業(yè)務(wù)需求

通過采用模塊化和組裝化的開發(fā)方式，中通快運可以更快速地響應(yīng)業(yè)務(wù)變化，能夠更靈活地開發(fā)和部署新的功能和服務(wù)，以滿足不斷變化的業(yè)務(wù)需求。

四、結(jié)語

數(shù)據(jù)部門不僅僅是傳統(tǒng)支撐部門，也要承載了企業(yè)發(fā)展過程中業(yè)務(wù)管理和商業(yè)模式的深度重構(gòu)與融合的使命，一路走來，感謝 StarRocks 給予的支持。

未來，也希望進一步探索 StarRocks 資源隔離和物化視圖能力，為企業(yè)提供更強有力的數(shù)據(jù)分析解決方案，賦能業(yè)務(wù)更好的決策和進一步升級。

zhupb