作者：中通快運信息中心副總監(jiān)張賢孝

*本文根據(jù)中通快運信息中心副總監(jiān)張賢孝在「StarRocks Summit 2023」上演講整理，感興趣可前往峰會官網(wǎng)，查看直播回放。

前言

數(shù)字化或者數(shù)據(jù)驅動不僅僅是 IT 職能，數(shù)據(jù)部門不是一個傳統(tǒng)的支撐部門，而是新一代信息技術驅動下的一場業(yè)務、管理和商業(yè)模式的深度變革和重構，技術是支撐，業(yè)務是內(nèi)核。

中通快運成立于 2016 年，是中通品牌旗下快運企業(yè)，聚焦數(shù)智物流新趨勢， 提供面向企業(yè)及個人客戶的全鏈路一站式物流服務。目前，中通快運在全國部署了 80 家分部中心、9000 多臺自由車輛和幾千個網(wǎng)點。在日常生活中，快遞一般處理重量在 10 公斤以下的小件，快運則處理重量在 30 公斤以上的大件物品，比如家具、電器等。

在數(shù)字化的過程中，中通快運隨著業(yè)務的發(fā)展也進行了一系列數(shù)據(jù)架構上的實踐，同時也將過程中的思考整理出來分享給大家。

一、傳統(tǒng)數(shù)據(jù)架構遇挑戰(zhàn)，業(yè)務用數(shù)難、IT 響應難

與互聯(lián)網(wǎng)和科技公司不同，身為傳統(tǒng)企業(yè)，中通快運在初期搭建數(shù)據(jù)架構時，主要是為了解決運營操作的問題，忽略了數(shù)據(jù)對于業(yè)務決策的重要性。因此，在業(yè)務系統(tǒng)開發(fā)過程中，對數(shù)據(jù)架構的規(guī)范和部署不夠重視，這也是許多傳統(tǒng)物流公司面臨的問題。

1.分析和數(shù)據(jù)業(yè)務混合，導致數(shù)據(jù)無法分離和擴容。

物流企業(yè)偏傳統(tǒng)企業(yè)，大多數(shù)軟件是流程管理軟件。在開發(fā)運輸管理系統(tǒng)時，需要完成發(fā)車控制、貨物卸載、裝載和分揀等操作，并生成龐大的行為數(shù)據(jù)。開發(fā)時會出現(xiàn)行為數(shù)據(jù)和業(yè)務數(shù)據(jù)雜糅、無法分離的問題，導致無法擴容和升級。

2.軟件基礎架構混亂，存在單點故障，無法快速升級。

隨著業(yè)務數(shù)據(jù)庫的增大，我們需要進行縱向升級來逐漸提升數(shù)據(jù)庫的能力。然而，這種縱向升級導致了數(shù)據(jù)層面的單點故障，因為數(shù)據(jù)同步造成的性能消耗超過了額外機器的收益，導致無法繼續(xù)升級。

3.數(shù)據(jù)備份周期短，無法挖掘歷史數(shù)據(jù)的價值。

由于每天產(chǎn)生數(shù)據(jù)量極大，所以數(shù)據(jù)在存儲時只能保存三個月甚至更短的時間。這種數(shù)據(jù)備份的方式，導致業(yè)務人員無法利用歷史數(shù)據(jù)進行分析，發(fā)揮其價值。

4.開發(fā)和部署方式呈現(xiàn)煙囪式，無法快速響應業(yè)務變化。

物流行業(yè)的業(yè)務正在快速變化，需要快速響應不同的運營模式，但當前每個系統(tǒng)都是獨立開發(fā)的，沒有考慮模塊化組裝的方式來提高開發(fā)效率和對外部需求的響應速度。

當意識到傳統(tǒng)的數(shù)據(jù)架構可能存在問題，中通快運就開始積極改進和優(yōu)化基礎數(shù)據(jù)架構，以提高系統(tǒng)的穩(wěn)定性、可擴展性和靈活性。

二、錨定“數(shù)據(jù)賦能業(yè)務”，中通快運推動架構進化

數(shù)據(jù)賦能業(yè)務是個脫胎換骨洗筋伐髓的過程，業(yè)務需求驅動數(shù)據(jù)準備，推動業(yè)務運作流程的演進，驅動業(yè)務軟件架構面向數(shù)據(jù)的標準化治理，這是一個螺旋上升的過程。

我們開始重新梳理和規(guī)劃數(shù)據(jù)架構，結合業(yè)務和數(shù)據(jù)兩部分思考，確定了通過數(shù)據(jù)賦能業(yè)務，實現(xiàn)數(shù)據(jù)服務業(yè)務流程，驅動業(yè)務決策的核心目標，并開始針對這一目標進行實踐。

1. 重新定位數(shù)據(jù)部門價值，推動業(yè)務流程變革

當意識到傳統(tǒng)的數(shù)據(jù)架構可能存在問題，中通快運 IT 團隊開始推動集團高層，將數(shù)據(jù)部門定位為業(yè)務賦能的核心，重新定位數(shù)據(jù)部門的價值，將其納入戰(zhàn)略規(guī)劃中，推動業(yè)務流程的變革。同時，與業(yè)務部門緊密合作，理解業(yè)務需求，提供相應的數(shù)據(jù)服務和解決方案，實現(xiàn)數(shù)據(jù)驅動的業(yè)務決策和優(yōu)化。

2. 數(shù)據(jù)服務治理，基于 StarRocks 建設高效驅動業(yè)務的數(shù)據(jù)中心

服務治理是指在業(yè)務架構中面向數(shù)據(jù)進行設計，確保數(shù)據(jù)采集和建立數(shù)據(jù)之間的關系。中通快運將數(shù)據(jù)作為業(yè)務架構設計的核心，建立數(shù)據(jù)之間的關系和流程，將操作和分析兩種業(yè)務進行解耦，提供靈活的數(shù)據(jù)存儲和訪問方式。

中通快運采用了 Paimon 和 StarRocks 來構建批流一體的數(shù)據(jù)基礎，提供不同的對外服務標準。

首先是實時響應，所有數(shù)據(jù)都通過實時采集傳輸過來。由于傳統(tǒng)企業(yè)的業(yè)務操作可能不是完全靜態(tài)的，可能存在行為逆轉的情況，因此在實時操作過程中需要落表，我們使用了 tiDB 作為實時存儲庫。

而 StarRocks 承擔著核心的 OLAP 能力。對于實時性的數(shù)據(jù)需求，通過 StarRocks 實時鏈路完成秒級響應（約為 10 秒）。對于歷史數(shù)據(jù)的大規(guī)模對比和復雜查詢，通過 StarRocks 進行存算分離，直接讀取和查詢 Paimon 的數(shù)據(jù)，以實現(xiàn)快速響應，業(yè)務端發(fā)生的數(shù)據(jù)傳輸?shù)椒斩说捻憫獣r間優(yōu)化到 2-3 分鐘。

由于中通快運的業(yè)務需要支持分析和操作兩種模式，因此存儲和計算分為實時和離線兩部分，數(shù)據(jù)分析鏈路為湖倉一體，采集以實時為主，輔之以批處理同步，重點是滿足秒級實時響應的需求。

三、多重價值落地，實現(xiàn)數(shù)據(jù)服務業(yè)務、驅動業(yè)務

中通快運不僅僅將數(shù)據(jù)視為一種資源，還將其視為推動業(yè)務發(fā)展的關鍵要素。中通快運 IT 團隊能夠保持靈活性和敏捷性，深入了解業(yè)務，快速適應新的業(yè)務要求，并結合 StarRocks 提供相應的數(shù)據(jù)服務和解決方案，收獲整個集團層面的進展：

1.提升數(shù)據(jù)分離和擴容能力，實現(xiàn)便捷數(shù)據(jù)管理

通過混合數(shù)據(jù)業(yè)務的分離，中通快運可以更好地管理和擴展數(shù)據(jù)資源。這使得企業(yè)能夠更有效地利用數(shù)據(jù)進行決策和優(yōu)化業(yè)務流程。數(shù)據(jù)分離和擴容的能力提升還可以為中通快運提供更好的數(shù)據(jù)管理和資源分配，以滿足不斷增長的業(yè)務需求。

2.提高業(yè)務運營效率，實現(xiàn)數(shù)據(jù)驅動業(yè)務

通過架構升級，中通快運可以進行深入的數(shù)據(jù)分析和挖掘，從歷史數(shù)據(jù)中發(fā)現(xiàn)潛在的業(yè)務洞察和趨勢，從而幫助業(yè)務人員做出更明智的決策，并優(yōu)化業(yè)務流程，提高效率和競爭力。

3.敏捷的開發(fā)，快速響應業(yè)務需求

通過采用模塊化和組裝化的開發(fā)方式，中通快運可以更快速地響應業(yè)務變化，能夠更靈活地開發(fā)和部署新的功能和服務，以滿足不斷變化的業(yè)務需求。

四、結語

數(shù)據(jù)部門不僅僅是傳統(tǒng)支撐部門，也要承載了企業(yè)發(fā)展過程中業(yè)務管理和商業(yè)模式的深度重構與融合的使命，一路走來，感謝 StarRocks 給予的支持。

未來，也希望進一步探索 StarRocks 資源隔離和物化視圖能力，為企業(yè)提供更強有力的數(shù)據(jù)分析解決方案，賦能業(yè)務更好的決策和進一步升級。

zhupb