USDP 3.0具有以下核心能力：

01、Web 控制臺，輕松管理大數(shù)據(jù)集群

USDP 集中化的管理控制臺，在本次版本發(fā)布中，增加了集群管理視圖功能，該視圖使集群管理員對整個集群的服務(wù)狀態(tài)一目了然；并可采取便捷的管理措施調(diào)整，保證系統(tǒng)的高可用和穩(wěn)定性。

在 USDP中，管理員可通過自動化向?qū)У姆绞娇焖偃〉么髷?shù)據(jù)服務(wù)對業(yè)務(wù)的支持；集中化的管理界面中，企業(yè)運(yùn)營團(tuán)隊可以便捷地控制和調(diào)整服務(wù)配置和資源分配，以及一鍵開啟/關(guān)閉 Kerberos，極大簡化配置和管理的復(fù)雜性；自動化向?qū)еС挚焖俨渴鸺?、擴(kuò)展集群主機(jī)、給集群添加新的大數(shù)據(jù)服務(wù)，擴(kuò)展服務(wù)實例等操作；結(jié)合預(yù)制的告警模板和自定義告警，使用戶可以清晰掌握集群和集群中所有服務(wù)組件的運(yùn)行狀況。

02、一鍵開啟或關(guān)閉 Kerberos 安全模式，為大數(shù)據(jù)服務(wù)的安全保駕護(hù)航

數(shù)據(jù)和服務(wù)的安全保障，一直是企業(yè)非常重視的問題。USDP 3.0具備大數(shù)據(jù)服務(wù)安全性保護(hù)能力，通過流程化配置，快速開啟對集群服務(wù)的檢測，結(jié)合細(xì)粒度的權(quán)限控制能力，使得大數(shù)據(jù)集群服務(wù)及數(shù)據(jù)的安全性整體上得到保護(hù)。

在 USDP 中，支持了向?qū)Щ妥詣踊芾戆踩Ｊ剑ㄟ^ Kerberos 的運(yùn)用，為集群中的用戶、服務(wù)和主機(jī)提供身份認(rèn)證和授權(quán)管理能力，其強(qiáng)大的安全性和跨平臺支持特性，確保只有經(jīng)過身份驗證的用戶才能訪問受保護(hù)的資源，為集群免受未經(jīng)授權(quán)的訪問和攻擊提供了強(qiáng)有力的保護(hù)，幫助集群實現(xiàn)高度的安全性和可靠性。集群中的各個組件和服務(wù)（如 HDFS、YARN 等）可以通過 Kerberos 進(jìn)行認(rèn)證和授權(quán)管理，從而保護(hù)數(shù)據(jù)和應(yīng)用程序的安全性。助力企業(yè)提升管理效率和信息安全水平。

03、大數(shù)據(jù)集群平滑升級，為需求升級提供有力支撐

集群的持續(xù)平滑升級能力，是保障用戶基于該平臺構(gòu)建和管理的大數(shù)據(jù)服務(wù)，并獲得持續(xù)維護(hù)和升級的重要支撐，平臺及服務(wù)的靈活擴(kuò)展能力，是應(yīng)對隨業(yè)務(wù)需求不斷變化的架構(gòu)優(yōu)化的迫切需要。

企業(yè)在大數(shù)據(jù)相關(guān)業(yè)務(wù)方面的不斷拓展和深入，數(shù)據(jù)類型變得更加豐富，數(shù)據(jù)量級爆發(fā)式增長，對數(shù)據(jù)處理時效的需求不斷提高。因此，對于企業(yè)前期圍繞數(shù)據(jù)倉庫技術(shù)構(gòu)建的大數(shù)據(jù)平臺系統(tǒng)也帶來了更高要求，亟需進(jìn)行系統(tǒng)性升級和技術(shù)架構(gòu)拓展，以滿足企業(yè)業(yè)務(wù)持續(xù)發(fā)展的需要。

USDP 支持集群的持續(xù)升級和組件特性等持續(xù)拓展。用戶可靈活選擇大數(shù)據(jù)平臺架構(gòu)，無論是數(shù)倉架構(gòu)的優(yōu)化、流式計算的引入，甚至向流批一體架構(gòu)、湖倉一體等架構(gòu)演進(jìn)， 通過USDP 都能獲得支撐。

04、配置角色組管理，有效提升資源利用率和管理效率

角色組的功能，是將服務(wù)配置按實例角色類型分配給相應(yīng)的角色組，組中各個角色繼承這個組配置，助力大規(guī)模分布式服務(wù)便捷管理；根據(jù)集群主機(jī)環(huán)境、服務(wù)的特殊要求，為不同的主機(jī)或服務(wù)自定義分配不同的角色組，從而達(dá)到資源利用率和管理效率的有效提升。

05、UDH 更新及發(fā)布，多版本可靈活選擇

UCloud 大數(shù)據(jù)組件發(fā)行套件，集成了豐富的開源項目，使企業(yè)可靈活構(gòu)建一個功能先進(jìn)的大數(shù)據(jù)系統(tǒng)；套件提供了強(qiáng)大的自動部署、管理和監(jiān)控工具，便于用戶操作維護(hù)大數(shù)據(jù)集群；套件中包含了更多的補(bǔ)丁和功能特性，為分布式大數(shù)據(jù)系統(tǒng)提供穩(wěn)定性和性能保障。本次 UDH v3.0.0 的發(fā)布中，使其囊括的數(shù)據(jù)采集工具、流批計算引擎、調(diào)度系統(tǒng)、存儲系統(tǒng)等服務(wù)，可全面兼容 Hadoop 3.3.4 版本生態(tài)。

06、宿主環(huán)境的修復(fù)能力，為運(yùn)維人員減負(fù)

大數(shù)據(jù)集群宿主環(huán)境的修復(fù)及初始化能力，大大簡化了基礎(chǔ)運(yùn)維在搭建大規(guī)模集群前，所需要進(jìn)行的繁瑣的基礎(chǔ)設(shè)施環(huán)境準(zhǔn)備工作；自動化修復(fù)工具良好的冪等性支持，能有效控制手動運(yùn)維的出錯概率，極大地降低運(yùn)維人員的工作量和維護(hù)成本，保障了系統(tǒng)穩(wěn)定性、可靠性及安全性。通過工具自動化的能力實現(xiàn)快速部署、配置、升級等復(fù)雜操作，使用戶更加專注于數(shù)據(jù)分析業(yè)務(wù)的推進(jìn)。

關(guān)鍵應(yīng)用場景

1) 離線/實時數(shù)倉架構(gòu)場景

離線數(shù)倉將數(shù)據(jù)從源系統(tǒng)中抽取出來，經(jīng)過清洗、轉(zhuǎn)換和加載（ETL）等步驟，使數(shù)據(jù)按照一定的規(guī)則組織到數(shù)據(jù)倉庫中，再通過報表等方式對數(shù)據(jù)進(jìn)行分析和挖掘。而離線數(shù)倉所擅長處理的大規(guī)模數(shù)據(jù)能力，卻不可避免的帶來一定的數(shù)據(jù)延遲性，而實時數(shù)倉解決了這一問題。

在實時數(shù)倉中，以實時或近乎實時的方式處理數(shù)據(jù)，將數(shù)據(jù)通過流式處理引擎（例如 Kafka、Flink 等）實時抽取、清洗、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫中，再通過可視化工具等方式對數(shù)據(jù)進(jìn)行實時監(jiān)控和分析。基于USDP 中豐富的大數(shù)據(jù)技術(shù)的選擇，企業(yè)可根據(jù)自身的發(fā)展需要，靈活搭建并不斷優(yōu)化整合自己的大數(shù)據(jù)平臺架構(gòu)，構(gòu)建適宜的數(shù)倉架構(gòu)場景。

2) 流批一體架構(gòu)場景

流批一體架構(gòu)的思想是將流處理和批處理整合在一起，提供更加全面和高效的實時數(shù)據(jù)分析能力。如使用 Flink 引擎及 Kafka 消息隊列等引擎和工具的組合架構(gòu)，可以在實時數(shù)據(jù)流中進(jìn)行復(fù)雜的事件驅(qū)動處理，并兼顧批處理任務(wù)。

依托于 Flink 引擎提供的豐富的流處理和批處理 API，和強(qiáng)大的狀態(tài)管理和容錯能力，使得流批一體架構(gòu)可以更加可靠和高效地處理數(shù)據(jù)。在減少架構(gòu)的復(fù)雜性和維護(hù)成本的同時，使企業(yè)達(dá)到更加靈活地處理數(shù)據(jù)的目的，并更好地適應(yīng)業(yè)務(wù)需求的變化。而 USDP 中提供了豐富的大數(shù)據(jù)生態(tài)服務(wù)、工具和框架的支持，能很好幫助企業(yè)構(gòu)建靈活且復(fù)雜的大數(shù)據(jù)處理架構(gòu)。

3) 數(shù)據(jù)湖/湖倉一體架構(gòu)場景

在將數(shù)據(jù)湖和數(shù)據(jù)倉庫的優(yōu)點深度結(jié)合的“湖倉一體”數(shù)據(jù)架構(gòu)中，以多種格式的數(shù)據(jù)統(tǒng)一存儲為基礎(chǔ)，可很好的避免數(shù)據(jù)冗余和一致性問題；統(tǒng)一高效的數(shù)據(jù)處理和清洗帶給數(shù)據(jù)質(zhì)量和可用性有力保障；在該架構(gòu)的支撐下，企業(yè)可開展如批處理、流處理、實時處理等多種模式的數(shù)據(jù)分析方式，借助 SQL 查詢分析、OLAP 分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)來滿足應(yīng)用的分析需求；通過該架構(gòu)，更有利于企業(yè)實現(xiàn)數(shù)據(jù)的管理和治理，從而提高數(shù)據(jù)的可靠性和可信度。

Hadoop 生態(tài)系統(tǒng)、HBase、Hive 等存儲框架、Kafka 流處理平臺、Presto 查詢引擎、Flink/Spark 等流/批處理框架、以及 Hudi、Iceberg 等引擎和存儲格式，正是構(gòu)建湖倉一體架構(gòu)所需要的，USDP 可以有效解決這些工具、框架和服務(wù)的相互兼容問題，以及統(tǒng)一的管理和監(jiān)控維護(hù)，給企業(yè)帶來豐富且便捷的支持，以滿足企業(yè)對數(shù)據(jù)的各種需求。

落地案例

USDP 智能大數(shù)據(jù)平臺的發(fā)布，將致力于幫助企業(yè)快捷構(gòu)建和管理大數(shù)據(jù)業(yè)務(wù)的分析處理能力，提升數(shù)據(jù)分析管理能力，釋放數(shù)據(jù)價值，驅(qū)動業(yè)務(wù)創(chuàng)新。當(dāng)下 USDP 大數(shù)據(jù)平臺已在多個行業(yè)客戶案例中落地，基于一站式數(shù)據(jù)處理能力，支撐用戶業(yè)務(wù)創(chuàng)新：

某能源行業(yè)大數(shù)據(jù)系統(tǒng)需要對電力數(shù)據(jù)進(jìn)行采集和分析，對數(shù)據(jù)的采集頻度、精度及延遲要求較高，對于大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)的穩(wěn)定性和性能要求非常高。UCloud 為用戶提供優(yōu)鈦私有云及 USDP 智能大數(shù)據(jù)平臺，共同承載大數(shù)據(jù)分析處理和數(shù)據(jù)業(yè)務(wù)應(yīng)用。如通過USDP 采集耗電數(shù)據(jù)，通過數(shù)據(jù)處理算法，對采集上來的異常數(shù)據(jù)進(jìn)行修正，實現(xiàn)耗電趨勢分析，在不斷累積的數(shù)據(jù)基礎(chǔ)上，進(jìn)行數(shù)據(jù)模型訓(xùn)練，實現(xiàn)電量精準(zhǔn)預(yù)測。

航天科技某研究所質(zhì)量精益分析系統(tǒng)，基于科研產(chǎn)品研制過程數(shù)據(jù)，通過全鏈路生產(chǎn)數(shù)據(jù)的集成，打通信息鏈，提供產(chǎn)品生產(chǎn)數(shù)字化履歷、質(zhì)量問題復(fù)查、設(shè)計特性分析、可靠性量化評估、產(chǎn)品質(zhì)量狀況異常等業(yè)務(wù)應(yīng)用功能。采用 USDP 構(gòu)建一站式大數(shù)據(jù)基礎(chǔ)平臺，由源數(shù)據(jù)層、數(shù)據(jù)存儲層及數(shù)據(jù)處理分析層構(gòu)成，進(jìn)行數(shù)據(jù)集成、接入和預(yù)處理，結(jié)合數(shù)據(jù)分析和展現(xiàn)應(yīng)用層實現(xiàn)數(shù)據(jù)的具體利用，發(fā)揮數(shù)據(jù)價值，提升產(chǎn)品研制的質(zhì)量。

未來，USDP 大數(shù)據(jù)團(tuán)隊將密切關(guān)注并緊跟大數(shù)據(jù)技術(shù)生態(tài)和趨勢，結(jié)合用戶需求和場景提供更多大數(shù)據(jù)場景組件和最佳實踐方案，為企業(yè)提供更多可靠、安全、可擴(kuò)展的大數(shù)據(jù)分析處理功能。

zhupb