USDP 3.0具有以下核心能力：

01、Web 控制臺(tái)，輕松管理大數(shù)據(jù)集群

USDP 集中化的管理控制臺(tái)，在本次版本發(fā)布中，增加了集群管理視圖功能，該視圖使集群管理員對(duì)整個(gè)集群的服務(wù)狀態(tài)一目了然；并可采取便捷的管理措施調(diào)整，保證系統(tǒng)的高可用和穩(wěn)定性。

在 USDP中，管理員可通過(guò)自動(dòng)化向?qū)У姆绞娇焖偃〉么髷?shù)據(jù)服務(wù)對(duì)業(yè)務(wù)的支持；集中化的管理界面中，企業(yè)運(yùn)營(yíng)團(tuán)隊(duì)可以便捷地控制和調(diào)整服務(wù)配置和資源分配，以及一鍵開(kāi)啟/關(guān)閉 Kerberos，極大簡(jiǎn)化配置和管理的復(fù)雜性；自動(dòng)化向?qū)еС挚焖俨渴鸺骸U(kuò)展集群主機(jī)、給集群添加新的大數(shù)據(jù)服務(wù)，擴(kuò)展服務(wù)實(shí)例等操作；結(jié)合預(yù)制的告警模板和自定義告警，使用戶可以清晰掌握集群和集群中所有服務(wù)組件的運(yùn)行狀況。

02、一鍵開(kāi)啟或關(guān)閉 Kerberos 安全模式，為大數(shù)據(jù)服務(wù)的安全保駕護(hù)航

數(shù)據(jù)和服務(wù)的安全保障，一直是企業(yè)非常重視的問(wèn)題。USDP 3.0具備大數(shù)據(jù)服務(wù)安全性保護(hù)能力，通過(guò)流程化配置，快速開(kāi)啟對(duì)集群服務(wù)的檢測(cè)，結(jié)合細(xì)粒度的權(quán)限控制能力，使得大數(shù)據(jù)集群服務(wù)及數(shù)據(jù)的安全性整體上得到保護(hù)。

在 USDP 中，支持了向?qū)Щ妥詣?dòng)化管理安全模式，通過(guò) Kerberos 的運(yùn)用，為集群中的用戶、服務(wù)和主機(jī)提供身份認(rèn)證和授權(quán)管理能力，其強(qiáng)大的安全性和跨平臺(tái)支持特性，確保只有經(jīng)過(guò)身份驗(yàn)證的用戶才能訪問(wèn)受保護(hù)的資源，為集群免受未經(jīng)授權(quán)的訪問(wèn)和攻擊提供了強(qiáng)有力的保護(hù)，幫助集群實(shí)現(xiàn)高度的安全性和可靠性。集群中的各個(gè)組件和服務(wù)（如 HDFS、YARN 等）可以通過(guò) Kerberos 進(jìn)行認(rèn)證和授權(quán)管理，從而保護(hù)數(shù)據(jù)和應(yīng)用程序的安全性。助力企業(yè)提升管理效率和信息安全水平。

03、大數(shù)據(jù)集群平滑升級(jí)，為需求升級(jí)提供有力支撐

集群的持續(xù)平滑升級(jí)能力，是保障用戶基于該平臺(tái)構(gòu)建和管理的大數(shù)據(jù)服務(wù)，并獲得持續(xù)維護(hù)和升級(jí)的重要支撐，平臺(tái)及服務(wù)的靈活擴(kuò)展能力，是應(yīng)對(duì)隨業(yè)務(wù)需求不斷變化的架構(gòu)優(yōu)化的迫切需要。

企業(yè)在大數(shù)據(jù)相關(guān)業(yè)務(wù)方面的不斷拓展和深入，數(shù)據(jù)類型變得更加豐富，數(shù)據(jù)量級(jí)爆發(fā)式增長(zhǎng)，對(duì)數(shù)據(jù)處理時(shí)效的需求不斷提高。因此，對(duì)于企業(yè)前期圍繞數(shù)據(jù)倉(cāng)庫(kù)技術(shù)構(gòu)建的大數(shù)據(jù)平臺(tái)系統(tǒng)也帶來(lái)了更高要求，亟需進(jìn)行系統(tǒng)性升級(jí)和技術(shù)架構(gòu)拓展，以滿足企業(yè)業(yè)務(wù)持續(xù)發(fā)展的需要。

USDP 支持集群的持續(xù)升級(jí)和組件特性等持續(xù)拓展。用戶可靈活選擇大數(shù)據(jù)平臺(tái)架構(gòu)，無(wú)論是數(shù)倉(cāng)架構(gòu)的優(yōu)化、流式計(jì)算的引入，甚至向流批一體架構(gòu)、湖倉(cāng)一體等架構(gòu)演進(jìn)， 通過(guò)USDP 都能獲得支撐。

04、配置角色組管理，有效提升資源利用率和管理效率

角色組的功能，是將服務(wù)配置按實(shí)例角色類型分配給相應(yīng)的角色組，組中各個(gè)角色繼承這個(gè)組配置，助力大規(guī)模分布式服務(wù)便捷管理；根據(jù)集群主機(jī)環(huán)境、服務(wù)的特殊要求，為不同的主機(jī)或服務(wù)自定義分配不同的角色組，從而達(dá)到資源利用率和管理效率的有效提升。

05、UDH 更新及發(fā)布，多版本可靈活選擇

UCloud 大數(shù)據(jù)組件發(fā)行套件，集成了豐富的開(kāi)源項(xiàng)目，使企業(yè)可靈活構(gòu)建一個(gè)功能先進(jìn)的大數(shù)據(jù)系統(tǒng)；套件提供了強(qiáng)大的自動(dòng)部署、管理和監(jiān)控工具，便于用戶操作維護(hù)大數(shù)據(jù)集群；套件中包含了更多的補(bǔ)丁和功能特性，為分布式大數(shù)據(jù)系統(tǒng)提供穩(wěn)定性和性能保障。本次 UDH v3.0.0 的發(fā)布中，使其囊括的數(shù)據(jù)采集工具、流批計(jì)算引擎、調(diào)度系統(tǒng)、存儲(chǔ)系統(tǒng)等服務(wù)，可全面兼容 Hadoop 3.3.4 版本生態(tài)。

06、宿主環(huán)境的修復(fù)能力，為運(yùn)維人員減負(fù)

大數(shù)據(jù)集群宿主環(huán)境的修復(fù)及初始化能力，大大簡(jiǎn)化了基礎(chǔ)運(yùn)維在搭建大規(guī)模集群前，所需要進(jìn)行的繁瑣的基礎(chǔ)設(shè)施環(huán)境準(zhǔn)備工作；自動(dòng)化修復(fù)工具良好的冪等性支持，能有效控制手動(dòng)運(yùn)維的出錯(cuò)概率，極大地降低運(yùn)維人員的工作量和維護(hù)成本，保障了系統(tǒng)穩(wěn)定性、可靠性及安全性。通過(guò)工具自動(dòng)化的能力實(shí)現(xiàn)快速部署、配置、升級(jí)等復(fù)雜操作，使用戶更加專注于數(shù)據(jù)分析業(yè)務(wù)的推進(jìn)。

關(guān)鍵應(yīng)用場(chǎng)景

1) 離線/實(shí)時(shí)數(shù)倉(cāng)架構(gòu)場(chǎng)景

離線數(shù)倉(cāng)將數(shù)據(jù)從源系統(tǒng)中抽取出來(lái)，經(jīng)過(guò)清洗、轉(zhuǎn)換和加載（ETL）等步驟，使數(shù)據(jù)按照一定的規(guī)則組織到數(shù)據(jù)倉(cāng)庫(kù)中，再通過(guò)報(bào)表等方式對(duì)數(shù)據(jù)進(jìn)行分析和挖掘。而離線數(shù)倉(cāng)所擅長(zhǎng)處理的大規(guī)模數(shù)據(jù)能力，卻不可避免的帶來(lái)一定的數(shù)據(jù)延遲性，而實(shí)時(shí)數(shù)倉(cāng)解決了這一問(wèn)題。

在實(shí)時(shí)數(shù)倉(cāng)中，以實(shí)時(shí)或近乎實(shí)時(shí)的方式處理數(shù)據(jù)，將數(shù)據(jù)通過(guò)流式處理引擎（例如 Kafka、Flink 等）實(shí)時(shí)抽取、清洗、轉(zhuǎn)換和加載到數(shù)據(jù)倉(cāng)庫(kù)中，再通過(guò)可視化工具等方式對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控和分析。基于USDP 中豐富的大數(shù)據(jù)技術(shù)的選擇，企業(yè)可根據(jù)自身的發(fā)展需要，靈活搭建并不斷優(yōu)化整合自己的大數(shù)據(jù)平臺(tái)架構(gòu)，構(gòu)建適宜的數(shù)倉(cāng)架構(gòu)場(chǎng)景。

2) 流批一體架構(gòu)場(chǎng)景

流批一體架構(gòu)的思想是將流處理和批處理整合在一起，提供更加全面和高效的實(shí)時(shí)數(shù)據(jù)分析能力。如使用 Flink 引擎及 Kafka 消息隊(duì)列等引擎和工具的組合架構(gòu)，可以在實(shí)時(shí)數(shù)據(jù)流中進(jìn)行復(fù)雜的事件驅(qū)動(dòng)處理，并兼顧批處理任務(wù)。

依托于 Flink 引擎提供的豐富的流處理和批處理 API，和強(qiáng)大的狀態(tài)管理和容錯(cuò)能力，使得流批一體架構(gòu)可以更加可靠和高效地處理數(shù)據(jù)。在減少架構(gòu)的復(fù)雜性和維護(hù)成本的同時(shí)，使企業(yè)達(dá)到更加靈活地處理數(shù)據(jù)的目的，并更好地適應(yīng)業(yè)務(wù)需求的變化。而 USDP 中提供了豐富的大數(shù)據(jù)生態(tài)服務(wù)、工具和框架的支持，能很好幫助企業(yè)構(gòu)建靈活且復(fù)雜的大數(shù)據(jù)處理架構(gòu)。

3) 數(shù)據(jù)湖/湖倉(cāng)一體架構(gòu)場(chǎng)景

在將數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)點(diǎn)深度結(jié)合的“湖倉(cāng)一體”數(shù)據(jù)架構(gòu)中，以多種格式的數(shù)據(jù)統(tǒng)一存儲(chǔ)為基礎(chǔ)，可很好的避免數(shù)據(jù)冗余和一致性問(wèn)題；統(tǒng)一高效的數(shù)據(jù)處理和清洗帶給數(shù)據(jù)質(zhì)量和可用性有力保障；在該架構(gòu)的支撐下，企業(yè)可開(kāi)展如批處理、流處理、實(shí)時(shí)處理等多種模式的數(shù)據(jù)分析方式，借助 SQL 查詢分析、OLAP 分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)來(lái)滿足應(yīng)用的分析需求；通過(guò)該架構(gòu)，更有利于企業(yè)實(shí)現(xiàn)數(shù)據(jù)的管理和治理，從而提高數(shù)據(jù)的可靠性和可信度。

Hadoop 生態(tài)系統(tǒng)、HBase、Hive 等存儲(chǔ)框架、Kafka 流處理平臺(tái)、Presto 查詢引擎、Flink/Spark 等流/批處理框架、以及 Hudi、Iceberg 等引擎和存儲(chǔ)格式，正是構(gòu)建湖倉(cāng)一體架構(gòu)所需要的，USDP 可以有效解決這些工具、框架和服務(wù)的相互兼容問(wèn)題，以及統(tǒng)一的管理和監(jiān)控維護(hù)，給企業(yè)帶來(lái)豐富且便捷的支持，以滿足企業(yè)對(duì)數(shù)據(jù)的各種需求。

落地案例

USDP 智能大數(shù)據(jù)平臺(tái)的發(fā)布，將致力于幫助企業(yè)快捷構(gòu)建和管理大數(shù)據(jù)業(yè)務(wù)的分析處理能力，提升數(shù)據(jù)分析管理能力，釋放數(shù)據(jù)價(jià)值，驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新。當(dāng)下 USDP 大數(shù)據(jù)平臺(tái)已在多個(gè)行業(yè)客戶案例中落地，基于一站式數(shù)據(jù)處理能力，支撐用戶業(yè)務(wù)創(chuàng)新：

某能源行業(yè)大數(shù)據(jù)系統(tǒng)需要對(duì)電力數(shù)據(jù)進(jìn)行采集和分析，對(duì)數(shù)據(jù)的采集頻度、精度及延遲要求較高，對(duì)于大數(shù)據(jù)基礎(chǔ)平臺(tái)架構(gòu)的穩(wěn)定性和性能要求非常高。UCloud 為用戶提供優(yōu)鈦私有云及 USDP 智能大數(shù)據(jù)平臺(tái)，共同承載大數(shù)據(jù)分析處理和數(shù)據(jù)業(yè)務(wù)應(yīng)用。如通過(guò)USDP 采集耗電數(shù)據(jù)，通過(guò)數(shù)據(jù)處理算法，對(duì)采集上來(lái)的異常數(shù)據(jù)進(jìn)行修正，實(shí)現(xiàn)耗電趨勢(shì)分析，在不斷累積的數(shù)據(jù)基礎(chǔ)上，進(jìn)行數(shù)據(jù)模型訓(xùn)練，實(shí)現(xiàn)電量精準(zhǔn)預(yù)測(cè)。

航天科技某研究所質(zhì)量精益分析系統(tǒng)，基于科研產(chǎn)品研制過(guò)程數(shù)據(jù)，通過(guò)全鏈路生產(chǎn)數(shù)據(jù)的集成，打通信息鏈，提供產(chǎn)品生產(chǎn)數(shù)字化履歷、質(zhì)量問(wèn)題復(fù)查、設(shè)計(jì)特性分析、可靠性量化評(píng)估、產(chǎn)品質(zhì)量狀況異常等業(yè)務(wù)應(yīng)用功能。采用 USDP 構(gòu)建一站式大數(shù)據(jù)基礎(chǔ)平臺(tái)，由源數(shù)據(jù)層、數(shù)據(jù)存儲(chǔ)層及數(shù)據(jù)處理分析層構(gòu)成，進(jìn)行數(shù)據(jù)集成、接入和預(yù)處理，結(jié)合數(shù)據(jù)分析和展現(xiàn)應(yīng)用層實(shí)現(xiàn)數(shù)據(jù)的具體利用，發(fā)揮數(shù)據(jù)價(jià)值，提升產(chǎn)品研制的質(zhì)量。

未來(lái)，USDP 大數(shù)據(jù)團(tuán)隊(duì)將密切關(guān)注并緊跟大數(shù)據(jù)技術(shù)生態(tài)和趨勢(shì)，結(jié)合用戶需求和場(chǎng)景提供更多大數(shù)據(jù)場(chǎng)景組件和最佳實(shí)踐方案，為企業(yè)提供更多可靠、安全、可擴(kuò)展的大數(shù)據(jù)分析處理功能。

zhupb