USDP 3.0具有以下核心能力:

01、Web 控制臺(tái),輕松管理大數(shù)據(jù)集群

USDP 集中化的管理控制臺(tái),在本次版本發(fā)布中,增加了集群管理視圖功能,該視圖使集群管理員對(duì)整個(gè)集群的服務(wù)狀態(tài)一目了然;并可采取便捷的管理措施調(diào)整,保證系統(tǒng)的高可用和穩(wěn)定性。

在 USDP中,管理員可通過(guò)自動(dòng)化向?qū)У姆绞娇焖偃〉么髷?shù)據(jù)服務(wù)對(duì)業(yè)務(wù)的支持;集中化的管理界面中,企業(yè)運(yùn)營(yíng)團(tuán)隊(duì)可以便捷地控制和調(diào)整服務(wù)配置和資源分配,以及一鍵開(kāi)啟/關(guān)閉 Kerberos,極大簡(jiǎn)化配置和管理的復(fù)雜性;自動(dòng)化向?qū)еС挚焖俨渴鸺骸U(kuò)展集群主機(jī)、給集群添加新的大數(shù)據(jù)服務(wù),擴(kuò)展服務(wù)實(shí)例等操作;結(jié)合預(yù)制的告警模板和自定義告警,使用戶可以清晰掌握集群和集群中所有服務(wù)組件的運(yùn)行狀況。

02、一鍵開(kāi)啟或關(guān)閉 Kerberos 安全模式,為大數(shù)據(jù)服務(wù)的安全保駕護(hù)航

數(shù)據(jù)和服務(wù)的安全保障,一直是企業(yè)非常重視的問(wèn)題。USDP 3.0具備大數(shù)據(jù)服務(wù)安全性保護(hù)能力,通過(guò)流程化配置,快速開(kāi)啟對(duì)集群服務(wù)的檢測(cè),結(jié)合細(xì)粒度的權(quán)限控制能力,使得大數(shù)據(jù)集群服務(wù)及數(shù)據(jù)的安全性整體上得到保護(hù)。

在 USDP 中,支持了向?qū)Щ妥詣?dòng)化管理安全模式,通過(guò) Kerberos 的運(yùn)用,為集群中的用戶、服務(wù)和主機(jī)提供身份認(rèn)證和授權(quán)管理能力,其強(qiáng)大的安全性和跨平臺(tái)支持特性,確保只有經(jīng)過(guò)身份驗(yàn)證的用戶才能訪問(wèn)受保護(hù)的資源,為集群免受未經(jīng)授權(quán)的訪問(wèn)和攻擊提供了強(qiáng)有力的保護(hù),幫助集群實(shí)現(xiàn)高度的安全性和可靠性。集群中的各個(gè)組件和服務(wù)(如 HDFS、YARN 等)可以通過(guò) Kerberos 進(jìn)行認(rèn)證和授權(quán)管理,從而保護(hù)數(shù)據(jù)和應(yīng)用程序的安全性。助力企業(yè)提升管理效率和信息安全水平。

03、大數(shù)據(jù)集群平滑升級(jí),為需求升級(jí)提供有力支撐

集群的持續(xù)平滑升級(jí)能力,是保障用戶基于該平臺(tái)構(gòu)建和管理的大數(shù)據(jù)服務(wù),并獲得持續(xù)維護(hù)和升級(jí)的重要支撐,平臺(tái)及服務(wù)的靈活擴(kuò)展能力,是應(yīng)對(duì)隨業(yè)務(wù)需求不斷變化的架構(gòu)優(yōu)化的迫切需要。

企業(yè)在大數(shù)據(jù)相關(guān)業(yè)務(wù)方面的不斷拓展和深入,數(shù)據(jù)類型變得更加豐富,數(shù)據(jù)量級(jí)爆發(fā)式增長(zhǎng),對(duì)數(shù)據(jù)處理時(shí)效的需求不斷提高。因此,對(duì)于企業(yè)前期圍繞數(shù)據(jù)倉(cāng)庫(kù)技術(shù)構(gòu)建的大數(shù)據(jù)平臺(tái)系統(tǒng)也帶來(lái)了更高要求,亟需進(jìn)行系統(tǒng)性升級(jí)和技術(shù)架構(gòu)拓展,以滿足企業(yè)業(yè)務(wù)持續(xù)發(fā)展的需要。

USDP 支持集群的持續(xù)升級(jí)和組件特性等持續(xù)拓展。用戶可靈活選擇大數(shù)據(jù)平臺(tái)架構(gòu),無(wú)論是數(shù)倉(cāng)架構(gòu)的優(yōu)化、流式計(jì)算的引入,甚至向流批一體架構(gòu)、湖倉(cāng)一體等架構(gòu)演進(jìn), 通過(guò)USDP 都能獲得支撐。

04、配置角色組管理,有效提升資源利用率和管理效率

角色組的功能,是將服務(wù)配置按實(shí)例角色類型分配給相應(yīng)的角色組,組中各個(gè)角色繼承這個(gè)組配置,助力大規(guī)模分布式服務(wù)便捷管理;根據(jù)集群主機(jī)環(huán)境、服務(wù)的特殊要求,為不同的主機(jī)或服務(wù)自定義分配不同的角色組,從而達(dá)到資源利用率和管理效率的有效提升。

05、UDH 更新及發(fā)布,多版本可靈活選擇

UCloud 大數(shù)據(jù)組件發(fā)行套件,集成了豐富的開(kāi)源項(xiàng)目,使企業(yè)可靈活構(gòu)建一個(gè)功能先進(jìn)的大數(shù)據(jù)系統(tǒng);套件提供了強(qiáng)大的自動(dòng)部署、管理和監(jiān)控工具,便于用戶操作維護(hù)大數(shù)據(jù)集群;套件中包含了更多的補(bǔ)丁和功能特性,為分布式大數(shù)據(jù)系統(tǒng)提供穩(wěn)定性和性能保障。本次 UDH v3.0.0 的發(fā)布中,使其囊括的數(shù)據(jù)采集工具、流批計(jì)算引擎、調(diào)度系統(tǒng)、存儲(chǔ)系統(tǒng)等服務(wù),可全面兼容 Hadoop 3.3.4 版本生態(tài)。

06、宿主環(huán)境的修復(fù)能力,為運(yùn)維人員減負(fù)

大數(shù)據(jù)集群宿主環(huán)境的修復(fù)及初始化能力,大大簡(jiǎn)化了基礎(chǔ)運(yùn)維在搭建大規(guī)模集群前,所需要進(jìn)行的繁瑣的基礎(chǔ)設(shè)施環(huán)境準(zhǔn)備工作;自動(dòng)化修復(fù)工具良好的冪等性支持,能有效控制手動(dòng)運(yùn)維的出錯(cuò)概率,極大地降低運(yùn)維人員的工作量和維護(hù)成本,保障了系統(tǒng)穩(wěn)定性、可靠性及安全性。通過(guò)工具自動(dòng)化的能力實(shí)現(xiàn)快速部署、配置、升級(jí)等復(fù)雜操作,使用戶更加專注于數(shù)據(jù)分析業(yè)務(wù)的推進(jìn)。

關(guān)鍵應(yīng)用場(chǎng)景

1) 離線/實(shí)時(shí)數(shù)倉(cāng)架構(gòu)場(chǎng)景

離線數(shù)倉(cāng)將數(shù)據(jù)從源系統(tǒng)中抽取出來(lái),經(jīng)過(guò)清洗、轉(zhuǎn)換和加載(ETL)等步驟,使數(shù)據(jù)按照一定的規(guī)則組織到數(shù)據(jù)倉(cāng)庫(kù)中,再通過(guò)報(bào)表等方式對(duì)數(shù)據(jù)進(jìn)行分析和挖掘。而離線數(shù)倉(cāng)所擅長(zhǎng)處理的大規(guī)模數(shù)據(jù)能力,卻不可避免的帶來(lái)一定的數(shù)據(jù)延遲性,而實(shí)時(shí)數(shù)倉(cāng)解決了這一問(wèn)題。

在實(shí)時(shí)數(shù)倉(cāng)中,以實(shí)時(shí)或近乎實(shí)時(shí)的方式處理數(shù)據(jù),將數(shù)據(jù)通過(guò)流式處理引擎(例如 Kafka、Flink 等)實(shí)時(shí)抽取、清洗、轉(zhuǎn)換和加載到數(shù)據(jù)倉(cāng)庫(kù)中,再通過(guò)可視化工具等方式對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)控和分析。基于USDP 中豐富的大數(shù)據(jù)技術(shù)的選擇,企業(yè)可根據(jù)自身的發(fā)展需要,靈活搭建并不斷優(yōu)化整合自己的大數(shù)據(jù)平臺(tái)架構(gòu),構(gòu)建適宜的數(shù)倉(cāng)架構(gòu)場(chǎng)景。

2) 流批一體架構(gòu)場(chǎng)景

流批一體架構(gòu)的思想是將流處理和批處理整合在一起,提供更加全面和高效的實(shí)時(shí)數(shù)據(jù)分析能力。如使用 Flink 引擎及 Kafka 消息隊(duì)列等引擎和工具的組合架構(gòu),可以在實(shí)時(shí)數(shù)據(jù)流中進(jìn)行復(fù)雜的事件驅(qū)動(dòng)處理,并兼顧批處理任務(wù)。

依托于 Flink 引擎提供的豐富的流處理和批處理 API,和強(qiáng)大的狀態(tài)管理和容錯(cuò)能力,使得流批一體架構(gòu)可以更加可靠和高效地處理數(shù)據(jù)。在減少架構(gòu)的復(fù)雜性和維護(hù)成本的同時(shí),使企業(yè)達(dá)到更加靈活地處理數(shù)據(jù)的目的,并更好地適應(yīng)業(yè)務(wù)需求的變化。而 USDP 中提供了豐富的大數(shù)據(jù)生態(tài)服務(wù)、工具和框架的支持,能很好幫助企業(yè)構(gòu)建靈活且復(fù)雜的大數(shù)據(jù)處理架構(gòu)。

3) 數(shù)據(jù)湖/湖倉(cāng)一體架構(gòu)場(chǎng)景

在將數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的優(yōu)點(diǎn)深度結(jié)合的“湖倉(cāng)一體”數(shù)據(jù)架構(gòu)中,以多種格式的數(shù)據(jù)統(tǒng)一存儲(chǔ)為基礎(chǔ),可很好的避免數(shù)據(jù)冗余和一致性問(wèn)題;統(tǒng)一高效的數(shù)據(jù)處理和清洗帶給數(shù)據(jù)質(zhì)量和可用性有力保障;在該架構(gòu)的支撐下,企業(yè)可開(kāi)展如批處理、流處理、實(shí)時(shí)處理等多種模式的數(shù)據(jù)分析方式,借助 SQL 查詢分析、OLAP 分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)來(lái)滿足應(yīng)用的分析需求;通過(guò)該架構(gòu),更有利于企業(yè)實(shí)現(xiàn)數(shù)據(jù)的管理和治理,從而提高數(shù)據(jù)的可靠性和可信度。

Hadoop 生態(tài)系統(tǒng)、HBase、Hive 等存儲(chǔ)框架、Kafka 流處理平臺(tái)、Presto 查詢引擎、Flink/Spark 等流/批處理框架、以及 Hudi、Iceberg 等引擎和存儲(chǔ)格式,正是構(gòu)建湖倉(cāng)一體架構(gòu)所需要的,USDP 可以有效解決這些工具、框架和服務(wù)的相互兼容問(wèn)題,以及統(tǒng)一的管理和監(jiān)控維護(hù),給企業(yè)帶來(lái)豐富且便捷的支持,以滿足企業(yè)對(duì)數(shù)據(jù)的各種需求。

落地案例

USDP 智能大數(shù)據(jù)平臺(tái)的發(fā)布,將致力于幫助企業(yè)快捷構(gòu)建和管理大數(shù)據(jù)業(yè)務(wù)的分析處理能力,提升數(shù)據(jù)分析管理能力,釋放數(shù)據(jù)價(jià)值,驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新。當(dāng)下 USDP 大數(shù)據(jù)平臺(tái)已在多個(gè)行業(yè)客戶案例中落地,基于一站式數(shù)據(jù)處理能力,支撐用戶業(yè)務(wù)創(chuàng)新:

某能源行業(yè)大數(shù)據(jù)系統(tǒng)需要對(duì)電力數(shù)據(jù)進(jìn)行采集和分析,對(duì)數(shù)據(jù)的采集頻度、精度及延遲要求較高,對(duì)于大數(shù)據(jù)基礎(chǔ)平臺(tái)架構(gòu)的穩(wěn)定性和性能要求非常高。UCloud 為用戶提供優(yōu)鈦私有云及 USDP 智能大數(shù)據(jù)平臺(tái),共同承載大數(shù)據(jù)分析處理和數(shù)據(jù)業(yè)務(wù)應(yīng)用。如通過(guò)USDP 采集耗電數(shù)據(jù),通過(guò)數(shù)據(jù)處理算法,對(duì)采集上來(lái)的異常數(shù)據(jù)進(jìn)行修正,實(shí)現(xiàn)耗電趨勢(shì)分析,在不斷累積的數(shù)據(jù)基礎(chǔ)上,進(jìn)行數(shù)據(jù)模型訓(xùn)練,實(shí)現(xiàn)電量精準(zhǔn)預(yù)測(cè)。

航天科技某研究所質(zhì)量精益分析系統(tǒng),基于科研產(chǎn)品研制過(guò)程數(shù)據(jù),通過(guò)全鏈路生產(chǎn)數(shù)據(jù)的集成,打通信息鏈,提供產(chǎn)品生產(chǎn)數(shù)字化履歷、質(zhì)量問(wèn)題復(fù)查、設(shè)計(jì)特性分析、可靠性量化評(píng)估、產(chǎn)品質(zhì)量狀況異常等業(yè)務(wù)應(yīng)用功能。采用 USDP 構(gòu)建一站式大數(shù)據(jù)基礎(chǔ)平臺(tái),由源數(shù)據(jù)層、數(shù)據(jù)存儲(chǔ)層及數(shù)據(jù)處理分析層構(gòu)成,進(jìn)行數(shù)據(jù)集成、接入和預(yù)處理,結(jié)合數(shù)據(jù)分析和展現(xiàn)應(yīng)用層實(shí)現(xiàn)數(shù)據(jù)的具體利用,發(fā)揮數(shù)據(jù)價(jià)值,提升產(chǎn)品研制的質(zhì)量。

未來(lái),USDP 大數(shù)據(jù)團(tuán)隊(duì)將密切關(guān)注并緊跟大數(shù)據(jù)技術(shù)生態(tài)和趨勢(shì),結(jié)合用戶需求和場(chǎng)景提供更多大數(shù)據(jù)場(chǎng)景組件和最佳實(shí)踐方案,為企業(yè)提供更多可靠、安全、可擴(kuò)展的大數(shù)據(jù)分析處理功能。

分享到

zhupb

相關(guān)推薦