圖1. 浪潮新一代大數(shù)據(jù)?智算一體機方案架構(gòu)
該一體機基于硬件特性對軟件進行了深度優(yōu)化，可大幅提升大數(shù)據(jù)業(yè)務場景處理性能，并通過預集成、預測試、預優(yōu)化等措施，顯著降低了系統(tǒng)交付/運維復雜度，提升了系統(tǒng)穩(wěn)定性，實現(xiàn)了極致性能和一站式交付部署能力。此外，它還能夠針對不同的場景進行定制配置，為客戶提供性價比最優(yōu)的解決方案。
浪潮新一代大數(shù)據(jù)?智算一體機推薦使用第三代英特爾? 至強? 可擴展處理器、第二代英特爾? 傲騰? 持久內(nèi)存、英特爾? 傲騰? 固態(tài)盤、英特爾? 以太網(wǎng)等產(chǎn)品，能夠提供高性能、高擴展的基礎資源支持。
第三代英特爾? 至強? 可擴展處理器：已針對云、企業(yè)、高性能計算、網(wǎng)絡、安全和物聯(lián)網(wǎng)工作負載進行優(yōu)化，提供 8-40 個強大內(nèi)核以及廣泛的頻率、功能和功率選擇；同時集成了工作負載加速功能，其中包括英特爾? 深度學習加速技術(shù)、英特爾? 高級矢量擴展 512 技術(shù)和英特爾? SpeedSelect 技術(shù)。第三代英特爾? 至強? 可擴展處理器基于平衡、高效的架構(gòu)，該架構(gòu)可提升內(nèi)核性能、內(nèi)存和 I/O 帶寬，為處理從數(shù)據(jù)中心到邊緣的各種工作負載提速。
第二代英特爾? 傲騰? 持久內(nèi)存：英特爾? 傲騰? 持久內(nèi)存 200 系列是英特爾新一代既支持安全功能，又可靠、持久的內(nèi)存模組。它提供大容量和原生持久性，有助于從更大的數(shù)據(jù)集中攫取更多價值，同時，由于能夠在更靠近 CPU 的地方快速訪問更多數(shù)據(jù)，因此也提高了敏捷性。與第一代產(chǎn)品相比，第二代英特爾傲騰持久內(nèi)存平均增加了 32％ 的內(nèi)存帶寬[4] 。
英特爾? 以太網(wǎng)適配器 E810-DA2：具備 100/25GbE 性能，支持單個或雙端口連接，在 PCIe 4.0 x16插槽中提供了出色的性能，并支持應用程序設備隊列 (ADQ)、動態(tài)設備個性化 (DDP)、RDMA iWARP和RoCEv2等各種高級功能，能夠有效滿足各種工作負載對于帶寬和時延的嚴苛要求。
[4] 基于英特爾 2020 年 4 月 27 日（基準）和 2021 年 3 月 23 日（新）的測試。配合工作負載/配置信息請見www.Intel.com/PerformanceIndex。結(jié)果可能不同。
基準配置：1 個節(jié)點，Neon City 上 1 個英特爾至強鉑金 8280L 處理器（28 核，2.7 GHz)，采用單個英特爾傲騰 PMem 模組配置（6 個 32 GB DRAM；1 個 {128 GB, 256 GB, 512 GB} 英特爾傲騰 PMem 模組)，ucode 版本：04002F00，運行 Fedora 29 內(nèi)核 5.1.18-200.fc29.x86_64 和英特爾? Memory Latency Checker（英特爾 MLC）3.8 版，采用 App Direct 模式。
浪潮新一代大數(shù)據(jù)?智算一體機搭載了浪潮云海Insight大數(shù)據(jù)平臺，該平臺具備數(shù)據(jù)智能化分析挖掘、多數(shù)據(jù)源協(xié)同計算、大規(guī)模集群一鍵式部署、異構(gòu)平臺混合部署與資源精細化管理等領先技術(shù)特性。平臺提供“一鍵式”安裝部署功能，讓大數(shù)據(jù)?智算一體機達到“開箱即用”的程度,幫助用戶加快應用系統(tǒng)上線時間，同時降低系統(tǒng)管理員日常運維管理復雜度。
圖2. 浪潮云海 Insight大數(shù)據(jù)平臺技術(shù)架構(gòu)
浪潮與英特爾面向大數(shù)據(jù)與 AI 負載實現(xiàn)廣泛優(yōu)化
在浪潮云海Insight大數(shù)據(jù)平臺，以及英特爾新一代軟硬件產(chǎn)品與技術(shù)的基礎上，浪潮與英特爾圍繞智能存儲管理、端到端智算統(tǒng)一管道的構(gòu)建、大規(guī)模數(shù)據(jù)處理性能優(yōu)化等方面，進行了深度的合作。
通過英特爾? SSM 釋放智能存儲管理潛力
浪潮新一代大數(shù)據(jù)?智算一體機搭載了英特爾? 智能存儲管理組件（Smart Storage Management，SSM），為用戶提供存儲優(yōu)化和數(shù)據(jù)管理方案。SSM是英特爾在 Apache Hadoop生態(tài)系統(tǒng)中發(fā)起和維護的存儲管理的系統(tǒng)級方案。SSM處于上層應用（數(shù)據(jù)引擎，流式計算等）與存儲系統(tǒng)（HDFS，AWS S3等）的中間層，上層應用通過SSM與存儲系統(tǒng)實現(xiàn)數(shù)據(jù)接入。它提供了對異構(gòu)存儲硬件的支持，例如HDFS可以通過SSM充分利用英特爾? 傲騰? 固態(tài)盤和英特爾? 傲騰? 持久內(nèi)存，實現(xiàn)動態(tài)優(yōu)化數(shù)據(jù)存儲。此外，SSM還提供了對遠端存儲與HDFS本地備份統(tǒng)一管理。
圖3. SSM在大數(shù)據(jù)生態(tài)中的定位
在數(shù)據(jù)管理方面，SSM 與浪潮云海 Insight 大數(shù)據(jù)平臺的無縫結(jié)合對平臺存儲而言如虎添翼，面向分布式存儲的智能管理不僅能夠免去外界觸發(fā)完成數(shù)據(jù)管理，進一步細化管理粒度，而且實現(xiàn)了一次規(guī)則定制即可完成全數(shù)據(jù)生命周期管理的高效解決方案。同時，浪潮云海 Insight 大數(shù)據(jù)平臺也為 SSM 提供了更大的舞臺，支持根據(jù)客戶需求優(yōu)化 SSM 服務管理運維能力，提升 SSM 的易用性與安全性，從而更好地釋放智能存儲管理的潛力。
集成 BigDL 構(gòu)建端到端智算統(tǒng)一管道
浪潮新一代大數(shù)據(jù)?智算一體機為用戶提供了端到端智算統(tǒng)一管道，能夠在優(yōu)化的基礎設施層基礎之上，融合計算引擎、存儲服務、數(shù)據(jù)服務、數(shù)據(jù)工作臺、管理平臺，構(gòu)建端到端的大數(shù)據(jù)分析和深度學習應用流水線，進而打造成統(tǒng)一的大數(shù)據(jù)分析和人工智能平臺，通過使用 Apache Spark中的各種框架模型簡化和加速 AI 解決方案的開發(fā)。
為了簡化端到端的大數(shù)據(jù)分析和人工智能融合開發(fā)和部署，浪潮新一代大數(shù)據(jù)?智算一體機在 Insight 中集成了智慧計算組件BigDL (Analytics Zoo)，旨在將大數(shù)據(jù)預處理、模型訓練、模型推理與現(xiàn)有的大數(shù)據(jù)處理工作流整合在一起，構(gòu)建端到端的大數(shù)據(jù)分析和深度學習應用流水線，進而打造成統(tǒng)一的大數(shù)據(jù)分析和人工智慧平臺，通過使用Apache Spark中的各種框架模型簡化和加速人工智能應用系統(tǒng)的開發(fā)。
圖4. 端到端的大數(shù)據(jù)分析和人工智能融合開發(fā)架構(gòu)
集成英特爾? OAP 實現(xiàn)大規(guī)模數(shù)據(jù)處理性能優(yōu)化
為了改善 Spark 高速緩存、shuffle、執(zhí)行和機器學習性能，浪潮新一代大數(shù)據(jù)?智算一體機在 Insight 中集成了英特爾? 優(yōu)化分析包（Optimized Analytics Package，OAP）。OAP 是英特爾和社區(qū)開發(fā)的開源項目，包括以下組件：OAP 數(shù)據(jù)源高速緩存、native SQL 引擎、Arrow 數(shù)據(jù)源、OAP MLlib、RDD 高速緩存、RPMem Shuffle擴展和遠程 Shuffle，旨在借助領先的英特爾? 處理器、內(nèi)存和存儲以及網(wǎng)絡技術(shù)，通過數(shù)據(jù)源緩存、SQL 索引、Native SQL 引擎、MLlib 優(yōu)化等創(chuàng)新軟件功能提高 Spark 性能，以解決 Spark 核心和相關組件面臨的計算與 I/O挑戰(zhàn)。
圖5. 英特爾? 優(yōu)化分析包架構(gòu)
浪潮云海 Insight大數(shù)據(jù)平臺集成了基于英特爾? 傲騰? 持久內(nèi)存深度優(yōu)化的 Spark。與 DRAM 內(nèi)存相比，英特爾? 傲騰? 持久內(nèi)存在每容量成本方面有突出的優(yōu)勢，這幫助浪潮顯著提升了 Insight大數(shù)據(jù)平臺的經(jīng)濟性。同時，經(jīng)過優(yōu)化后的 Spark 對比開源版本有效提升了性能。測試數(shù)據(jù)顯示，在大數(shù)據(jù)場景的 Spark 離線計算中，IO密集型、內(nèi)存密集型任務性能相較傳統(tǒng)方案提升 2-5 倍[5]。
同時，Insight大數(shù)據(jù)平臺對MPP、HBase、Redis、ElasticSearch、Nifi、OpenTSDB等組件進行了深度優(yōu)化，使其性能在英特爾? 傲騰? 持久內(nèi)存、英特爾? 固態(tài)盤上得到大幅提升，同時可幫助用戶提升業(yè)務系統(tǒng)性能和用戶體驗。例如，在 HBase大數(shù)據(jù)量高并發(fā)查詢場景下，英特爾? 傲騰? 持久內(nèi)存全緩存相比內(nèi)存部分緩存，能夠?qū)⒉樵兺掏铝刻嵘?100% 以上[6]。
浪潮新一代大數(shù)據(jù)?智算一體機能夠在浪潮一體化機柜平臺 (Smart Rack Data Center, SRDC) 得到最優(yōu)配置與交付。SRDC 面向智慧數(shù)據(jù)中心而設計，為用戶提供了集成服務器、交換機、PDU等IT設備，以及配電單元、UPS、電池包、動環(huán)監(jiān)控和基礎資源監(jiān)控（ISPIM）等配套硬件設備和軟件的一體化機柜平臺。SRDC以整機柜為最小產(chǎn)品顆粒度，在工廠集成業(yè)務所需機柜內(nèi)設備，根據(jù)用戶需求集成預裝應用軟件，可實現(xiàn)IT設備快速部署及業(yè)務快速上線。
收益：幫助用戶構(gòu)建大數(shù)據(jù)與 AI 統(tǒng)一平臺
通過部署浪潮新一代大數(shù)據(jù)?智算一體機，用戶能夠構(gòu)建大數(shù)據(jù)與 AI 統(tǒng)一平臺，有效解決大數(shù)據(jù)與 AI 平臺的資源與數(shù)據(jù)無法統(tǒng)一管理的問題，提升計算、存儲、網(wǎng)絡等資源利用率，同時節(jié)約在軟硬件配置、性能優(yōu)化等方面的時間與成本。其能夠為用戶提供的收益包括：
————————
[5] 數(shù)據(jù)由浪潮于 2021 年 6 月 25 日測試得出。測試配置：Manager、Master 和 Worker 大數(shù)據(jù)集群—2* 英特爾? 至強? 金牌 6240 處理器 @ 2.60GHz，18 核；12*32G DDR4 2666 MHz RDIMM；12*8T 機械硬盤；8*256 GB 英特爾? 傲騰? 持久內(nèi)存；2*雙口萬兆網(wǎng)卡、2*雙口千兆網(wǎng)卡。
[6] 數(shù)據(jù)由浪潮于 2021 年 2 月 22 日測試得出。測試配置：Manager、Master 和 Worker 大數(shù)據(jù)集群—2* 英特爾? 至強? 金牌 6240 處理器 @ 2.60GHz，18 核；6*32G DDR4 2666 MHz RDIMM；12*8T 機械硬盤；4*512 GB 英特爾? 傲騰? 持久內(nèi)存；2*雙口萬兆網(wǎng)卡、2*雙口千兆網(wǎng)卡。
卓越性能加速大數(shù)據(jù)與AI負載運行
浪潮新一代大數(shù)據(jù)?智算一體機實現(xiàn)了軟硬件深度整合，可以充分發(fā)揮第三代英特爾? 至強? 可擴展處理器和第二代英特爾? 傲騰? 持久內(nèi)存等產(chǎn)品的優(yōu)勢。它同時支持端到端數(shù)智結(jié)合和多 AI 框架，集成BigDL (Analytics Zoo) 及TensorFlow 和 Spark 等深度學習與大數(shù)據(jù)集群的融合框架，擁有百萬級IOPS與微秒級的延遲，可全面提高端到端計算效率，提升平臺在大數(shù)據(jù)與 AI 負載中的性能表現(xiàn)，大幅縮短模型訓練、數(shù)據(jù)分析的延遲。
提升 IT 基礎實施交付效率
浪潮新一代大數(shù)據(jù)?智算一體機通過軟硬件深度適配調(diào)優(yōu)、預安裝、預測試、預集成等措施，實現(xiàn)開箱即用，支持快速交付部署，簡化交付流程。SRDC一體化機柜平臺支持根據(jù)用戶需求進行定制，實現(xiàn)服務器、PDU、網(wǎng)絡等設備工廠化集成，提高了IT基礎設施的交付效率。
實現(xiàn)軟硬件全生命周期管理
浪潮新一代大數(shù)據(jù)?智算一體機構(gòu)建了軟硬一體化監(jiān)控平臺，可以實現(xiàn)一站式、可視化運維管理，納管集群軟硬件資源，實現(xiàn)對硬件、軟件全生命周期管理，從而有助于進一步提升資源利用率，簡化運維。
保證數(shù)據(jù)的安全和可靠
浪潮新一代大數(shù)據(jù)?智算一體機具有出色的可靠性與可用性。全冗余硬件架構(gòu)全面消除單點故障，同時成熟可靠的多副本技術(shù)實現(xiàn)了數(shù)據(jù)級別的冗余，保證數(shù)據(jù)的安全與可靠。
行業(yè)實踐
目前，浪潮新一代大數(shù)據(jù)?智算一體機已經(jīng)在行業(yè)中實現(xiàn)了廣泛應用，幫助行業(yè)用戶構(gòu)建了卓越的智算基礎設施。以交通行業(yè)為例，基于浪潮新一代大數(shù)據(jù)?智算一體機的智能存儲與AI融合方案能夠?qū)⒅悄艽鎯?、智能緩存、智能計算結(jié)合，為交通行業(yè)用戶提供了的端到端數(shù)智一體解決方案?；贗nsight統(tǒng)一數(shù)據(jù)工作平臺DataWorkBench，實現(xiàn)了智慧交通數(shù)據(jù)接入、數(shù)據(jù)開發(fā)、數(shù)據(jù)查詢、作業(yè)調(diào)度、數(shù)據(jù)可視化。
通過該方案，交通行業(yè)用戶可將大數(shù)據(jù)與深度學習高效結(jié)合，在大數(shù)據(jù)集群上無縫運行 AI+大數(shù)據(jù)等業(yè)務應用，構(gòu)建端到端平臺能力，實現(xiàn)數(shù)智一體智慧交通融合分析，為道路車輛行駛分析、區(qū)域流量分析、違章行為分析、區(qū)域測速分析等綜合場景的落地提供了完整的行業(yè)示范。
圖6. 浪潮新一代大數(shù)據(jù)?智算一體機在交通行業(yè)的應用
展望：AI 與大數(shù)據(jù)深度融合助力數(shù)字化轉(zhuǎn)型
基于英特爾? 架構(gòu)的浪潮大數(shù)據(jù)?智算一體機解決方案融合了浪潮在智算基礎設施方面自主創(chuàng)新與浪潮云海 Insight 大數(shù)據(jù)平臺，并充分利用了第三代英特爾? 至強? 可擴展處理器和第二代英特爾? 傲騰? 持久內(nèi)存等硬件，以及英特爾? SSM、英特爾? BigDL、英特爾? OAP 等軟件技術(shù)，為客戶提供了基于英特爾? 架構(gòu)的全棧式大數(shù)據(jù)與 AI 解決方案，不僅能夠加快大數(shù)據(jù)分析與 AI 的部署、降低開發(fā)門檻，還有利于提升模型規(guī)模與模型訓練速度，降低 TCO。
未來，雙方計劃進一步在面向未來智算基礎設施的異構(gòu)參考架構(gòu)方面進行廣泛合作，通過英特爾? 至強? 可擴展處理器、NNP芯片、FPGA、網(wǎng)絡、內(nèi)存和存儲等基礎硬件，以及各種數(shù)據(jù)庫、人工智能平臺與開發(fā)工具，構(gòu)建優(yōu)化型的端到端全棧大數(shù)據(jù)與 AI 解決方案，幫助用戶更快速處理大規(guī)模的數(shù)據(jù)，加速大數(shù)據(jù)、AI 的開發(fā)與應用。
關于浪潮
浪潮集團是中國領先的云計算、大數(shù)據(jù)服務商，擁有浪潮信息、浪潮軟件、浪潮國際三家上市公司。主要業(yè)務涉及云計算、大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)、新一代通信及若干應用場景。已為全球一百二十多個國家和地區(qū)提供IT產(chǎn)品和服務。浪潮是中國最早的IT品牌之一，一直秉承創(chuàng)新的理念，數(shù)次在中國信息產(chǎn)業(yè)發(fā)展的重要歷史階段，通過提供領先技術(shù)，提升競爭實力，成為新一代信息技術(shù)領軍企業(yè)，全面服務經(jīng)濟社會的數(shù)字化轉(zhuǎn)型和高質(zhì)量發(fā)展。
關于英特爾
英特爾（NASDAQ: INTC）作為行業(yè)引領者，創(chuàng)造改變世界的技術(shù)，推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下，我們不斷致力于推進半導體設計與制造，幫助我們的客戶應對最重大的挑戰(zhàn)。通過將智能融入云、網(wǎng)絡、邊緣和各種計算設備，我們釋放數(shù)據(jù)潛能，助力商業(yè)和社會變得更美好。如需了解英特爾創(chuàng)新的更多信息，請訪問英特爾中國新聞中心newsroom.intel.cn以及官方網(wǎng)站intel.cn。
實際性能受使用情況、配置和其他因素的差異影響。更多信息請見 www.Intel.com/PerformanceIndex。
性能測試結(jié)果基于配置信息中顯示的日期進行測試，且可能并未反映所有公開可用的安全更新。詳情請參閱配置信息披露。沒有任何產(chǎn)品或組件是絕對安全的。
具體成本和結(jié)果可能不同。
英特爾技術(shù)可能需要啟用硬件、軟件或激活服務。
英特爾未做出任何明示和默示的保證，包括但不限于，關于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過程、交易過程或貿(mào)易慣例中引起的任何保證。
英特爾并不控制或?qū)徲嫷谌綌?shù)據(jù)。請您審查該內(nèi)容，咨詢其他來源，并確認提及數(shù)據(jù)是否準確。
?英特爾公司版權(quán)所有。英特爾、英特爾標識以及其他英特爾商標是英特爾公司或其子公司在美國和/或其他國家的商標。其他的名稱和品牌可能是其他所有者的資產(chǎn)。
