企業(yè)數(shù)字轉(zhuǎn)型的數(shù)據(jù)挑戰(zhàn)

DTCC是中國(guó)數(shù)據(jù)庫(kù)和大數(shù)據(jù)領(lǐng)域規(guī)模最大、最具影響力的技術(shù)峰會(huì)，本屆大會(huì)的主題是“數(shù)據(jù)風(fēng)云 十年變遷”，會(huì)議議題集中于過(guò)去十年的數(shù)據(jù)庫(kù)互聯(lián)網(wǎng)化演進(jìn)以及未來(lái)的發(fā)展趨勢(shì)。在過(guò)去的十年中，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)產(chǎn)品一直在不斷采用互聯(lián)網(wǎng)技術(shù)，以應(yīng)對(duì)企業(yè)日益增長(zhǎng)的訪問(wèn)壓力和數(shù)據(jù)量。據(jù)IDC預(yù)測(cè)，2020年，全球數(shù)據(jù)量會(huì)達(dá)到44ZB，2035年會(huì)達(dá)到1.9萬(wàn)ZB。

浪潮inData產(chǎn)品負(fù)責(zé)人表示，很多企業(yè)的數(shù)據(jù)量達(dá)到幾百TB的規(guī)模時(shí)，數(shù)據(jù)庫(kù)的并發(fā)處理能力和處理延時(shí)等技術(shù)指標(biāo)就會(huì)下降得很厲害，inData數(shù)據(jù)庫(kù)一體機(jī)能幫助用戶有效地解決這一問(wèn)題。

橫向擴(kuò)展的數(shù)據(jù)系統(tǒng)

inData采用了配置KAS存儲(chǔ)虛擬化模塊的浪潮K-DB11g軟件和優(yōu)化的X86服務(wù)器、Flash存儲(chǔ)以及InfiniBand等加速硬件，具備智能分布式存儲(chǔ)、軟硬件極致優(yōu)化器、一體化資源管理等高級(jí)功能。

相比于共享統(tǒng)一存儲(chǔ)的傳統(tǒng)數(shù)據(jù)庫(kù)，inData最大特點(diǎn)是采用了分布式架構(gòu)，由縱向擴(kuò)展轉(zhuǎn)變?yōu)闄M向擴(kuò)展，從而可以承載PB級(jí)數(shù)據(jù)量、處理海量并發(fā)訪問(wèn)。系統(tǒng)分為計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三個(gè)軟硬件緊耦合的資源池，多個(gè)數(shù)據(jù)庫(kù)計(jì)算節(jié)點(diǎn)構(gòu)成RAC集群，配置I/O加速系統(tǒng)的服務(wù)器在KAS統(tǒng)一管理下構(gòu)成存儲(chǔ)池，所有的計(jì)算、存儲(chǔ)設(shè)備通過(guò)2臺(tái)或以上的InfiniBand交換機(jī)連接。

存儲(chǔ)虛擬化KAS 讀寫(xiě)百萬(wàn)IOPS

KAS采用了多副本、分布式的數(shù)據(jù)存儲(chǔ)管理技術(shù)，數(shù)據(jù)會(huì)有2-3重副本，數(shù)據(jù)及副本被同時(shí)寫(xiě)入多組磁盤(pán)，系統(tǒng)I/O性能會(huì)隨著磁盤(pán)數(shù)量的增加線性增長(zhǎng)，解決了長(zhǎng)期以來(lái)的數(shù)據(jù)庫(kù)磁盤(pán)性能瓶頸，而且，多副本技術(shù)還隔離磁盤(pán)故障對(duì)于系統(tǒng)的影響，磁盤(pán)發(fā)生故障后，系統(tǒng)會(huì)繼續(xù)從其他節(jié)點(diǎn)讀取數(shù)據(jù)。

另外，inData會(huì)自動(dòng)統(tǒng)計(jì)數(shù)據(jù)的訪問(wèn)頻次，將經(jīng)常被訪問(wèn)的“熱點(diǎn)數(shù)據(jù)”存儲(chǔ)在熱點(diǎn)盤(pán)——PCIe SSD閃存卡中，不經(jīng)常訪問(wèn)的數(shù)據(jù)則會(huì)存儲(chǔ)在大容量機(jī)械磁盤(pán)中，兼顧了成本與性能。

性能優(yōu)化，每分鐘數(shù)百萬(wàn)事務(wù)處理

inData系統(tǒng)能輕松實(shí)現(xiàn)百萬(wàn)級(jí)IOPS、海量吞吐與微妙延遲，而且浪潮對(duì)于系統(tǒng)進(jìn)行細(xì)致的整體優(yōu)化，這些優(yōu)化技術(shù)很好地降低了磁盤(pán)I/O頻次，減少了數(shù)據(jù)熱區(qū)，并且讓系統(tǒng)負(fù)載更合理地分配，讓系統(tǒng)的在線事務(wù)處理能力達(dá)到了每分鐘數(shù)百萬(wàn)次。

例如獨(dú)特的智能過(guò)濾技術(shù)。inData在處理需要Full Scan全表掃描的復(fù)雜請(qǐng)求時(shí)，計(jì)算節(jié)點(diǎn)接收到的大SQL語(yǔ)句會(huì)拆分為多個(gè)小SQL語(yǔ)句，隨后卸載到各存儲(chǔ)節(jié)點(diǎn)進(jìn)行處理，存儲(chǔ)節(jié)點(diǎn)處理完畢后將結(jié)果集返回計(jì)算節(jié)點(diǎn)進(jìn)行整合，然后響應(yīng)給用戶，這樣可以更為有效地利用存儲(chǔ)節(jié)點(diǎn)的計(jì)算資源，提高系統(tǒng)性能

大會(huì)上，浪潮介紹了inData在政府行業(yè)的應(yīng)用案例，該用戶的數(shù)據(jù)來(lái)源復(fù)雜，包括人物關(guān)聯(lián)表、區(qū)域監(jiān)控錄像、交易記錄、語(yǔ)音、征信等十幾種，數(shù)據(jù)量也十分驚人，浪潮為用戶開(kāi)發(fā)定制版的inData系統(tǒng)，將原來(lái)的OLTP、OLAP整合為統(tǒng)一的HTAP系統(tǒng)，用戶的項(xiàng)目開(kāi)發(fā)周期縮短了2個(gè)月，并減少了50%的數(shù)據(jù)實(shí)例節(jié)點(diǎn)。目前，該系統(tǒng)數(shù)據(jù)量為180TB，每天加載數(shù)據(jù)1TB，數(shù)據(jù)生命周期為180天，數(shù)據(jù)量將逐步達(dá)到峰值400TB。

下一代，融合HTAP與Big Data

伴隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，越來(lái)越多的企業(yè)開(kāi)始用HTAP來(lái)替代原有的OLAP和OLTP系統(tǒng)。inData為一站交付式設(shè)計(jì)，可以開(kāi)箱即用，并且界面化操作，簡(jiǎn)潔易用。浪潮還提供原廠的全程技術(shù)服務(wù)和技術(shù)培訓(xùn)，可以讓用戶更快地跨過(guò)應(yīng)用門(mén)檻。而且，inData兼容目前各個(gè)數(shù)據(jù)庫(kù)行業(yè)通行的標(biāo)準(zhǔn)，很好地融入了當(dāng)前的數(shù)據(jù)生態(tài)，降低了后續(xù)維護(hù)的技術(shù)復(fù)雜度和成本支出。

zhangnn