清華大學(xué)軟件學(xué)院院長、大數(shù)據(jù)系統(tǒng)軟件國家工程實(shí)驗(yàn)室執(zhí)行主任王建民教授

傳統(tǒng)時(shí)序數(shù)據(jù)庫面臨的痛點(diǎn)與挑戰(zhàn)

隨著物聯(lián)網(wǎng)的飛速發(fā)展，工業(yè)領(lǐng)域中的設(shè)備、機(jī)器、傳感器產(chǎn)生海量數(shù)據(jù)，例如物聯(lián)網(wǎng)設(shè)備的溫度、濕度、速度、壓力、電壓、電流以及證券買入賣出價(jià)等，且這些數(shù)值還將隨著時(shí)間演進(jìn)而不斷變化，傳統(tǒng)數(shù)據(jù)庫在對(duì)這些帶時(shí)間標(biāo)簽（按照時(shí)間的順序變化，即時(shí)間序列化）的數(shù)據(jù)進(jìn)行存儲(chǔ)、查詢、分析等處理操作時(shí)捉襟見肘，通用數(shù)據(jù)庫無法滿足所有需求、海量時(shí)序數(shù)據(jù)存儲(chǔ)查詢慢、工業(yè)級(jí)時(shí)序數(shù)據(jù)庫產(chǎn)品需要高可用、存儲(chǔ)成本居高不下、使用難等問題。

IoTDB一套引擎打通云邊端

IoTDB是由清華大學(xué)軟件學(xué)院發(fā)起主導(dǎo)、華為深度參與的輕量級(jí)、高性能時(shí)間序列數(shù)據(jù)庫，該項(xiàng)目于2018年11月正式開源，支持物聯(lián)網(wǎng)數(shù)據(jù)收集、存儲(chǔ)、查詢與分析一體化的數(shù)據(jù)管理，支持“云-邊-端”一體化部署與集成，適用于高端裝備管理、工廠設(shè)備管理、高速網(wǎng)聯(lián)設(shè)備管理等多種工業(yè)應(yīng)用場景。

IoTDB時(shí)序數(shù)據(jù)庫聚焦海量雜時(shí)序數(shù)據(jù)的處理，具有“專、快、穩(wěn)、省、易”五大特點(diǎn)，解決通用數(shù)據(jù)庫和列式數(shù)據(jù)庫在超大規(guī)模復(fù)雜時(shí)序場景的功能短板和性能瓶頸，輕松應(yīng)對(duì)海量負(fù)責(zé)時(shí)間序列數(shù)據(jù)的處理，并能實(shí)現(xiàn)一套引擎打通云邊端的時(shí)序數(shù)據(jù)分析。

專，IoTDB總結(jié)了過去十年來在工業(yè)應(yīng)用中遇到的典型需求，如千萬級(jí)超大規(guī)模測點(diǎn)處理、亂序處理、多序列對(duì)齊、序列分割、子序列匹配、旋轉(zhuǎn)門壓縮、降采樣存儲(chǔ)等專業(yè)場景，有針對(duì)性地設(shè)計(jì)了TsFile專業(yè)時(shí)序存儲(chǔ)格式和tLSM時(shí)序處理算法，解決了通用數(shù)據(jù)庫在超大規(guī)模復(fù)雜時(shí)序場景的功能短板和性能瓶頸；

快，時(shí)序數(shù)據(jù)庫面臨的場景要求數(shù)據(jù)采集頻率高、每秒上萬次采集，數(shù)據(jù)存儲(chǔ)周期長，時(shí)間跨度大，IoTDB可實(shí)現(xiàn)單臺(tái)服務(wù)器千萬級(jí)數(shù)據(jù)秒級(jí)寫入，十億量級(jí)數(shù)據(jù)毫秒級(jí)聚合檢索；

穩(wěn)，工業(yè)級(jí)的時(shí)序數(shù)據(jù)庫產(chǎn)品需要具備高可用的基本保障，才能達(dá)到商用的要求，IoTDB創(chuàng)新性研究了國際內(nèi)外的算法，通過對(duì)等分布式架構(gòu)、雙層多Raft協(xié)議、邊云節(jié)點(diǎn)同步雙活等機(jī)制實(shí)現(xiàn)高可用，滿足7*24小時(shí)的零故障運(yùn)行；

省，成熟的工業(yè)時(shí)序數(shù)據(jù)庫產(chǎn)品，存儲(chǔ)成本在時(shí)間序列里占很大的比例，IoTDB解決工業(yè)客戶對(duì)IT成本的敏感性，針對(duì)性的做了高壓縮比算法，包括有損壓縮和無損壓縮，針對(duì)不同場景做自動(dòng)識(shí)別，實(shí)現(xiàn)全量數(shù)據(jù)的低成本持久存儲(chǔ)；

易，產(chǎn)品的易用性是成熟商用產(chǎn)品的基礎(chǔ)指標(biāo)，IoTDB采用類SQL語句，降低客戶使用成本，同時(shí)為客戶提供查詢、存儲(chǔ)、分析全生命周期的一體化解決方案，降低客戶使用門檻。

IoTDB開源探索軟件創(chuàng)新之路：產(chǎn)學(xué)研用

目前，IoTDB已在眾多應(yīng)用場景中進(jìn)行了落地實(shí)踐。例如，全國多個(gè)城市采用IoTDB管理地鐵監(jiān)控?cái)?shù)據(jù)，在傳統(tǒng)時(shí)序處理方案中，端、邊、云采用不同的技術(shù)棧，異構(gòu)的技術(shù)棧帶來數(shù)據(jù)處理的復(fù)雜性，原本需要13臺(tái)服務(wù)器完成的業(yè)務(wù)場景，目前僅需一臺(tái)IoTDB服務(wù)器就可解決，測點(diǎn)的采樣時(shí)延也從原來的500ms降至200ms，日增4140億數(shù)據(jù)點(diǎn)管理，有效提升資源利用率。 

IoTDB時(shí)序數(shù)據(jù)庫不僅解決了海量復(fù)雜時(shí)間序列數(shù)據(jù)的處理，同時(shí)也為軟件創(chuàng)新探索出新的模式。王建民教授在演講中提到：“未來，清華大學(xué)將依托大數(shù)據(jù)國家工程實(shí)驗(yàn)室，持續(xù)與華為為代表的大批優(yōu)秀企業(yè)，探索產(chǎn)學(xué)研用的中國軟件創(chuàng)新之路，實(shí)現(xiàn)企業(yè)與組織、代碼與代碼的絲絲相扣，讓我們共同期待即將發(fā)布的MRS IoTDB時(shí)序數(shù)據(jù)庫。”

華為云FusionInsight MRS一架構(gòu)三湖釋放海量數(shù)據(jù)價(jià)值

MRS IoTDB是華為云FusionInsight MRS云原生數(shù)據(jù)湖中的時(shí)序數(shù)據(jù)庫組件，近期將在FusionInsight8.1.0版本重磅推出高性能企業(yè)級(jí)時(shí)序數(shù)據(jù)庫。華為云FusionInsight MRS可讓客戶在一個(gè)架構(gòu)實(shí)現(xiàn)離線數(shù)據(jù)湖、實(shí)時(shí)數(shù)據(jù)湖、邏輯數(shù)據(jù)湖三種數(shù)據(jù)湖和集市能力，實(shí)現(xiàn)海量數(shù)據(jù)接入、治理、存儲(chǔ)、分析和多模計(jì)算等場景，助力政企客戶實(shí)現(xiàn)一企一湖、一城一湖，業(yè)務(wù)洞見更準(zhǔn)，價(jià)值兌現(xiàn)更快。

目前，華為云FusionInsight MRS云原生數(shù)據(jù)湖攜手800+生態(tài)伙伴，已服務(wù)于3000+政企客戶，廣泛應(yīng)用于政務(wù)、金融、運(yùn)營商、能源、醫(yī)療、制造、交通等行業(yè)。

songjy