openGauss技術(shù)委員會(huì)主席田文罡接受采訪

openGauss開(kāi)源數(shù)據(jù)庫(kù)之路

openGauss技術(shù)委員會(huì)主席田文罡在采訪中表示,作為一款企業(yè)級(jí)開(kāi)源數(shù)據(jù)庫(kù),openGauss的主要優(yōu)勢(shì)在于高性能和備機(jī)可用性。

田總在2020數(shù)據(jù)技術(shù)嘉年華的演講中列出的openGauss演進(jìn)特性

“性能不是萬(wàn)能的(解決一切問(wèn)題),但沒(méi)有性能也萬(wàn)萬(wàn)不能?!碧嵘阅芸梢越档筒少?gòu)硬件的成本。部分實(shí)時(shí)類場(chǎng)景對(duì)性能有嚴(yán)苛要求,海量數(shù)據(jù)處理復(fù)雜性也需要性能。

openGauss內(nèi)核基于PostgreSQL進(jìn)行了大量?jī)?yōu)化。在架構(gòu)層面PostgreSQL是多進(jìn)程架構(gòu),為了提高并發(fā)度,openGauss將其進(jìn)一步優(yōu)化成了多線程架構(gòu)。

PostgreSQL主要關(guān)注行存(支持交易型業(yè)務(wù)),openGauss后期進(jìn)一步增加了列存(支持分析型業(yè)務(wù))和內(nèi)存(支持高性能計(jì)算)引擎。

如上圖我們可以看到openGauss將在今年12月份的發(fā)布計(jì)劃中加入了4路鯤鵬優(yōu)化,通過(guò)鯤鵬芯片的應(yīng)用來(lái)提升性能,尤其針對(duì)鯤鵬ARM服務(wù)器做了更多垂直的優(yōu)化整合,可以說(shuō)openGauss對(duì)ARM芯片支持更優(yōu)。

此外,眾核時(shí)代已至,但不同CPU的核訪問(wèn)時(shí)延和帶寬不同,openGauss開(kāi)源數(shù)據(jù)庫(kù)還針對(duì)多核情況進(jìn)行了性能優(yōu)化,利用數(shù)據(jù)分區(qū)、XLOG并行化等方式來(lái)提高數(shù)據(jù)庫(kù)性能。    

在備機(jī)可用性上,支持1主8備,備機(jī)可讀。并且對(duì)日志進(jìn)行了流水線和管道化處理,在并行恢復(fù)上,日志流水線完全并行處理,極大的提高了可用性,10秒內(nèi)就可以完成備機(jī)到主機(jī)的切換。在長(zhǎng)期演進(jìn)上,openGauss數(shù)據(jù)庫(kù)后續(xù)會(huì)采用Raft協(xié)議,確保一機(jī)多備情況下副本之間的強(qiáng)一致性。

openGauss后續(xù)演進(jìn)方向

openGauss通過(guò)與AI引擎的結(jié)合,讓它具備一定的自運(yùn)維、自管理、自調(diào)優(yōu)、故障自診斷和自愈的能力。田總在提到開(kāi)源數(shù)據(jù)庫(kù)的后續(xù)演進(jìn)方向說(shuō)到了兩方面—— AI for DB和DB for AI,目前openGauss數(shù)據(jù)庫(kù)在做的參數(shù)調(diào)優(yōu),自動(dòng)索引推薦等能力都是AI for DB。小編比較關(guān)注的是DB for AI。

我們知道AI模型需要對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練然后再應(yīng)用。一般大家是從數(shù)據(jù)庫(kù)里抽取數(shù)據(jù)放入AI模型中訓(xùn)練,需要搭建系統(tǒng)和組件,而且還涉及海量數(shù)據(jù)反復(fù)傳輸,極為不便。未來(lái)數(shù)據(jù)庫(kù)會(huì)將AI算法內(nèi)置到數(shù)據(jù)庫(kù)中,直接在數(shù)據(jù)庫(kù)中進(jìn)行AI模型訓(xùn)練,在這方面,目前openGauss內(nèi)部有很多組件正在開(kāi)發(fā)中。

另一個(gè)關(guān)注方向就是新硬件的出現(xiàn)是否會(huì)為數(shù)據(jù)庫(kù)帶來(lái)革命性變化。以前數(shù)據(jù)庫(kù)主要針對(duì)磁盤進(jìn)行優(yōu)化,平衡磁盤訪問(wèn),圍繞存儲(chǔ)硬件進(jìn)行設(shè)計(jì)和打造。存儲(chǔ)性能很大程度直接決定數(shù)據(jù)庫(kù)性能。通常數(shù)據(jù)庫(kù)是塊結(jié)構(gòu),1頁(yè)8K,尋址單位是塊存儲(chǔ)(邏輯塊尋址模式),但NVM介質(zhì)的尋址方式是字節(jié)尋址。未來(lái)整個(gè)設(shè)計(jì)是否會(huì)轉(zhuǎn)向以NVM為中心的新數(shù)據(jù)庫(kù),也是openGauss未來(lái)探索的一個(gè)大的方向。

總結(jié)

華為始終秉持“硬件開(kāi)放、軟件開(kāi)源、使能伙伴“的整體發(fā)展戰(zhàn)略,支持伙伴基于openGauss打造自有品牌的數(shù)據(jù)庫(kù)商業(yè)發(fā)行版,支持伙伴持續(xù)構(gòu)建商業(yè)競(jìng)爭(zhēng)力。希望越來(lái)越多的貢獻(xiàn)者加入openGauss社區(qū),共同打造一個(gè)開(kāi)源開(kāi)放的數(shù)據(jù)庫(kù)社區(qū),把企業(yè)級(jí)的數(shù)據(jù)庫(kù)能力帶給用戶。

分享到

崔歡歡

相關(guān)推薦