隨著移動(dòng)辦公的普及,視頻會(huì)議成為了人們?nèi)粘9ぷ魃钪胁豢苫蛉钡墓ぞ?。然而,?dāng)人們?cè)卩须s的咖啡廳、機(jī)場(chǎng)等開(kāi)會(huì)時(shí),常常受到環(huán)境噪聲、背景人聲的干擾。因此,降噪技術(shù)在不同場(chǎng)景下的應(yīng)用與研究也愈發(fā)得到重視,特別是干擾人聲的消除,因人聲之間的特征相似度高于人聲與環(huán)境噪聲的特征相似度,處理難度更大,也成為了困擾業(yè)界和學(xué)術(shù)界的共同難題。
為此,天籟實(shí)驗(yàn)室首創(chuàng)性研發(fā)了個(gè)性化語(yǔ)音增強(qiáng)技術(shù),率先應(yīng)用在了騰訊會(huì)議上。它能模擬人類聽(tīng)覺(jué)注意機(jī)制,構(gòu)建起一個(gè)能夠在多人會(huì)話和復(fù)雜的背景噪音中、只關(guān)注目標(biāo)說(shuō)話人聲音的自動(dòng)化系統(tǒng),仿佛一個(gè)“會(huì)找主人的麥克風(fēng)”,能夠在環(huán)境噪聲消除的基礎(chǔ)上,進(jìn)一步消除周圍人聲的干擾,凸顯主講人的聲音信號(hào)。
該項(xiàng)技術(shù),已在ICASSP DNS 2022深度學(xué)習(xí)降噪挑戰(zhàn)賽中,榮獲全頻帶實(shí)時(shí)個(gè)性化語(yǔ)音增強(qiáng)track 2比賽總分第一,并在音質(zhì)和識(shí)別率兩個(gè)核心單項(xiàng)指標(biāo)上都分別達(dá)到了最好的水平。
作為當(dāng)前國(guó)際上該領(lǐng)域規(guī)模最大、影響力最廣泛的比賽之一,第四屆DNS深度學(xué)習(xí)降噪挑戰(zhàn)賽在前幾屆環(huán)境噪聲消除基礎(chǔ)上,增加了難度更大的干擾人聲消除賽道,并首次發(fā)起了全頻帶實(shí)時(shí)個(gè)性化語(yǔ)音增強(qiáng)的挑戰(zhàn)賽,天籟實(shí)驗(yàn)室則是在眾多參賽隊(duì)伍中脫穎而出,成功獲得總分第一名。
作為騰訊會(huì)議旗下的頂尖實(shí)時(shí)音頻處理團(tuán)隊(duì),天籟實(shí)驗(yàn)室一直致力于打造下一代實(shí)時(shí)音頻通信端到端解決方案,適應(yīng)不同應(yīng)用場(chǎng)景和終端設(shè)備,為用戶提供高清、純凈、流暢的音頻通信體驗(yàn)。
此前,基于上千小時(shí)的語(yǔ)音噪聲數(shù)據(jù),該方案通過(guò)深度學(xué)習(xí)和AI算法,已經(jīng)成功消除300多種環(huán)境噪聲,并已成功應(yīng)用在騰訊會(huì)議上。為了進(jìn)一步解決會(huì)議室場(chǎng)景下雙工通信的挑戰(zhàn),天籟實(shí)驗(yàn)室在業(yè)界首發(fā)推出了騰訊天籟inside音頻解決方案,它基于軟硬一體的聲學(xué)硬件設(shè)計(jì),獨(dú)創(chuàng)了行業(yè)領(lǐng)先的多麥音頻算法,通過(guò)麥克風(fēng)陣列和多模態(tài)深度學(xué)習(xí)技術(shù)相融合,首次結(jié)合房間聲場(chǎng)感知,采集和空間聲場(chǎng)重建技術(shù),開(kāi)創(chuàng)性地實(shí)現(xiàn)遠(yuǎn)距離拾音、智能降噪、通透雙講。該方案已經(jīng)和newline、MAXHUB、海信商顯等多個(gè)行業(yè)領(lǐng)先的硬件廠商合作,為其打造會(huì)議室里的“順風(fēng)耳”。
未來(lái),天籟實(shí)驗(yàn)室將持續(xù)打磨技術(shù)、產(chǎn)品,為廣大用戶提供“聽(tīng)得清、聽(tīng)得真”的音頻體驗(yàn),共創(chuàng)數(shù)字時(shí)代的美好未來(lái)。