NLLB-200模型相比之前的最先進(jìn)系統(tǒng),在翻譯質(zhì)量上取得了顯著提升。平均而言,NLLB-200模型的翻譯質(zhì)量提升了44%。這一提升在多個(gè)語(yǔ)言方向上均有體現(xiàn),尤其是低資源語(yǔ)言

使用NLLB-200翻譯的文章具有最低的刪除率(0.13%)和最高的修改保留率(10%以下)

模型架構(gòu)


NLLB模型采用了稀疏門(mén)控專(zhuān)家混合(Sparsely Gated Mixture of Experts, MoE)架構(gòu)。這種架構(gòu)通過(guò)稀疏激活機(jī)制,實(shí)現(xiàn)了高效的參數(shù)利用和計(jì)算資源分配,大幅提升了模型在處理多語(yǔ)言任務(wù)時(shí)的性能

稀疏門(mén)控專(zhuān)家混合架構(gòu)

基礎(chǔ)原理: 稀疏門(mén)控專(zhuān)家混合架構(gòu)的核心理念是將模型的計(jì)算資源分配給不同的專(zhuān)家網(wǎng)絡(luò)(專(zhuān)家層),每個(gè)專(zhuān)家專(zhuān)注于處理特定語(yǔ)言或語(yǔ)言組。通過(guò)門(mén)控機(jī)制,模型能夠在處理不同輸入時(shí)激活相應(yīng)的專(zhuān)家,從而提高翻譯效果

專(zhuān)家網(wǎng)絡(luò)的設(shè)計(jì): NLLB模型中的專(zhuān)家網(wǎng)絡(luò)是多個(gè)并行的子網(wǎng)絡(luò),每個(gè)子網(wǎng)絡(luò)由若干層的神經(jīng)單元組成。這些子網(wǎng)絡(luò)通過(guò)共享的參數(shù)和獨(dú)立的參數(shù)相結(jié)合,在共享知識(shí)的同時(shí),保留了對(duì)特定語(yǔ)言的專(zhuān)門(mén)優(yōu)化

門(mén)控機(jī)制: 門(mén)控機(jī)制通過(guò)動(dòng)態(tài)選擇激活哪些專(zhuān)家網(wǎng)絡(luò)來(lái)處理輸入數(shù)據(jù)。具體來(lái)說(shuō),門(mén)控網(wǎng)絡(luò)根據(jù)輸入的語(yǔ)言特征和上下文信息,決定激活哪些專(zhuān)家網(wǎng)絡(luò)。這樣,模型能夠根據(jù)不同語(yǔ)言的需求,靈活調(diào)整計(jì)算資源的分配

數(shù)據(jù)挖掘與預(yù)處理


NLLB項(xiàng)目在數(shù)據(jù)挖掘和預(yù)處理方面也采用了創(chuàng)新的方法,以解決低資源語(yǔ)言的數(shù)據(jù)匱乏問(wèn)題。項(xiàng)目團(tuán)隊(duì)利用多種數(shù)據(jù)源,包括網(wǎng)絡(luò)爬蟲(chóng)、文檔庫(kù)以及社區(qū)貢獻(xiàn),收集了大量平行語(yǔ)料。同時(shí),利用先進(jìn)的數(shù)據(jù)清洗和對(duì)齊技術(shù),確保數(shù)據(jù)的高質(zhì)量和多樣性

模型訓(xùn)練與優(yōu)化


多語(yǔ)言訓(xùn)練: 在模型訓(xùn)練過(guò)程中,NLLB采用了多語(yǔ)言聯(lián)合訓(xùn)練的方法,即在一個(gè)統(tǒng)一的模型中同時(shí)訓(xùn)練多種語(yǔ)言。這樣可以充分利用高資源語(yǔ)言的數(shù)據(jù),提升低資源語(yǔ)言的翻譯性能。通過(guò)共享多語(yǔ)言的知識(shí),模型能夠更好地泛化到不同語(yǔ)言的翻譯任務(wù)上

優(yōu)化策略: 為了進(jìn)一步提升模型的性能,NLLB團(tuán)隊(duì)采用了多種優(yōu)化策略,包括學(xué)習(xí)率調(diào)節(jié)、梯度裁剪、正則化等技術(shù)。同時(shí),利用分布式訓(xùn)練和混合精度訓(xùn)練,顯著加快了模型的訓(xùn)練速度,并有效降低了計(jì)算資源的消耗

性能評(píng)估與測(cè)試


NLLB項(xiàng)目開(kāi)發(fā)了一套綜合評(píng)估工具,用于測(cè)試和驗(yàn)證模型在不同語(yǔ)言上的翻譯性能。這些工具包括:

FLORES-200:一套自動(dòng)評(píng)估基準(zhǔn),覆蓋了200種語(yǔ)言的測(cè)試數(shù)據(jù),用于衡量翻譯質(zhì)量

XSTS:人工評(píng)估指標(biāo),通過(guò)人類(lèi)評(píng)審員對(duì)翻譯結(jié)果的質(zhì)量進(jìn)行主觀(guān)打分

有害內(nèi)容檢測(cè):針對(duì)所有支持語(yǔ)言,模型還集成了有害內(nèi)容檢測(cè)器,以確保翻譯結(jié)果的安全性和可靠性

paper:

https://www.nature.com/articles/s41586-024-07335-x/tables/3

分享到

nina

相關(guān)推薦