NLLB-200模型相比之前的最先進(jìn)系統(tǒng)，在翻譯質(zhì)量上取得了顯著提升。平均而言，NLLB-200模型的翻譯質(zhì)量提升了44%。這一提升在多個(gè)語(yǔ)言方向上均有體現(xiàn)，尤其是低資源語(yǔ)言

使用NLLB-200翻譯的文章具有最低的刪除率（0.13%）和最高的修改保留率（10%以下）

模型架構(gòu)

NLLB模型采用了稀疏門(mén)控專(zhuān)家混合（Sparsely Gated Mixture of Experts, MoE）架構(gòu)。這種架構(gòu)通過(guò)稀疏激活機(jī)制，實(shí)現(xiàn)了高效的參數(shù)利用和計(jì)算資源分配，大幅提升了模型在處理多語(yǔ)言任務(wù)時(shí)的性能

稀疏門(mén)控專(zhuān)家混合架構(gòu)

基礎(chǔ)原理： 稀疏門(mén)控專(zhuān)家混合架構(gòu)的核心理念是將模型的計(jì)算資源分配給不同的專(zhuān)家網(wǎng)絡(luò)（專(zhuān)家層），每個(gè)專(zhuān)家專(zhuān)注于處理特定語(yǔ)言或語(yǔ)言組。通過(guò)門(mén)控機(jī)制，模型能夠在處理不同輸入時(shí)激活相應(yīng)的專(zhuān)家，從而提高翻譯效果

專(zhuān)家網(wǎng)絡(luò)的設(shè)計(jì)： NLLB模型中的專(zhuān)家網(wǎng)絡(luò)是多個(gè)并行的子網(wǎng)絡(luò)，每個(gè)子網(wǎng)絡(luò)由若干層的神經(jīng)單元組成。這些子網(wǎng)絡(luò)通過(guò)共享的參數(shù)和獨(dú)立的參數(shù)相結(jié)合，在共享知識(shí)的同時(shí)，保留了對(duì)特定語(yǔ)言的專(zhuān)門(mén)優(yōu)化

門(mén)控機(jī)制： 門(mén)控機(jī)制通過(guò)動(dòng)態(tài)選擇激活哪些專(zhuān)家網(wǎng)絡(luò)來(lái)處理輸入數(shù)據(jù)。具體來(lái)說(shuō)，門(mén)控網(wǎng)絡(luò)根據(jù)輸入的語(yǔ)言特征和上下文信息，決定激活哪些專(zhuān)家網(wǎng)絡(luò)。這樣，模型能夠根據(jù)不同語(yǔ)言的需求，靈活調(diào)整計(jì)算資源的分配

數(shù)據(jù)挖掘與預(yù)處理

NLLB項(xiàng)目在數(shù)據(jù)挖掘和預(yù)處理方面也采用了創(chuàng)新的方法，以解決低資源語(yǔ)言的數(shù)據(jù)匱乏問(wèn)題。項(xiàng)目團(tuán)隊(duì)利用多種數(shù)據(jù)源，包括網(wǎng)絡(luò)爬蟲(chóng)、文檔庫(kù)以及社區(qū)貢獻(xiàn)，收集了大量平行語(yǔ)料。同時(shí)，利用先進(jìn)的數(shù)據(jù)清洗和對(duì)齊技術(shù)，確保數(shù)據(jù)的高質(zhì)量和多樣性

模型訓(xùn)練與優(yōu)化

多語(yǔ)言訓(xùn)練： 在模型訓(xùn)練過(guò)程中，NLLB采用了多語(yǔ)言聯(lián)合訓(xùn)練的方法，即在一個(gè)統(tǒng)一的模型中同時(shí)訓(xùn)練多種語(yǔ)言。這樣可以充分利用高資源語(yǔ)言的數(shù)據(jù)，提升低資源語(yǔ)言的翻譯性能。通過(guò)共享多語(yǔ)言的知識(shí)，模型能夠更好地泛化到不同語(yǔ)言的翻譯任務(wù)上

優(yōu)化策略： 為了進(jìn)一步提升模型的性能，NLLB團(tuán)隊(duì)采用了多種優(yōu)化策略，包括學(xué)習(xí)率調(diào)節(jié)、梯度裁剪、正則化等技術(shù)。同時(shí)，利用分布式訓(xùn)練和混合精度訓(xùn)練，顯著加快了模型的訓(xùn)練速度，并有效降低了計(jì)算資源的消耗

性能評(píng)估與測(cè)試

NLLB項(xiàng)目開(kāi)發(fā)了一套綜合評(píng)估工具，用于測(cè)試和驗(yàn)證模型在不同語(yǔ)言上的翻譯性能。這些工具包括：

FLORES-200：一套自動(dòng)評(píng)估基準(zhǔn)，覆蓋了200種語(yǔ)言的測(cè)試數(shù)據(jù)，用于衡量翻譯質(zhì)量

XSTS：人工評(píng)估指標(biāo)，通過(guò)人類(lèi)評(píng)審員對(duì)翻譯結(jié)果的質(zhì)量進(jìn)行主觀(guān)打分

有害內(nèi)容檢測(cè)：針對(duì)所有支持語(yǔ)言，模型還集成了有害內(nèi)容檢測(cè)器，以確保翻譯結(jié)果的安全性和可靠性

paper：

https://www.nature.com/articles/s41586-024-07335-x/tables/3

nina