500亿参数，支持103种语言：谷歌推出「全球文字翻译」模型

尽管扩展深度是提高模型能力的一种方法，探索能够利用问题多任务特性的架构也是一种非常可行的补充方法。研究者通过用稀疏门控专家混合层（sparsely-gated mixture of experts）替代原始的前馈层修改 transformer 的架构，显著提高了模型能力，使得我们可以成功地训练和传递 500 亿参数，从而进一步提高了翻译质量。

与 103 个双语翻译基准相比，谷歌的新方法在单个多语言模型上提高了容量（参数量），进而提高了翻译质量。

让 M4 模型实用化

对于每个语言的领域或迁移任务来说，训练大型模型，花费大量算力非常不经济。谷歌提出的方法通过使用容量可调层使新模型适应特定的语言或领域，无需更改原始模型，使得这些模型变得更加实用。

展望

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!