NVIDIA布局巨量AI语言模型领域 发布NeMo Megatron框架
发布时间：2021-12-17 03:41:36 所属栏目：大数据 来源：互联网
导读：日前，在GTC期间，NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIANeMoMegatron框架。 据了解，NVIDIANeMoMegatron是Megatron的基础上发展起来的。Megatron是由NVIDIA研究人员主导的开源项目，研究大型Transformer语言模型的高效训练。Megatron5
|
日前，在GTC期间，NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIA NeMo Megatron框架。 据了解，NVIDIA NeMo Megatron是Megatron的基础上发展起来的。Megatron是由NVIDIA研究人员主导的开源项目，研究大型Transformer语言模型的高效训练。Megatron 530B是全球最大的可定制语言模型。 NeMo Megatron框架使企业能够克服训练复杂自然语言处理模型的挑战。企业可以通过NeMo Megatron框架，进一步训练它以服务新的领域和语言。经优化，该框架可以在NVIDIA DGX SuperPOD的大规模加速计算基础设施上进行扩展。。 这些工具与NVIDIA DGX系统结合，提供了一个可部署到实际生产环境的企业级解决方案，以简化大型语言模型的开发和部署。 NeMo Megatron通过数据处理库自动处理LLM训练的复杂性，这些数据处理库可以摄入、策划、组织和清理数据。利用先进的数据、张量和管道并行化技术，它能使大型语言模型的训练有效地分布在成千上万的GPU上。企业可以通过NeMo Megatron框架进一步训练它以服务新的领域和语言。 另外，除了NeMo Megatron外，NVIDIA还推出了一个开发Physics-ML模型的框架NVIDIA Modulus。 它使用物理原理及源自原理型物理和观测结果的数据训练Physics-ML模型，支持多GPU多节点训练，由此生成的模型，其物理仿真速度比模拟快1000-100,000倍。 从本次GTC上，NVIDIA的远见和前瞻性不容小觑。无论是如火如荼的AI，还是方兴未艾的虚拟世界，NVIDIA能成为科技热潮的直接受益者，都离不开过去多年对其软硬件产品的打磨。 （编辑：PHP编程网 - 黄冈站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330482号