谷歌自研AI芯片TPU v5e

发布时间：2024-01-04 21:02:01 所属栏目：产品来源：DaWei

导读： 谷歌在举行的 Cloud Next 2023 大会上，公开了Google Cloud新款自研AI芯片TPU v5e，并推出了搭配英伟达（NVIDIA）H100 GPU的 “A3超级计算机”GA（通用版），A3 VM实例将于下个月

谷歌在举行的 Cloud Next 2023 大会上，公开了Google Cloud新款自研AI芯片TPU v5e，并推出了搭配英伟达（NVIDIA）H100 GPU的 “A3超级计算机”GA（通用版），A3 VM实例将于下个月上线。

TPU是谷歌专门为机器学习（ML）/深度学习（DL）设计的专用AI加速芯片，比CPU、GPU等通用处理器对于AI计算效率更高。

通过仅合并专门用于 ML/DL 的算术单元，谷歌减少了CPU 和 GPU 所需的高速缓存、分支预测和乱序执行等复杂算术单元，可以以低功耗执行专门针对ML/DL 的计算。

最新的第五代TPU v5e，则是谷歌专为提升大中型模型的训练、推理性能以及成本效益所设计，并且其内部张量处理单元的最新版本。

TPU v5e将提供了多种不同的虚拟机配置，范围从一个 TPU 芯片到单个芯片内 256 个 TPU 芯片。对于那些需要更多算力的用户，谷歌也正在推出“Multislice”，这是一种将模型交给数万个TPU芯片计算的服务。

Gridspace 机器学习主管Wonkyum Lee表示：“我们的速度基准测试表明，在 Google Cloud TPU v5e 上训练和运行时，AI 模型的速度提高了 5 倍。我们还看到推理指标的规模有了巨大改进，我们现在可以在一秒内实时处理 1000 秒的内部语音到文本和情绪预测模型，性能提高了6 倍。”

A3将会配备 8 个NVIDIA H100 GPU、两个第四代 Intel Xeon 可扩展处理器、 2TB 内存以及定制的Intel 200G IPU（基础设施处理单元）网络组成。

为了支持企业云端服务，Google Cloud 还整合加入了 20 个 AI 模型，使其支持的总数达到 100 个，通过其 AI 基础设施，可让客户使用包括 Meta Llama 2 模型、Anthropic Claude 2 聊天机器人等，可以自由选择最能满足营运需求的 AI 模型。

Google Cloud 这次也推出企业级新工具，包括“SynthID”可为 AI 产生的图片加上隐形浮水印，以人眼看不见的方式更改数字图片，即使 AI 图片被编辑或篡改也能保有完整性。在这个基础上，谷歌开发了一个名为“synthid”的新工具，用于识别和分析人脸，并将其转化为可视化的图片。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!