深度学习的发展，与由此引发的气候变化问题

人脑是一种效率极高的智能来源，但目前的AI还达不到这样的水平。

本月早些时候，OpenAI宣布已经构建起有史以来规模最大的AI模型。这套惊人的模型名为GPT-3，已经成为令人印象深刻的伟大技术成就。但在这辉煌的背后，也凸显出人工智能领域一种令人担忧的负面趋势——更可怕的是，主流舆论对此尚未给予足够的关注。

现代AI模型需要消耗大量电力，而且对电力的需求正以惊人的速度增长。在深度学习时代，构建一流AI模型所需要的计算资源平均每3.4个月翻一番；换句话说，从2012年到2018年间，AI计算资源消耗量增长了30万倍。而GPT-3，只是这股潮流的最新体现。

总而言之，AI技术带来的碳排放已经不容忽视；如果行业趋势继续下去，那么情况将很快失去控制。除非我们愿意重新评估并改革当今的AI研究议程，否则人工智能领域很可能在不久的未来成为引发气候变化的罪魁祸首。

在当今以深度学习为中心的研究范式当中，人工智能的主要进步主要依赖于模型的规模化扩展：数据集更大、模型更大、计算资源更大。

GPT-3就很好地说明了这种现象。这套模型中包含多达1750亿个参数。为了帮助大家更直观地理解这个数字，其前身GPT-2模型（在去年发布时，同样创下了体量层面的纪录）只有15亿个参数。去年的GPT-2在拥有千万亿次算力的设备上训练了几十天；相比之下，GPT-3的训练时长将增长至数千天。

这种靠“每况愈大”模型推动AI技术进步的问题在于，这类模型的构建与部署都需要消耗大量能源，并由此产生巨量碳排放。

在2019年的一项广泛研究当中，由Emma Strubell牵头的一组研究人员估计，训练一套深度学习模型可能产生高达62万6155磅的二氧化碳排放量——大约相当于五辆汽车从出厂到报废的总二氧化碳排放规模。如果这还不够直观，那么每个美国人每年平均产生3万6156磅二氧化碳排放量。

可以肯定的是，这项估算主要针对那些高度依赖于能源的模型。毕竟结合当前现实，机器学习模型的平均训练过程绝不至于产生60多万磅二氧化碳。

同样值得注意的是，在进行这项分析时，GPT-2仍然是研究领域规模最大的模型，研究人员也将其视为深度学习模型的极限。但仅仅一年之后，GPT-2就成了“纤细瘦小”的代名词，下代模型的体量超过其百倍。

最重要的原因，就是训练这些模型的数据集本身也在快速增肥。在使用包含30亿个单词的数据集进行训练之后，BERT模型在2018年实现了同类最佳的自然语言处理（NLP）性能。而在利用包含320亿个单词的训练集完成训练之后，XLNet又超越了BERT。不久之后，GPT-2开始在包含400亿个单词的数据集上接受训练。最终是我们前面提到的GPT-3，它使用的是一套包含约5000亿个单词的加权数据集。

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数。因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。

导致AI模型大量消耗能源的另一个理由，在于模型开发过程中所需要的大量实验与调整。目前，机器学习在很大程度上仍是一个反复实验试错的流程。从业人员通常会在训练过程中为当前模型构建数百个版本，并通过不断尝试各类神经架构与超参数确定最佳设计方案。

之前提到的2019年论文中还包含一项案例研究，研究人员们选择了一个体量适中的模型（显然要比GPT-3这样的庞然大物小得多），并对训练其最终版本所需要的电力、以及生产最终版本所需要的试运行总量进行了统计。

在为期六个月的过程中，研究人员共训练了该模型的4789个不同版本，折合单GPU运行时长为9998天（超过27年）。考虑到所有因素，研究人员们估计，该模型的构建过程将产生约7万8000磅二氧化碳，超过美国成年人两年的平均二氧化碳排放量。

而到这里，我们讨论的还仅仅是机器学习模型的训练部分。而训练只能算是模型生命周期的开始；在训练完成之后，我们还需要在现实环境中使用这些模型。

在现实环境中部署并运行AI模型（即推理过程），所带来的能源消耗量甚至高于训练过程。实际上，英伟达公司估计，神经网络全部算力成本中的80%到90%来自推理阶段，而非训练阶段。

例如，我们可以考虑自动驾驶汽车中的AI模型。我们需要首先对该神经网络进行训练，教会它驾驶技巧。在训练完成并部署至车辆上之后，该模型将持续不断地进行推理以实现环境导航——只要汽车仍在行驶，模型的推理过程就将不间断地进行。

毋庸置疑，模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

要探讨这个问题，我们先要找到能源使用与碳排放之间的对应关系。那么，该如何准确判断这种对应关系？

根据美国环保署（EPA）公布的数据，在美国，一千瓦时电力平均对应0.954磅二氧化碳排放量。这一平均值反映了碳足迹变化以及美国电网当中的不同电力来源（包括可再生能源、核能、天然气以及煤炭等）的客观比例。

如上所述，Strubell在分析中采用了美国本土的电力碳排放平均值，以根据不同AI模型的能源需求计算对应的碳排放量。这个假设已经相当合理，因为Amazon Web Services的电力组合就一致符合美国整体的发电来源结构，而目前的大多数AI模型都会选择在公有云端进行训练。

当然，如果尽可能使用可再生能源产生的电力进行AI模型训练，其碳足迹必将有所降低。例如，与AWS相比，Google Cloud Platform的电力结构中可再生能源的比例更高（根据Strubell的论文，AWS的可再生能源占比17%，谷歌方面则占比56%）。

我们也可以再举个例子，由于所在地区拥有丰富的清洁水电资源，因此大西洋西北部区域的硬件设施在训练模型时所产生的碳排放将低于全美平均水平。值得一提的是，目前各大云服务供应商都在强调其在碳排放控制方面做出的努力。

但总体来说，Strubell认为美国的整体电力组合仍然具有充分的说服力，可用于大体准确地估算出AI模型的碳足迹。

模型体量与模型性能之间的关系，则能帮助我们了解提升模型规模到底能够给AI技术发展带来怎样的帮助。这方面数据倒是非常明确：模型体量的持续增加，最终会导致性能回报急剧下降。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!