提升12倍！香港浸会大学与MassGrid发布低带宽高效AI训练新算法

为验证相比对收敛速度没有影响，通过训练ResNet 来进行对比，实验结果如图2所示。

△ 图2 从Top-k算法中选择k个梯度进行模型更新的收敛结果

gTopKAllReduce：gTop-k稀疏化的高效AllReduce算法

从表1可以看到AllGather集合对从不规则索引进行AllReduce操作效率很低，特别是P对通信性能的影响。而新提出的有效算法的主要目的是减轻变量P对通信开销的影响。因为最终只需要选择k个值对模型进行更新，所以在通信过程中，每次只需要传输k个非0值。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!