AutoML新进展：用进化算法发现神经网络架构

　　此外，演变对数据集或搜索空间的变化具有鲁棒性。总的来说，这种对照比较的目标是为研究界提供计算昂贵的实验结果。在这样做的过程中，我们希望通过提供不同搜索算法之间关系的案例研究来促进每个人的架构搜索。例如，上图显示，使用更少的浮点运算时，通过进化获取的最终模型可以达到非常高的精度。

　　我们在第二篇论文中使用的进化算法的一个重要特征是正则化的形式：不是让最坏的神经网络死掉，而是删除最老的一个，无论它们有多好。这改善了正在优化的任务变化的鲁棒性，并最终趋于产生更准确的网络。其中一个原因可能是因为我们不允许权重继承，所有的网络都必须从头开始训练。因此，这种正则化形式选择在重新训练时仍然保持良好的网络。换句话说，因为一个模型可能会更准确一些，训练过程中的噪声意味着即使是相同的体系结构也可能会得到不同的准确度值。只有在几代中保持准确的体系结构才能长期存活，从而选择重新训练良好的网络。篇猜想的更多细节可以在论文中找到。

　　我们发展的最先进的模型被命名为AmoebaNets，是我们AutoML努力的最新成果之一。所有这些实验通过使用几百个的GPU/TPU进行了大量的计算。就像一台现代计算机可以胜过数千年前的机器一样，我们希望将来这些实验能成为家用。这里我们旨在提供对未来的一愿。

　　原文地址：

　　https://research.googleblog.com/2018/03/using-evolutionary-automl-to-discover.html

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!