2018年最具影响力的20篇数据科学研究论文，盘它！

批量归一化(BN)是深度学习开发中的里程碑技术，它使得各种网络的训练成为了可能。但是，沿批量维度进行归一化会带来一些问题：当批量大小变小时，由于批次统计估计不准确，BN的误差会迅速增加。这限制了BN在训练大型模型以及计算机视觉任务(包括检测、分割视频)中的使用，因为这些任务需要的是受内存消耗限制的小批量。本文由Facebook AI研究人员(FAIR)提出，将Group Normalization(GN)作为BN的简单替代方案。GN将通道分成群组，并在每组内计算标准化的均值和方差。GN的计算与批量大小无关，并且其准确性在各种批量大小中都是稳定的。

下载链接：https://arxiv.org/pdf/1803.08494.pdf

平均参数比重能带来更广泛的优化和更好的概括能力

深度神经网络的训练一般通过使用随机梯度陡降(SGD)变量和递减学习率来优化一个损失函数，直至其收敛。这篇论文指出，对SGD曲线上的多个点取简单平均数，并使用周期波动或恒定的学习率比传统训练方式有更好的概括能力。这篇论文还展示了，这个随机平均参数比重(SWA)过程比SGD有更广泛的优化能力，仅用一个模型就达到了之前快速集合法的效果。

下载链接：https://arxiv.org/pdf/1803.05407.pdf

对基于神经网络进行文本总结方法的调查

自动总结归纳文本，或者说在保留主要含义的同时压缩文本长度，是自然语言处理(NLP)领域的一个重要研究范畴。这篇论文对近来基于神经网络的模型在自动文本总结方面进行了研究。作者详细审查了十款最前沿的神经网络摘要器：五款摘要模型，以及五款提炼模型。

下载链接：https://arxiv.org/pdf/1804.04589.pdf

神经网络风格传输的回顾

Gatys等人在2015年“针对艺术风格的神经网络算法”这篇开创性著作中，展示了卷积神经网络(CNN) 能够分离和重组图片的内容和风格，在生成艺术图像上表现出了强大的能力。这个使用CNN来渲染不同风格的内容图像被称作神经网络风格传输(NST)。此后，NST在学术著作和工业应用上都很是热门，受到越来越多的关注，也产生了很多种致力改善或者扩展原有NST算法的方法。这篇论文对NST目前的发展状况提供了概览，也对未来研究提出了一系列问题。

下载链接：https://arxiv.org/pdf/1705.04058.pdf

几何数据：在机器学习领域针对黎曼几何的一个Python包

在机器学习领域应用黎曼几何越来越受人们关注。这篇论文引入了几何数据这一概念，也给出了应用于诸如超球面、双曲空间、空间对称正定矩阵和李群变换等多重内容计算的python包。此外，论文中还包含了对于这些多重内容的应用，以及实用的黎曼度量和相关的外生性、对数图。相应的测地线距离提供了一系列机器学习损失函数的直观选择。作者还给出了对应的黎曼梯度。几何数据的操作可用于不同的计算后台，比如numpy, tensorflow和keras。文章作者使keras深度学习框架综合应用GPU和几何数据多重内容计算变成了可能。

下载链接：https://arxiv.org/pdf/1805.08308.pdf

一个更通用的稳健损失函数

这篇论文展示了一个双参数损失函数，可视为对稳健统计学中很多常用的损失函数的一个概括，这些常用的损失函数包括Cauchy/Lorentzian, Geman-McClure, Welsch/Leclerc和广义卡尔波涅尔损失函数(按传递性分为L2，L1，L1-L2和pseudo-Huber/Charbonnier损失函数)。作者描述并可视化展示了这个损失和相应的分布，并列出了它的一些实用性特质。

下载链接：https://arxiv.org/pdf/1806.01337.pdf

反向退出：随机反向传播算法

这篇论文引入了“反向退出”的概念，也即一个灵活而应用简便的方法，可以直观地表述为，退出现象仅沿着反向传播管道发生。反向退出的应用是沿着网络中特定点插入一个或多个屏蔽层。每个反向退出的屏蔽层在正推法中被视为特征，但几乎不屏蔽部分反向梯度传播。直观来看，在任何卷积层之后插入反向退出层会带来随机梯度，随刻度特征不同而有不同。因此，反向退出非常适用于那些有多重刻度、金字塔结构的数据。

下载链接：https://arxiv.org/pdf/1806.01337.pdf

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!