微软邓力:深度学习在认知领域的革命还有多远？

网易科技讯10月19日消息，昨天上午，由中国自动化学会联合新智元举办的世界人工智能大会在北京举行。会上，微软人工智能首席科学家邓力发表了演讲，现场解读了深度学习十年发展史，并展望了人工智能未来十年的发展机遇与突破。

邓力称，人工智能是一大串的技术，包括逻辑推理技术、机器学习技术等，在机器学习的技术又包括深度学习的技术。机器学习所解决的问题，是要用数据跟统计的方法或者神经网络的方法来解决现实生活中的任务。在机器学习里面最重要的一块就是深度学习，它也包括一大串的技术加上应用。目前，深度学习在语音和图像等方面的应用让这两块领域取得了大规模的进展。

对于深度学习，邓力着重强调了自己的看法。他说，深度学习有三个要点，一是它包括好几个不同层次的非线性变换；二是如何优化这个多层次的系统，尤其是深层优化是一个特别难的问题，算法上10年前端到端的优化学习问题开始得到解决；三是抽象性是深度学习最重要的精华，尤其是在语音识别和图像识别之外的认知领域应用。

遭遇移动互联网危机的微软，在如今的大数据时代复苏。关于微软在AI上的战略发展，邓力解释到，当时他和所在的微软团队于2012在IEEE上发表了一篇文章，成为深度学习在语音识别方面的经典工作，这篇文章通过深度神经网络，使得大规模的语音识别取得进展。这也奠定了微软在语音识别领域的方法，深度学习自此被引入语音识别，目前这种方法现在还在用。

关于深度学习的局限性，邓力称，目前深度学习的局限性主要是几乎所有成功的方法都需要有非常大量的数据，这种数据一定要输入输出全部匹配好，不匹配好的话，没有任何方法能够做得非常成功。下面还有一大串的局限，比如Black box，很多研究在破这个黑箱，走出现有神经网络的框架，要能够把以前大家所做的深度Bayes的方法加上一大串其它的方法整合到一起，就有望解决黑箱的问题。同样重要的一点是，神经网络现在非常难把知识自动扩大，就像小孩长大，他的知识一步步扩大，但是现在人工智能还没有自主学习的能开。目前，我跟很多研究人员交流，怎么能够把基于神经计算的深度学习跟符号逻辑连在一起，你把逻辑关系搞清楚就能解释所有的东西。（小羿）

以下为邓力在世界人工智能大会上的演讲实录：

主持人：接下来有请微软人工智能首席科学家邓力上台演讲。

邓力：感谢大家！ 贵宾们好，朋友们好。 我今天首先要感谢组委会给我这个机会，在这里向大家介绍微软的一些深度学习研究，也感谢组委会专门给我这个题目，叫我讲一下十年深度学习的历史。正像你们刚才听到Yoshua Bengio教授讲的一样，微软在深度学习的开始阶段就做了非常大的启动。今天继续向大家介绍一下在这之后我们很多的进展。最后分享一下对未来的展望。

组委会告诉我，今天的观众有相当多的投资人士，以及技术人士，从业界来的。所以我向大家介绍两礼拜前《财富》杂志的一篇文章，讲了深度学习一部分的历史。趁此机会也向大家介绍这篇杂志文章里面给的深度学习的定义。从技术的角度从科学的角度来讲，我想再补充一些材料，使得大家对深度学习跟人工智能的看法有一些更深入的了解。

这是《财富》杂志所讲的定义，这个定义基本是准确的。比如说定义人工智能。它包括一大串的技术，包括逻辑推理技术，包括机器学习技术，在机器学习的技术又包括深度学习的技术，在这里面主要的一块是机器学习。机器学习所解决的问题，是要用数据跟统计的方法或者神经网络的方法来解决现实生活中的任务（tasks）。在机器学习里面最重要的一块——深度学习，它也包括一大串的技术加上应用。虽然在这个文章里面只讲语音应用和图像应用，实际上还有一大串自然语言处理的应用。在这个演讲里面，我把这些新的应用和新的技术向大家介绍一下。

刚才《财富》杂志的文章讲的深度学习还是从商业的方面来讲，大家能够看得懂。要是看Wikipedia，它讲的深度学习的定义比刚才的文章更深一点。我向大家介绍一下Wikipedia的定义，深度学习有三个要点，第一，这是一般的定义，不单单是神经网络，它包括各种各样的其它方法。它的精髓——好几个不同层次的非线性变换。第二，因为有好多层次，就出来了一个非常重要的问题——怎么样来优化这个多层次的系统。在浅层学习的模型里面，这个优化问题不是那么严重，因为比较容易优化。但是一旦有深层之后，这个优化就成为一个非常难的问题。这也是其中很大的一个原因为什么在90年代、80年代当时深度神经网络并没有能够产生很大的影响。当时数据不够，计算能力也不够，而且当时算法也不够。差不多十年之前端到端的优化学习问题开始得到了解决——并不是说理论上得到解决，我只是说在实际算法上得到了解决。第三，这点更重要，尤其在语音识别和图像识别之外的更重要的认知领域的应用。在这种更高层次的应用情况下，深度学习更重要的是，因为它有不同层次的表达，它就能够把抽象的概念进行层次化的表征。在我下面讲的应用中我想特别是把第三个要点向大家描述得更深刻一点。头两个特性一般是大家在深度学习上看得比较清楚的，而且很多的文献讲得比较多。第三点的抽象性确实是深度学习的最重要的精华。

关于深度学习十年的历史， 我从《财富》杂志的文章里面抽取出来一张表。理论上开创性的工作，刚才王老师讲到神经网络可以追踪到好几十年前。我只讲讲近代的历史。90年代第二次人工智能浪潮，主要也是由神经网络突破引起的，当时的突破只是在概念上的突破，神经网络的一些算法成为非常主流的算法，一直延伸到现在。但是应用上的大规模突破只是到最近Yoshua Bengio教授讲的前五年之前才开始。

这是一篇非常重要的文章，多伦多大学差不多20年前发表的文章“Wake Sleep”算法 --- 怎么让神经网络做非监督的学习。当时90年代中第二次神经网络热潮往下降，一直做不起来。大家往深层次的模式来想，那时候这种方法也没有成功，但是对我有了非常大的启发。我当时在加拿大任教做时程上的深层次的神经网络研究，在1994年写了这篇文章。 我当时做语音识别做了相当长的时间，一直比不上统计概率的模型。我跟研究生和同事写的这篇文章，做了非常强的分析，跟Yoshua Bengio一篇文章有点类似，当然你的网络层次非常深以后，学习的困难就变得越来越大。当时用到语音识别上面没成功。但是给我们很大的启发，到底要往哪个方向走？这是20年前的事情。在这之后，因为大家都认识到神经网络成功的机会不是很大，更重要的原因是当时统计的模型发展得非常快，另外还有SVM机器学习的模型在那时候实际应用的效果远远超过神经网络，当时神经网络就慢慢像刚才YoshuaBengio教授讲那样削弱了。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!