微软邓力:深度学习在认知领域的革命还有多远？

之后不久我从大学跳到微软公司，当时我的一个团队做了深层的动态的Bayesian网络，相对比较容易解释。但是有一大串的问题。十年前在深度Bayesian网络问题现在已慢慢得到解决。深层次模型的最早的一个突破还得归功于Geoffrey Hinton的一篇文章《A Fast Learning Algorithm for Deep Belief Nets》。这篇文章确实成为深度学习的开始之一，现在大部分的深度学习模型是一层一层网络不断从下往上。这篇文章正好相反，不是往上，更注重从上到下生成数据。有点像“做梦”，你做梦的时候可以产生一些梦想。做的“梦“产生一些数据，你在醒的时候就可以把你所看到的东西能够抽象出来总结出来，成为你感知的对象。经过反复的上下反复的过程，就可以产生一种非常巧妙的模型，而且对这种模型来说这篇文章介绍了非常巧妙的学习方法。我当时看到这个方法以后觉得这和我的深度Bayesian语音识别模型会有什么关系。当时没看很懂，想探索怎么把这种模型跟我们的深度Bayesian语音识别模型结合起来。当时请他到我们的西雅图共事一段时间。2009年底搞了一个NIPS讲习会，将深度学习各种不同的方法在语音识别上的应用总结一下，那时候已经有初步的结果出来，但是结果不是特别好。所有的深度学习在语音识别上面都是聚集在非常小的数量上面，大概1 million的数据量，非常局限。当时大规模的神经网络威力还没显示出来，这之后我们在微软花了大概一年多的时间发明了一些很有效的方法，使得DBN，深度神经网络加上隐马尔可夫模型，三个不同的技术整合到一起就成为这组架构。这种神经网络同时跟其它的机器学习，人工智能方法联合在一起，很快让深度神经网络在工业界上面的语音识别产生巨大的影响。这有点像AlphaGO，大概有三种不同的方法联合在一起，所以怎么样把不同的人工智能和机器学习方法同深度学习方法整合到一起确实是非常重要的。

当时我们在学术界 (我所在微软研究院，也算学术界工业界的一个混合单位)合写了一篇文章，三年多前发表的，成为深度学习在语音识别方面的经典工作。80%的内容和方法在这个文章当中写到的，现在工业界还一直在用。文章讲了深度神经网络对语音识别产生的影响，怎么把不同的机器学习方法包括深度神经网络的方法整合起来，使得大规模的语音识别得到进展。

当我们微软公司把深度学习用到语音识别取得大规模成功的时候，微软大老板Rick Rashid 2012年在天津举行的一次会议上当场演示技术，第一次向世界宣布深度神经网络是一个非常强大的技术。他用深度学习做语音识别演示，几乎没什么错误，因为他非常配合，帮我们采集了非常多的speaker-dependent的数据。大规模的场合演示语音识别几乎没任何错误。另外，用机器翻译的方法，把识别出的英文文字翻译成中文，再用语音合成的方法产生中文语音。他用英文讲，他的中文声音就出来了，而且中文合成的声音跟自己的声色非常相像，当时产生很大的影响。《纽约时报》的记者到微软采访了我，也采访了Hinton，我们讲了一些我们合作的事情，在《纽约时报》报道。最重要的写的一条，我们不约而同跟这个记者说，这么好的一个技术能够在演示上这么成功，几乎没有任何专利的保护。记者就写到了报纸上，这个可能跟工业界引起兴趣有点关系。

之后我们写了很多论文，2010年到2012年写了不少，之后IBM、GOOGLE、科大讯飞、百度也用类似的方法。科大讯飞确实做得比较早，我这里面不展开讲太多，识别自然语音的错误率在1993年几乎每个字都会错掉。美国的DARPA第一次做这方面的研究是，那时候数据没采集多，1993年之后，DARPA每次投资语音识别的研究基本1/3到1/4资源是用来采集有标注的数据，之后语音的大数据有了。这也是为什么深度学习在语音识别上是第一个成功的例子。

感谢胡郁总裁寄给了我当时在科大讯飞访问的照片，那时候我在2010年到2012年之间访问了科大讯飞，微软亚洲研究院，台湾中央研究院和中国其他地方讲深度学习的方法并进行学术讨论。我至少走了十多次。到科大访问就有三次。可以这么说，科大讯飞的深度学习技术确实在中国是非常早就已经开始应用，跟这些讨论有很大的关系，不在这里展开太多。深度学习从加拿大和美国到中国有很有趣的历史，具体的过程刘庆峰总裁跟胡郁总裁他们有更多的材料。

2012年—2014年，微软、GOOGLE出现一大串的产品，还有亚马逊的Echo，以及讯飞和百度的产品，也包括Dragon和siri和XBOX产品一整套。全部用深度学习的网络取代以前一大串浅层的语音识别技术。

这两年（2012-2014），微软花了很多的精力，特别是我们的同事和北京研究院的同事合作，把在天津我们老板演示的用深度学习实现的演示完全产品化，大家用Skype就可以直接做语音对话。两个月前杨澜带了一个团队到我们公司来拍摄人工智能电影的时候，专门试了Skype Translator，是五个小时人工智能的纪录片的一部分。 她用唐诗来试我们的系统，结果很有意思，每个字都翻译得很对，但是整个句子翻起来诗意就没了。语音识别字对字是好的，但是它不能够真正达到人的智慧，还没到有诗意的那个程度。

下面再讲一下最近两年之内深度学习的进展，首先语音识别的错误率继续下降，包括讯飞、IBM、百度、GOOGLE，包括我们的公司的工作。最近几年的进展更使得去年图像识别的错误率降到低于人类的水平，这是微软北京研究院今年做的，今年国内的两个团队做的比这个错误率低的更多。还有看图说话也有很大的进展。

最近一两年的AlphaGO ---文章是在2016年发表，工作大部分是在2015年做的，最后产生最大的影响是在AlphaGO今年3月份打败世界围棋冠军，这里面很大的一个因素就是把神经网络Deep reinforcement和增强学习结合起来，用来加速Monte CarloTree Search ，三者结合得到非常显著的成果。

人工智能对话机器人也取得成果。这一段话是我从《财富》杂志文章中截取出来的。现在很多公司都在发展客服机器人，而且还有很多其它的应用。这种应用在20年前大家都有了，我在大学当教授的时候就有很多类似的项目。 AT&T当时帮助客户怎么付帐，那是唯一一个很成功的例子，其它的影响并不是很大。今年到去年差不多两年之内，大家看到AlphaGO的成功，而且看到深度学习在语音识别和图像识别上面的成功都感觉到时间已经到了，这个重要的应用时代已经到了，我不想展开太多，大家看文章可以看到更多的例子。

这种应用在学术界跟企业界还不是讲得特别多，但是要看这篇文章，微软领导在这篇文章中讲了一段话，这段话确实包含了我们微软两年之内的工作。我有一个团队做了相当多的工作。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!