微软邓力:深度学习在认知领域的革命还有多远？

还有一个很大的应用，DeepLearning最近两三年内有很多公司，主要是我们公司和IBM。大家看这篇文章后就可以感觉到深度学习现在从原来感知上面的人工智能，语音识别和图像识别已经进入到真正商业应用的领域里面。从研究的角度来讲，自然语言处理就是在一年之内得到飞速的进展。我昨天早上刚从烟台“中国计算语言学大会”回来，机器翻译已经完全采用深度学习的方法，它的性能、精确度大大超过20多年发展起来的基于统计的学习方法。IBM 20年前第一次把统计学习的方法用到机器翻译，当深度学习在语音识别成功之后，2011年、2012年深度学习就开始用到机器翻译上面。深度学习在阅读理解、问答等等应用上的复杂性要比其它那些应用到语音识别的深度学习方法大得多，主要因为模型不太一样，有新的alignment 问题。一直到去年大家开始看到深度学习发展出一些非常巧妙的方法，已经战胜了传统20年发展的方法，当然它的错误率的降低和语音识别比起来还是没那么显著，但是它的历史也就两三年时间。现在整个机器翻译的领域已经完全转向深度学习，这个信息特别在中国自然语言处理方面比美国更显著。

前两天烟台的“中国计算语言学大会”上有一大串的演讲，每个题目都是跟深度学习相关的--- 深度学习跟机器翻译、深度学习跟问答、深度学习跟语法分析、深度学习跟情感分析，等等。我对中国的人工智能的希望是非常之大的。现在有哪些新的技术？有sequence到sequence的学习，有注意力模型，一个礼拜之前在《Nature》上面刚发表了DNC方法，做研究的话可以往这边看。

未来展望，关于应用，昨天的闭门峰会讲的比我讲的还多，我就不讲太多了。研究跟技术我讲多一点，关于人工智能应用，在四五天前美国白宫出了个报告，Thomas Dietterich教授讲，他也参与了这个报告的一些写作，美国白宫政府发出来这个报告，做应用的一定要好好看一看，它的最终结论对投资界影响非常大，跟中国推广的人工智能方向是相符的。Deep Learning作为一个非常大的标题列出来。今天早上跟ThomasDietterich谈了一下，他承认对于很多做传统的人工智能的专家来讲确实是一个Surprise。

Automated Science。把所有的物理科学材料用机器看一遍能不能得出牛顿定律？像以前伽利略用望远镜看到星星的运动，经过科学的研究，总结出来一些星球运行的定理，牛顿根据这些材料总结出牛顿定理，能不能用人工智能做出来？这是很多人想的问题。金融方面，人工智能火起来，做金融的找过我，我不便讲太多，这个领域大家都在看。

从研究和技术方面来讲，为了让大家看到将来的趋向或者将来有影响的研究和技术，我们要先看现在的深度学习和AI的方法有些什么样的局限性？要把局限性看懂以后，你们就可以知道用什么方法来克服它们。很大的一个局限性是，现在几乎所有成功的方法都需要有非常大量的DATA，这种数据一定要输入输出全部匹配好，不匹配好的话，没有任何方法能够做得非常成功。下面还有一大串的局限，比如Black box，很多研究在破这个黑箱，走出现有神经网络的框架，要能够把以前大家所做的深度Bayes的方法加上一大串其它的方法整合到一起，就有望解决黑箱的问题。黑箱问题对我很重要，虽然有的研究人员觉得黑箱问题不是那么重要。同样重要的一点：神经网络现在非常难把知识自动扩大，就像小孩长大，他的知识一步步扩大，但是现在的人工智能对这个能力几乎还没往这方面想。我跟很多研究人员交流，怎么能够把基于神经计算的深度学习跟符号逻辑连在一起，你把逻辑关系搞清楚就能解释所有的东西。

下面用一张图解释最近的想法和工作，怎么样能够把逻辑推理70年代的人工智能跟现在的深度学习、自动学习能力非常强的神经网络结合到一起。现在这里有两个结构，下面一个是输入句子的句法树状结构。上面的树状结构是语义结构。用人工智能的传统方法来做，要写很多rules，但是要用神经网络方法来做的话就可以学习。用于统一两者的一个方法是建立一个等价关系。图状结构可以进入到神经网络。学习完了之后反向回到新的图状结构，能够把树状结构（或者图状结构）还原出来，这个过程中的推理逻辑就可以自动等价与在神经网络上面实现。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!