60年技术简史，带你读懂AI的前世今生

不过其实和Attention同时流行的还包括”Memory”，这大概是2015年的时候，当时流行”Reason, Attention and Memory”(简称RAM)，我记得当年NIPS还有个RAM的workshop。Memory就是把LSTM的Cell进一步抽象，变成一种存储机制，就行计算机的内存，然后提出了很多复杂的模型，包括Neural Turing Machine(NTM)等等，包括让神经网络自动学习出排序等算法。当时也火过一阵，但最终并没有解决什么实际问题。

虽然RNN/Transformer可以学习出上下文语义关系，但是除了在机器翻译等少量任务外，大部分任务的训练数据都很少。因此怎么能够使用无监督的语料学习出很好的上下文语义关系就成为非常重要的课题。这个方向从2018年开始一直持续到现在，包括Elmo、OpenAI GPT、BERT和XLNet等，这些模型一次又一次的刷榜，引起了极大的关注。

ELMo是Embeddings from Language Models的缩写，意思就是语言模型得到的(句子)Embedding。另外Elmo是美国儿童教育电视节目芝麻街(Sesame Street)里的小怪兽的名字。原始论文是《Deep contextualized word representations》，这个标题是很合适的，也就是用深度的Transformer模型来学习上下文相关的词表示。

（编辑：PHP编程网 - 黄冈站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!