学术论文网

品质源于专业,服务源于真心!
  • 868学术论文网---您值得信赖值得靠谱的写论文的要点和技巧网站.
    当前位置: > 管理学论文 > 正文>超越反向传播LSTM登顶20世纪AI论文高引No1光今年就

    超越反向传播LSTM登顶20世纪AI论文高引No1光今年就

    发布日期:2020-02-11 15:58 管理学论文

      

    经典也会被经典超越。

      

    20世纪深度学习研究中,引用最多的论文不再是反向传播。

      

    新的宠儿,是1997年Hochreiter和Schmidhuber发表的Long short-term memory。

      

    大名鼎鼎的LSTM。

      

    超越反向传播

      

      

    LSTM的引用量,目前已经超过了26000。

      

    而反向传播,相关的论文虽然不少,但都不再比LSTM高:

      

      

      

    如果只算一年,比如马上结束的2019年,根据Google Scholar的结果,DE Rumelhart、GE Hinton、RJ Williams三人组的两篇反向传播论文,今年一整年的引用量加起来足足有3085次。

      

      

      

    但新宠LSTM被引用了6750次。

      

      

    超过前者的两倍。

      

    因此,当一位吃瓜人士将这个数据发布到Reddit的机器学习版块后,它迅速成为了讨论的焦点。

      

    不过,至于反向传播与LSTM两者的地位,在人们心中尚无定论。

      

    有人觉得,可能反向传播引用的太多,历史地位太高,已经被当做了一个常识,所以干脆后来的论文作者们就不引用它了。

      

      

    但深度学习走到如今这个时代,LSTM有着更广泛的作用。

      

    它部署在了每部智能手机上,它让DeepMind拿到了《星际II》冠军,让OpenAI拿到了Dota冠军。

      

    Schmidhuber的LSTM

      

    1997年,Hochreater和Schmidhuber提出了长短期记忆网络。对话温籍数学家季理真:数学与家乡论文

      

    这是一种时间循环神经网络,主要是为了解决一般RNN所存在的长期依赖问题:

      

    所有的RNN都具有一种重复神经网络模块的链式形式。

      

    在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层。

      

      

    而LSTM也是类似的结构,不同点在于重复模块的结构。

      

      

    与单一的神经网络层不同,LSTM有四个类似tanh的层,并以一种非常特殊的方式进行交互。

      

    LSTM通过各种门(gate)来实现信息的添加与删除。

      

    根据谷歌的测试表明,LSTM中最重要的是遗忘门(Forget gate),其次是输入门(Input gate),最后是输出门(Output gate)。

      

    遗忘门

      

      

    遗忘门决定会从上一个细胞状态中丢弃什么信息,也就是说决定要记住什么和要遗忘什么。

      

    输入门

      

      

    输入门决定让多少新的信息加入到cell状态中。

      

    更新细胞状态

      

    把旧状态与ft相乘,丢弃掉确定需要丢弃的信息,再加上经过筛选后的新信息,就得到了当前cell的状态。

      

      

    输出门

      

      

    此时,就基于当前的cell状态进行输出。

      

    LSTM的表现通常比时间递归神经网络及隐马尔科夫模型(HMM)更好,还普遍用于自主语音识别,可作为复杂的非线性单元用于构造更大型深度神经网络。

      

    两位传奇作者

      

    LSTM的作者Sepp Hochreiter和Juergen Schmidhuber二人都来自德国,

      

    Sepp Hochreiter,现在是奥地利约翰内斯开普勒大学机器学习研究所的负责人,超越反向传播LSTM登顶20世纪AI论文高引No1光今年就近7千次论文LSTM是他在慕尼黑工业大学的硕士毕业论文。


    网友转发请注明出处转载请保留链接:超越反向传播LSTM登顶20世纪AI论文高引No1光今年就本文链接http://www.yule868.com/30507.html,谢谢合作!


    上一篇:谈网络游戏与传统基础教育的结合   下一篇:植物医学学院举行优秀学士论文评选答辩会


    论主学术论文网 学术论文网专业指导写论文的要点和技巧,指导如何写论文,本科毕业论文,写作大学毕业论文,专为工程类,医学类,教育类,经理类,管理类,会计类,艺术类等原创毕业论文如何写,值得信赖值得靠谱的毕业论文写作网站.
  • 文章总数
  • 4171327访问次数
  • 建站天数
  • 学术论文网

    XML地图 XML_1地图