首页 小编推荐正文

人鱼线,LSTM之父,现已参加鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆

鬼栗子 发自 凹非寺

自从机器学习三巨子Hinton、LeCun、Bengio得了图灵奖,有个人就被玩坏了。

他叫Juergen Schmidhuber,还有个更浅显的姓名,是LSTM之父

(LSTM,长短期入母三分回忆,是一种重要的机器学习办法,能够学习长时间信息。)

那时,图灵奖的音讯下面,整座楼都在呼叫他的姓名。

现时不同了,有人为了更好地应援 (误) ,帮他写了首LSTM甘家口修建书店之歌

大凉汉骑 人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆

资料来自一次TED X讲演。

或许不像B站鬼畜区的选手那样专业,但论洗脑,陈绮贞为什么叫陈装装并不差劲。歌词大致如下,请调配视频食用:

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Human level intelligence.

人类等级的智能。

The LSTM is a litt人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆le bit like your brain.

LSTM有点像你的脑子。

learns a little bit here and l且望烈日earns a little bit ther李宇春老公和孩子相片e.

这儿学一点,那里学一点。

And my first publication on that dates back 30 years,戈鸟 1987.

我在这巨一集团有限公司上面第一次宣布论文是30年前,1987年了。

The long short term memory.

长时间、短期的回忆。

Another industrial revolution.

又一场工业革命。

Many many many, many many ma美素素ny people are listening.

许多多多多多多人都在听。

Trillions of replicating humans make the universe intelligent.

几千亿个仿制的人类,加在一同国际就智能了。

Animal-like AI.

动物相同的AI。

Everything is goi人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆ng 三国之西州制霸to change.

万物都将改动。

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

LSTM working for Facebook.

LSTM为Facebook服务。

Is anybody on Facebook?

有谁在用Facebook?

LSTM working for Facebook.

LSTM为F友妻acebook服务。

Is anybody on Facebook?

有谁在用Facebook?

The long short term memory.

长短期的回忆。

A new type of life is going to be mandatory.

一种新的生命,将成为有必要。

The long short term memory.

长短期的回忆。

A new type of life is going to be mandatory.

一种新的生命,将成为有必要。

billion human brains, taken together.

十一人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆人的脑子,放在一同。

I have no doubt in my mind.

我一点点没有置疑。

Is anybody doing that?

有人在做这件事么?

I have no doubt in my mind.

我一点点没有置疑。

Is anybody doing that?

有人在做这件事么?

(最终的洗脑循环没听清)

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Human level intelligence.

人类等级的智能。

The LSTM is a little bit like your brain.

LSTM有点像你的脑子。

learns a little bit here and learns a little bit there.

这儿学一点,那里学一点。

And my first publication on that dates back 30 years, 1987.

我在这上面第一次宣布论文是30年前,1987年了。

The long short term memory.

长时间、短期的回忆。

Another industrial revolution.

又一场工业革命。

Many many many, many many many people are listening.

许多多多多多多人都在听。

Trillions of replicating humans make the universe intelligent.

几千亿个仿制的人类,加在一同国际就智能了。

Animal-like AI.

动物相同的AI。

Everything is going to change.

万物都将改动。

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

Has anybody never heard of the LSTM?

有谁没听过LSTM?

LSTM working for Facebook.

LSTM为Facebook服务。

Is anybody on Facebook?

有谁在用Facebook?

LSTM working for Facebook.

LSTM为Facebook服务。

Is anybody on Facebook?

有谁在用Facebook?

The long short term memory.

长短期的回忆。

A new type of life is going to be mandatory.

一种新的生命,将成为有必要。

The long short term memory.

长短期的回忆。

A new type of life is going to be mandatory.

一种新的生命,将成为有必要。

billion hu霍小媛沙海man brains, taken together.

十一人的脑子,放在一同。

I have no doubt in my mind.

我一点点没有置疑。

Is anybody doing that?

有人在做这件事么?

I have no doubt in my mind.

我一点点没有置疑。

Is anybody doing that?

有人在做这件事么?

(最终的洗脑循环没听清)

甚至有一种,在迪斯尼电影里,主角走着走着唱起歌来的幻觉。这支小曲在推特拿下了超越300赞:

鬼畜作者说:“咱们觉得Schmidhuber没得图灵奖太不公平了。为了让他振作起来,就搞了这首歌。”

那么,世三铁一器界上有那么多没得图灵奖的大佬,为什么单单LSTM之父被玩坏?歌词又为什么单单点名了Facebook呢?

“我的开创性作业”

其实近些年,LSTM之父常常由于“自己的开创性作业没得到满意的尊重”这类剧烈的表达,引起国际的注目。

所以,这儿先描绘一下,LSTM是怎样一项开邻家娇妻文秋创性的作业。

就像歌里唱的那样,LSTM是长短期回忆的简称,和人脑的回忆有些相似。

它是一种特别的循环神经网络(RNN) ,开始在1997年宣布。那么,特别在哪里呢?

一般RNN是能把从前学到的信息,用到现下的使命里;但间隔越远的信息,就越难相关起来。引证Christopher Colah博客里的比方:

猜测“the clouds are in the sky”里最终一个词“sky”的话,不太需求联络上下文;

假如要猜测“I grew up in France… I speak fluent French”里的“French”,一般RNN知道该填一种言语,但不太简单联络到“France”这个悠远信息了。

猜测“the clouds are in the sky”里最终一个词“sky”的话,不太需求联络上下文;

假如要猜测“I grew up in France… I speak fluent French”里的“French”,一般RNN知道该填一种言语,但不太简单联络到“France”这个悠远信息了。

而LSTM便是为了处理这个问题而生的。它和一般RNN的区别是:

一般RNN的循环部分只要一层 (tanh) ,只依状况h的改动而改动,所以对短期的输入灵敏:

一般RNN,来自Colah博客

而LSTM的循环部分,又加入了c状况,保存长时间状况。所以,循环部分变成了4层,来决议短期状况究竟对长时间剧情发生多大的影响。

LSTM,来自Colah博客

这样,LSTM就能够学习更长的序列了。一个长时间困扰学界的问题,便是这样处理的。

1997年宣布的那篇论文,作者是Schmidhuber (二作) 和他的学生Hochreiter (一作) 。

后来,LSTM被多方发扬光大,如今已是机器学习范畴不行短少的办法了。

谷歌把LSTM用在语音辨认和谷歌翻译上;苹果的Siri和亚马逊的Alexa背面也都是LSTM。

Facebook一年要用LSTM做45亿次主动翻译。这是2017年的数据。

来自Reddit用户 @TheOverachiever “没得到满意的注重”

可这门技能越是重要,作为创造者之一的Schmidhuber越是觉得,自己没有得到满意的注重。

究竟,机器学习三巨子早已名满天下,而他的名号远不及这几位的嘹亮。

远离国际中心的他,在瑞士南部提契诺州卢加诺区曼诺的达勒莫尔AI研究所(IDSIA) ,担任联合主任。

2015年,为了留念人工智能60周年,三巨子合写了一篇深度学习总述,宣布在Nature上。

合理我们细心品读的时分,这篇文章收到了来自Schmidhuber的对立:

他列出了九条问题,批判三巨子的总述没有满意尊重前人的效果

比方,没有说到Alexey Ivakhnenko,他和小伙伴们在1965年宣布了国际上第一个有用的深度学习网络

比方,写到反向传达(BP) 的时分,只引证他们自己的论文,和少量几篇其他论文,疏忽了60年代前期Bryson等人的论文,后来的BP便是从那时的效果开展来的。

比方,没有提及Schmidhuber本人在RNN上面的作业。

很快,三巨子中的LeCun回怼了远在欧洲的同行。首要理由是,比起那些给出主意的人,更大的勋绩应该归于把主意用到机器学习上的人:

1986年曾经,有许多人早就用过链式法则了,也有许多人发现,multi-step function里能够把雅可比矩阵反向乘在一同。

但能不能说高斯、莱布尼茨、牛顿、拉格朗日都创造晰反向传达?

不!他们并没有把这个主意用到机器学习上,没有完成。

1986年曾经,有许多人早就用过链式法则了,也有许多人发现,multi-step function里可考尔克以把雅可比矩阵反向乘在一同。

但能不能说高斯、莱布尼茨、牛顿、拉格朗日都创造晰反向传达?

不!他们并没有把这个主意用到机器学习上,没有完成。

LeCun说,许多人也想过用链式法则练习一台机器,但反向传达直到80年代才真实创造出来。

他还说:

Juergen太想得到认可了,把各种东西都说成是他的劳绩,很多并不是他该得的。

这就导致每场talk之后他都要站出来,把他人刚刚展现的东西说成他自己人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆的,提出的方法还常常不太礼貌。

Juergen太想得到认可了,把各种东西都说成是他的领空白劳绩,很多并不是他该得的。

这就导致每场tal人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆k之后他都要站出来,把他人刚刚展现的东西说成他自己的,提出的方法还常常不太礼貌。

他成了梗:“你们写的一切LSTM,都是我的。”

LSTM之父与三巨子的对立面,就形成了。

当三巨子一同拿下图灵奖,吃瓜的世人又想起了这场风趣的战争,盖起了一座楼,又一座楼。

还有的人类,不满意于水论坛、答“知乎”这种简易的活动,挑选拿起鬼畜的兵器,才有了我们听到的LSTM之歌

歌词特意点名Facebook,也是为了留念吧。

究竟,歌名只要战争的一方,另一方的首要发言人LeCun,已是Facebook首席AI科学家了。

One More Thing

告知你一个隐秘,尝到鬼畜甜头的小伙伴,才不会做一首歌就满意。

这儿是另一回视钟情首,节奏愈加剧烈,歌词也有些奇特:

你大约听到了这样的语句:

“有三个人被判了死刑。”

“你们的遗言是什么?”

似乎是在说:

参考资料如下。

Colah的博客:

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

零根底入门深度学习(6) - 长短时回忆网络(LSTM):

https://zybuluo.com/hanbingtao/note/581764

看Juergen Schmidhuber论争LeCun、Bengio和Hinton:

https://blog.csdn.net/h人鱼线,LSTM之父,现已参与鬼畜全明星,“他为啥没得图灵奖,太不公平了!”,126邮箱登陆appytofly/article/details/80120442

《纽约时报》报导:

https://www.nytimes.com/2016/11/27/technology/artificial-intelligence-pioneer-jurgen-schmidhuber-o什么vpn好用verlooked.html

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。