遞歸神經網絡之父施米德休：他和DeepMind有不解之緣

本文作者：宗仁

2016-03-17 21:05

導語：1997年，他和他的學生團隊提出了簡化時間遞歸神經網絡的長短期記憶人工時間遞歸神經網絡(LSTM RNN)，并因為這個開創性的成果而聲名遠播。

最近因為人機大戰成為當紅炸子雞的DeepMind被世人各種扒皮，但很少有人想到它的聯合創始人中也有來自深度學習四巨頭之一Jürgen Schmidhuber的學生，有種扒來扒去原來還是沒逃出這個圈子的感覺。

作為又一位以貢獻論資歷的大牛，雷鋒網非常驚奇地發現Schmidhuber在網上的資料也是少得可憐，so, 又一次展示出我們開扒小能手的一面，為大家找來了所有網上能找到的資料，來為大家畫個清晰的輪廓。

1. 根據linkedin的介紹，大概從15歲左右開始， Jürgen Schmidhuber的主要目標就是建造一個能夠自我改進的比他自己聰明的人工智能，然后他就能退休了。

2. 1987年，他首先將自我改進的常規問題給解決了，并從1991開始研究出了深度學習神經網絡。他的研究團隊研發出的遞歸神經網絡第一次贏得了官方國際賽事的冠軍。

3. 1992年，他和他的學生團隊提出了非監督學習時間遞歸神經網絡(recurrent neural net)，為語音識別和自然語言翻譯提供了重要的模型。

4. 1997年，他和他的學生團隊提出了簡化時間遞歸神經網絡的長短期記憶人工時間遞歸神經網絡(LSTM RNN)，解決了時間遞歸網絡在學習過程中的誤差消失和放大問題，并因為這個開創性的成果而聲名遠播，并奠定了遞歸神經網絡之父的美譽。

5. 2007年的時候，他和他的學生團隊用CTC訓練的LSTM開始革新語音識別，性能表現超越了鍵盤識別任務中傳統方法。

谷歌后來也用LSTM以幫助改進現有的技術，包括圖像字幕（2014年）、機器翻譯（2014年）、文本到語音合成（2015年，現在可在谷歌Android上使用）、自然語言處理的句法分析（2015年）等其它許多應用。

6. 2009至2012年年間，他的研究小組贏得了模式識別和機器學習的八個國際比賽。

MICCAI 2013有絲分裂檢測挑戰賽

ICPR 2012乳腺癌組織學圖片有絲分裂檢測大賽

ISBI 2012腦圖像分割挑戰賽

IJCNN 2011交通標志識別大賽

ICDAR 2011離線中國書法大賽

在線德國交通標志識別大賽

ICDAR 2009阿拉伯語連接手寫大賽

ICDAR 2009波斯語/阿拉伯語手寫字符識別大賽

ICDAR 2009法語連接手寫大賽

7. 2015年，CTC訓練的LSTM極大地改善了Google Voice（49%）——現在有超過10億智能手機用戶可以使用它。微軟和IBM和其它著名公司也在大量使用LSTM。

8. Schmidhuber在InfoQ最近的采訪《專訪深度學習元老Jürgen Schmidhuber：這個實驗室如何孕育DeepMind 》當中表示，“我為谷歌DeepMind的成功感到高興，同時也因為這家公司在很大程度上受我以前的學生影響：DeepMind的頭四個成員中有兩個來自IDSIA，他們的第一個人工智能領域的博士雇員也來自IDSIA，其中一個是聯合創始人，另一個是公司的第一名員工”。

9. 2015年ICML的深度學習研討會，Schmidhuber認為，真正運行AI代理的代碼是非常簡短的，甚至高中生都能玩轉它。換句話說，不用有任何擔心會有行業壟斷AI及其研究。

10. 2015年，Schmidhuber和他在瑞士人工智能實驗室 IDSIA 共事的四位研究人員聯合創辦了初創公司Nnaisense。

小結：

作為又一位在理論研究上有貢獻、不耍流氓的深度學習大牛，雖然找到他的資料并不容易，但對整個科學界來說，這樣的人越低調我們越愛他，特別是在InfoQ最近的采訪中，他表示，“我最近的研究興趣仍然是我早在20世紀80年代闡述過的那些：「開發出比我更聰明的人工智能，這樣我就可以退休了?！埂保@讓我們看到一個始終堅持初衷的大牛形象。