編輯 | 叢 末
Yoshua Bengio來Twitter傳道授業(yè)解惑啦！Yoshua Bengio是2018年圖靈獎(jiǎng)獲得者，蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授，蒙特利爾學(xué)習(xí)算法研究所（MILA）科學(xué)主任，以及微軟研究院顧問。這是他首次在Twitter上亮相，不過可惜的是，他并沒有開通自己的Twitter賬號，而是借著微軟研究院的官方Twitter 賬號發(fā)言。早在7月11日，Bengio就在微軟研究院的官方Twitter上發(fā)布了一個(gè)視頻，表示會在7月16日與網(wǎng)友進(jìn)行問答互動。Bengio在視頻中說，可以就他的研究工作提任何問題，并特別提到他發(fā)表在ICML2020的一項(xiàng)工作。不過提問者似乎對如何入坑AI以及其它學(xué)術(shù)問題更感興趣，有人甚至問Bengio如何教小學(xué)生學(xué)習(xí)AI，Bengio也毫不介意，非常熱情耐心地回答了二十多個(gè)問題，讓我們來看看Bengio都分享了哪些真知灼見吧。 可以在這個(gè)網(wǎng)頁或Twitter上搜索“#AskYoshua”查看所有網(wǎng)友的問題。雖然回答時(shí)間已經(jīng)過去了，仍有不少網(wǎng)友想請教Bengio。#AskYoshua問答：https://twitter.com/hashtag/AskYoshua?src=hashtag_clickBengio提到的發(fā)表在ICML2020的論文是《Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules》，感興趣的同學(xué)可以去看看：
論文的ICML主頁：https://icml.cc/virtual/2020/poster/6039 以下是問答內(nèi)容，AI科技評論進(jìn)行了不改變原意的整理：01、Rakshith V：為了從理論轉(zhuǎn)向?qū)嶋H從而更好地理解深度學(xué)習(xí)，我應(yīng)該怎么做？是實(shí)現(xiàn)論文，還是參加Kaggle競賽，還是其它途徑？Yoshua Bengio：首先，你需要敢于實(shí)踐，親自動手嘗試。復(fù)現(xiàn)論文是一個(gè)很好的起點(diǎn)（除非擁有大量算力，一般我都進(jìn)行小型實(shí)驗(yàn)）。然后，你可以自問，采用什么方法可以使實(shí)現(xiàn)結(jié)果變得更好。如果發(fā)現(xiàn)論文中的結(jié)果不可復(fù)現(xiàn)，請不要猶豫，立刻與作者聯(lián)系！最后，不要猶豫，發(fā)表你的復(fù)現(xiàn)結(jié)果吧（例如，發(fā)表在arXiv），不管它是否奏效（知道復(fù)現(xiàn)結(jié)果的難度也是很有用的）。02、Zaryab Akram：您對剛進(jìn)入AI領(lǐng)域的研究人員有什么建議？Yoshua Bengio：通過閱讀足夠深入地了解AI領(lǐng)域之后，將注意力集中在可以逐漸成為專家的某個(gè)領(lǐng)域，花時(shí)間閱讀該領(lǐng)域的文獻(xiàn)。另外，通過自己進(jìn)行實(shí)驗(yàn)來建立你的直覺，然后開始聽從這些直覺去實(shí)踐，有些會起作用，有些則不會。03、Marcos Pereira：如果有人想開展獨(dú)立研究以彌補(bǔ)深度學(xué)習(xí)當(dāng)前的缺點(diǎn)（涉及構(gòu)建人類智能的更大目標(biāo)），您認(rèn)為如何開始比較好？Yoshua Bengio：每個(gè)機(jī)器學(xué)習(xí)研究人員都會對這個(gè)問題有不同的答案，這很棒，因?yàn)槲覀儾恢朗裁磇dea是有用的：研究是一種探索。您可以通過觀看我最近的演講，并閱讀我的近期論文來了解。04、deva satya sriram chinthapenta：我是一名學(xué)生，對深度學(xué)習(xí)研究感興趣，但對應(yīng)用不感興趣。我該如何從純數(shù)學(xué)（概率統(tǒng)計(jì)）著手研究計(jì)算機(jī)視覺或其他領(lǐng)域？Yoshua Bengio：即使只想進(jìn)行基礎(chǔ)研究，也應(yīng)該動手理解概念，多親自觀察實(shí)驗(yàn)的結(jié)果，建立不僅基于理論而且基于經(jīng)驗(yàn)的強(qiáng)烈直覺。系統(tǒng)1（經(jīng)驗(yàn)）和系統(tǒng)2（理論）需要協(xié)同工作！05、Ash：來自軟件工程等應(yīng)用領(lǐng)域的人如何開始AI研究？Yoshua Bengio：我和Ian Goodfellow、Aaron Courville合作寫了《深度學(xué)習(xí)》，這本書可以為你們提供幫助。電子版免費(fèi)哦：https://www.deeplearningbook.org/還有中文版哦：https://github.com/exacity/deeplearningbook-chinese學(xué)會必要的數(shù)學(xué)知識，然后去研究建議的參考文獻(xiàn)，以確保具備閱讀機(jī)器學(xué)習(xí)論文所需的知識。然后閱讀大量論文，并親自進(jìn)行大量實(shí)驗(yàn)。問自己問題，不要認(rèn)為任何事情都是理所當(dāng)然的。06、Rakshith V：您對近期自監(jiān)督學(xué)習(xí)的發(fā)展有什么看法？Yoshua Bengio：自監(jiān)督學(xué)習(xí)是一個(gè)非常古老的想法，只是用了新術(shù)語，它基本上是從無標(biāo)簽（或標(biāo)簽不足）的數(shù)據(jù)中生成表征形式。近年來，它的威力變得越來越為人所知，它將繼續(xù)成為我們工具箱的一部分，但僅憑自監(jiān)督學(xué)習(xí)不足以解決諸如OOD泛化和學(xué)習(xí)更高級別的抽象之類的問題。07、Mayur Jain：現(xiàn)實(shí)生活中存在偏見/歧視，而偏見/歧視又反映在數(shù)據(jù)中。由于很難在現(xiàn)實(shí)中更改數(shù)據(jù)，那要如何克服數(shù)據(jù)中存在的偏見/歧視？Yoshua Bengio：我不是這個(gè)問題的專家，但是有專門針對此問題的講座和教程。出發(fā)點(diǎn)是同情心，要思考我們的行為如何傷害或幫助他人，并且要明白讓不公正現(xiàn)象繼續(xù)存在是不可接受的。我們每個(gè)人只要做一點(diǎn)點(diǎn)改變就可以逐漸改變社會規(guī)范、文化和實(shí)踐，從而朝著更加公平和包容的社會邁進(jìn)。在日常生活（包括工作）中思考自己可以做的事情，以及從其他人正在做的事情中尋找啟發(fā)。08、Antonio Regalado：請問您的新論文是對計(jì)算機(jī)和人類推理偏見（bias）的辯護(hù)嗎？Yoshua Bengio：歸納偏置（inductive bias）和偏見不是一個(gè)概念。機(jī)器學(xué)習(xí)探索各種歸納偏置。在這項(xiàng)研究中，我們嘗試從大腦中獲取靈感，以探索可能有更好泛化能力的神經(jīng)網(wǎng)絡(luò)架構(gòu)。最好的歸納偏置有很好的泛化能力。很多基于推理的經(jīng)典AI都是受人類認(rèn)知啟發(fā)的，現(xiàn)代機(jī)器學(xué)習(xí)也是如此。09、Harm van Seijen：研究模塊化網(wǎng)絡(luò)上時(shí)要注意的主要陷阱是什么？Yoshua Bengio：這是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)研究的常規(guī)方法，我認(rèn)為，我們應(yīng)該從OOD泛化性和遷移學(xué)習(xí)任務(wù)中的樣本復(fù)雜性方面衡量增益，而不是依據(jù)常規(guī)的基準(zhǔn)。實(shí)驗(yàn)效果不佳的話，可能會讓人們感到沮喪，過去這也發(fā)生在我身上。解決方案是：用長遠(yuǎn)的眼光重新思考，以決定是否繼續(xù)努力。10、Alejandro Piad Morffis：您對AutoML感興趣嗎？您認(rèn)為AutoML和NAS是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)未來發(fā)展的重心還是邊緣領(lǐng)域，或者它僅是面向應(yīng)用的方法？Yoshua Bengio：我對AutoML研究，以及架構(gòu)搜索和生物進(jìn)化之間的聯(lián)系感到著迷。不僅是架構(gòu)，學(xué)習(xí)過程本身也應(yīng)該成為搜索的一部分。然而，這種盲目搜索的問題在于：它使得我們更難以科學(xué)地（例如在數(shù)學(xué)上）理解算法的過程。我想說這種研究是不得已而為之，是一種絕望的選擇，認(rèn)為我們可能無法使用理性找到解決方案，而需要依賴蠻力。11、Samiul Hasan：神經(jīng)網(wǎng)絡(luò)還無法解決哪些問題？Yoshua Bengio：當(dāng)前的神經(jīng)網(wǎng)絡(luò)大多擅長人類的系統(tǒng)1（經(jīng)驗(yàn)）的能力，但并不擅長某些系統(tǒng)2（理論）的能力。語言學(xué)家一直特別強(qiáng)調(diào)，與當(dāng)前的機(jī)器學(xué)習(xí)（包括深度學(xué)習(xí)）相比，人類擅長系統(tǒng)概括。人類可以系統(tǒng)地將通用概念重組以形成清晰而新穎的含義，甚至可以應(yīng)用到全新的領(lǐng)域，。12、Mohit Sharma：許多機(jī)器學(xué)習(xí)研究是易于進(jìn)行的并且可以獨(dú)立進(jìn)行。但是，理論研究很難獨(dú)立地在沒有指導(dǎo)的情況下發(fā)表在COLT / ICML中。您對此有什么建議呢？Yoshua Bengio：去接觸從事您認(rèn)為有趣的工作的初級研究人員。13、Hitesh Kumar Balapanuru：在AI中存在以下幾個(gè)問題：（1）泛化能力vs在有限測試數(shù)據(jù)集上更高的準(zhǔn)確率（數(shù)據(jù)可能反映現(xiàn)實(shí)世界模式）（2）如果算法準(zhǔn)確率很高，可解釋性是否重要？Yoshua Bengio：機(jī)器學(xué)習(xí)領(lǐng)域?qū)⒑芏嘌芯烤Ψ旁诜夯囊话阈问缴希詼y試與訓(xùn)練數(shù)據(jù)擁有相同分布的數(shù)據(jù)。我認(rèn)為我們正在轉(zhuǎn)向分布外（out-of-distribution）泛化，這將實(shí)現(xiàn)更強(qiáng)的魯棒性。此外，從擬合數(shù)據(jù)分布轉(zhuǎn)向建立其抽象表征以捕獲因果結(jié)構(gòu)的方法（使用類似于單詞的概念，即語義表征），也應(yīng)該有助于解釋性。14、Venkateshwar Ragavan @ ICML’2020：鑒于神經(jīng)科學(xué)對理解人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生了深遠(yuǎn)的影響，還有哪些學(xué)科（如物理學(xué)等）將在理解人工神經(jīng)網(wǎng)絡(luò)黑箱子方面發(fā)揮關(guān)鍵作用？Yoshua Bengio：物理學(xué)已經(jīng)對神經(jīng)網(wǎng)絡(luò)產(chǎn)生了重大影響，比如基于能量的模型、玻爾茲曼機(jī)、熵和互信息的概念，以及物理和因果推理之間的關(guān)系。推薦你看看這個(gè)視頻：https://www.youtube.com/watch?v=4qc28RA7HLQ15、Ujjwal Upadhyay：有一個(gè)觀點(diǎn)說，表征學(xué)習(xí)有助于解決對抗性學(xué)習(xí)問題，您怎么看？Yoshua Bengio：首先，人類也容易遭受對抗攻擊（視錯(cuò)覺、心理偏見等）。其次，我相信，一旦能夠訓(xùn)練深層網(wǎng)絡(luò)捕獲對世界的高級抽象理解，我們將得到更加魯棒的系統(tǒng)。這個(gè)問題與系統(tǒng)2（理論）相關(guān)聯(lián)，當(dāng)然，也以系統(tǒng)1（經(jīng)驗(yàn)）為基礎(chǔ)。當(dāng)前許多成功作弊的對抗樣本都利用了系統(tǒng)依賴于底層特征（即不夠抽象的特征）的特點(diǎn)。16、Alex Simonelis：您認(rèn)為國家是否應(yīng)該限制AI研究？Yoshua Bengio：這是一個(gè)棘手的問題。但是，作為研究人員或工程師，我們確實(shí)需要注意誤用AI對社會的影響。 17、Greg Yang：我很好奇您在“意識先驗(yàn)”方面的最新研究成果是什么？相關(guān)論文：https://arxiv.org/abs/1709.08568Yoshua Bengio：我最近的論文中有很大一部分是對此的后續(xù)研究，有幾篇正在提交中。值得注意的有兩個(gè)分支：一個(gè)是關(guān)于因果發(fā)現(xiàn)（在稀疏的因果圖中）的系列論文，另一個(gè)是關(guān)于模塊化循環(huán)架構(gòu)的論文。關(guān)于循環(huán)獨(dú)立模塊，我在ICML發(fā)表的論文中涉及的自上而下的注意力就是一個(gè)例子。可以查看我最近的演講以得到更廣泛的了解，比如在Tubingen機(jī)器學(xué)習(xí)Summer Schoool上的演講。No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc18、Harm van Seijen：您認(rèn)為，是否存在可以對大多數(shù)形式的組合進(jìn)行編碼的模塊化網(wǎng)絡(luò)設(shè)計(jì)？還是我們需要不同形式來編碼不同形式的組合？Yoshua Bengio：在深度網(wǎng)絡(luò)架構(gòu)中，至少已經(jīng)利用了兩種形式的組合性，一種形式來自分布式表征，另一種形式來自深度。模塊化和注意力以及可能的其他機(jī)制（例如工作記憶）可能是另一種形式的要素，有可能幫助實(shí)現(xiàn)人類所擁有的系統(tǒng)概括能力。19、Pinaki Dasgupta：您認(rèn)為未來五年深度學(xué)習(xí)或意識處理會如何發(fā)展？Yoshua Bengio：我認(rèn)為，大腦中關(guān)于意識處理的一些機(jī)制會在接下來的幾年中逐漸融入了深度學(xué)習(xí)架構(gòu)和訓(xùn)練框架中。此外，執(zhí)行控制的優(yōu)勢也能為深度學(xué)習(xí)帶來好處，例如重用知識、遷移學(xué)習(xí)、處理反事實(shí)的能力、抽象的信用分配等等。20、Devon Hjelm：在您看來，是什么idea促成了當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域的現(xiàn)狀？您認(rèn)為我們在不久的將來（未來5年）將走向何方？Yoshua Bengio：你可以看我最近發(fā)布的演講視頻《Deep Learning》，第一個(gè)視頻回答了你第一個(gè)問題，第二個(gè)視頻回答了你第二個(gè)問題。No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc假如讓Bengio教孩子機(jī)器學(xué)習(xí)？
21、Stefania：這是一個(gè)假想問題，您會如何設(shè)計(jì)K12（學(xué)前教育至高中教育的縮寫）機(jī)器學(xué)習(xí)教育？Yoshua Bengio：我會讓孩子加強(qiáng)對數(shù)學(xué)和CS的學(xué)習(xí)，但更重要的是讓孩子在學(xué)習(xí)過程中具有自主權(quán)。讓他們成為發(fā)現(xiàn)物理定律和數(shù)學(xué)技巧的人，而不是被強(qiáng)迫加入其中。我會將孩子當(dāng)成新手研究人員，給予建議和指導(dǎo)。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
