1
| 本文作者： 岑大師 | 2017-09-17 19:38 |
一個星期前由Fran?ois Chollet在Twitter上引發的“深度學習是否進入平臺期”的討論，因為大神Geffory Hinton的參與達到了高峰。
據科技媒體Axios報道，上周三在多倫多舉行的一個AI會議上Hinton表示，他現在對反向傳播算法“深感懷疑”。這一算法是用來訓練人工神經網絡的常見方法，該方法計算對網絡中所有權重計算損失函數的梯度。這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。值得一提的是，Hinton本人是反向傳播算法的早期提出者，1986年，Hinton在一篇論文中首次將反向傳播算法引入多層神經網絡訓練。
盡管在這次會議上，不少參會的科學家表示在人工智能的未來反向傳播仍處于核心地位，但Hinton的發言一錘定音：可能會有全新的方法推出。Hinton在現場引用普朗克的名言稱：“Max Planck 曾說：‘科學之道，不破不立。’未來取決于對我所說的一切持懷疑態度的那些研究生。”他還表示，如果要讓深神經網絡變得更聰明，即向無監督學習過渡，“這可能意味著要徹底放棄反向傳播。”
這一觀點在Twitter上引起了廣泛討論，Pedro Domingos、李飛飛等多人紛紛轉發。在李飛飛轉發的Twitter上，雷鋒網注意到，前幾天的“few tools lives enternity”已經悄然變成了“no tool is eternal”，Hinton這一觀點對AI研究者的震撼之大可見一斑。
眾所周知，從Hinton于2006年在Science雜志上發表《Deep Belief Networks》的論文開啟了深度神經網絡的新時代。十余年來，基于Hinton及眾多先驅提出的深度學習理念框架，深度學習在有監督學習上取得了一定的突破，但同時也暴露出了一定的技術局限，如數據需求大、環境適應弱、可解釋性差、性能差異大、數據分享難等。不少研究者認為，人工智能的下一步發展有待于在無監督學習領域的進一步突破。
Hinton近日對其在2011年的一篇論文《Transforming Auto-encoders》提出的Capsule概念重新進行了思考及完善，關于Capsule的最新論文《Dynamic Routing Between Capsules》目前已被NIPS 2017接收，目前這篇論文并未正式發表，但我們還是可以從Google Research Blog發表的論文摘要以及部分提到了Capsule的Slide上了解到關于Hinton對Capsule的想法，雷鋒網摘編如下：
Capsule 是一組神經元，其活動向量的矢量方向及方向分別代表實體化程度及實例參數，相同水平下的活躍capsule可通過矩陣變換對更高級別的Capsule實體化參數進行預測。當多個預測一致時，高級別的Capsule將會更加活躍。在論文中我們展示了用于判別訓練的多層Capsule系統在MNIST數據集表現臻于完美，相比起高度重疊的數字的卷積網絡的性能更為優越。為達到這一目標，我們試用使用迭代的路由協議機制，即低級別的Capsule傾向于將預測結果輸出發送至高級別的Capsule，從而使得高級別Capsule的活動向量具備大標量積。論文最終版本正在修訂中，并會包含評論者的意見。
換言之，Capsule試圖在神經網絡內形成和抽象創建子網絡，也就是說，如果你看一個標準的神經網絡，層與層之間是完全連接的（也就是說，層1中的每個神經元都可以訪問層0中的每個神經元，并且本身被第2層中的每個神經元訪問，以此類推）， 這種更復雜的圖形拓撲似乎可以更有效地地提高生成網絡的有效性和可解釋性。論文中提到的 Dynamic Routing，就是希望能夠形成一種機制，讓網絡能夠將適合某一層 Capsule 處理的內容，路由到對應的 Capsule讓其處理，從而形成了某種推斷鏈。
（關于Capsule理論的更多內容，可參見雷鋒網之前文章：《Hinton親自講解迄今未發表工作：膠囊理論的核心概念到底是什么？》）
在知乎的這一問題下，得到贊同最高的SIY.Z是這樣回答的：
首先這個工作成功或者不成功都是很正常的，就算 Capsule 真的會成為以后的趨勢，Hinton 也未必這么快找到正確的訓練算法；就算 Hinton 找到了正確的訓練算法，也沒有人能夠保證，Capsules 的數量不到人腦中 mini-columns 數量的時候，能夠起達到人類的識別率（何況現在 CNN 雖然問題很多，但是識別率很多已經超過人類了）。
從目前已經披露的信息看，Capsule的概念會更仿生一些，能夠更好地模擬人類大腦神經元之間的復雜連接結構，但對這個框架具體的數學描述仍有待于進一步研究。
雷鋒網認為，在最近幾年，深度學習得到了廣泛的應用，深度學習工程化的門檻逐步降低，導致在諸多學術會議上已經開始呈現出“不用深度學習都不好意思和人打招呼”的現象，在這種環境下，不少研究者也在探索深度學習之外的其他理論研究，Hinton的“深度學習需要推倒重來，可能需要拋棄反向傳播”的反思更多具備指導性的意義，也會激勵更多人在其他的理論研究上進一步探索。
值得一提的是，有不少國內學者已經走在了這個領域的前列。如南京大學的周志華教授今年稍早發表的關于多層隨機森林的論文《Deep Forest: Towards An Alternative to Deep Neural Networks》是關于用做深度學習的，也不需要反向傳播；而在去年，周志華教授也針對當前深度學習存在的技術局限提出了“學件”的解決方案，在這一波對深度學習的重新思考中，我們也期望有更多的國內學者能夠有更多的突破。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
