0
雷鋒網AI科技評論消息：近日，在加拿大多倫多大學向量學院發起的“2017 - 2018年機器學習進展與應用”研討會上，神經網絡之父Geoffrey Hinton做了一場報告《What is wrong with convolutional neural nets?》，在報告中Hinton講解了他多年來一直在做的研究工作，他稱之為“膠囊理論”（capsules theory）。
在報告中，他認為“標準神經網絡”與真實的大腦神經網絡相比有以下四個問題：
1、池化過程并沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什么我們人類能將內在的坐標系映射到物體上，以及為什么這些坐標系這么重要；
2、池化解決的問題是錯的——我們想要的是信息的同變性而不是不變性，是理清信息而不是丟棄信息；
3、池化沒有利用底層線性結構——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。
4、池化在處理動態路由時很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經元中，找到最佳的路徑就是在解析圖像。
Hinton提出了他“膠囊”（capsules）的概念。簡單地說，這些“膠囊”就是在神經網絡中構建和抽象出的子網絡。什么意思呢？一個標準的神經網絡，層與層之間是全連接的（也就是說，層1中的每個神經元都可以訪問層0中的每個神經元，并且其本身也可以被層2中每個神經元所訪問），但這些連接并不一定都是有用的。“膠囊理論”的方案是，神經網絡由n個子網絡（膠囊）構成，每個膠囊都專注于做一些單獨的任務，膠囊本身可能需要多個層網絡來實現。其輸出包括物體所屬類型的概率以及物體的狀態信息（比如位置、方向、大小、形變、速率、顏色等）。低層次膠囊輸出的參數會被轉換成高層級膠囊對實體狀態的預測，如果預測一致，則輸出這一層次的參數。
一個典型的膠囊將從多個低層次的膠囊中獲得信息（多維預測向量），然后尋找一個預測的緊致束（tight cluster of predication）。如果它能夠找到這個緊致束，那么它就會輸出實體在這個域內類型存在的較高的概率，以及生成狀態的重心（狀態平均值）。這種方式可以很好地過濾掉噪聲，因為較高維度的巧合發生的概率很小，所以膠囊的方法要比“標準的神經網絡”好很多。Hinton說，他這種“膠囊”的想法是受到腦科學中對“迷你列組織”（mini-column organization）研究的很大的啟發。
此外，據雷鋒網了解，關于“膠囊理論”的研究Hinton已在多個場合做過類似的報告，不過目前Hinton好想并沒有打算把他的研究成果發表出去，因為他覺得現在的研究還沒有讓他滿意——那么，當他對這項研究滿意的時候，會不會再次成為“the Father of ……” ？
雷鋒網注：資源鏈接——
1、What's wrong with convolutional nets? @MIT TechTV(2014年在“腦與認知科學”研討會上的報告視頻，內容類似)
2、Hinton未發表工作：Transforming Auto-encoders（PDF）
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
