重磅 | ICML 2017最佳論文公布！機器學習的可解釋性成熱點

雷鋒網消息，8月6日，機器學習領域最具影響力的學術會議之一的ICML 2017在澳大利亞悉尼正式開幕。當天，除了舉行多場Tutorial外，ICML還在官網正式公布了本次會議的最佳論文評選結果。在前線雷鋒網AI科技評論的兩位編輯（張馳和劉芳平）第一時間為大家帶來獲獎論文的報道。

本屆ICML最佳論文的主題是，利用影響函數理解黑箱預測。機器學習中的一個關鍵問題就是，系統為何做出某種預測？

我們不僅需要表現優異的模型，更需要可解釋的模型。理解了模型如何做出決策，也就能進一步改善它。更重要的是，要讓機器學習應用于現實中的重要問題，比如醫療診斷、做出決策、災難響應，我們就需要一個能被人類理解和信任的系統。只有這樣它才能有更多的應用，畢竟誰都不希望機器給出診斷結果和治療意見，但不給出具體原因。

雷鋒網了解到，可解釋性在機器學習中正變得越來越重要。巧合的是，在今天上午的一場tutorial中，Google Brain的研究科學家Been Kim也談到了機器學習的可解釋性。她還指出，除了應用的角度，讓機器學習可解釋還能促進它更公平地被使用。她認為，機器學習這樣強大的工具不能僅被少數人理解和使用，而是應該讓更多的人受益，成為人人可用的工具。

機器學習的可解釋性已經有了不少的研究，但多數著重于解釋模型如何做預測，而這次的最佳論文提出的問題是，如何解釋模型是從哪來的？這一研究通過模型的學習算法來追溯其預測，并上溯到了訓練數據中。或許正是這種進一步追溯根源的新的視角，才讓它獲得了最佳論文獎。

值得一提的是，最佳論文的兩位作者都是華人。

Pang Wei Koh是來自新加坡的斯坦福大學在讀博士生。他此前在斯坦福獲得了計算機科學學士與碩士學位，并在斯坦福的AI實驗室與吳恩達一同工作過。在2012年，他加入了吳恩達聯合創立的在線教育平臺Coursera，成為其第三位員工。在2016年他開始在斯坦福攻讀博士學位。

Percy Liang是斯坦福大學的助理教授，此前曾在MIT和UCB學習及做研究。他的研究大方向是機器學習與NLP，目前的研究重點是可信任的代理，這些代理能與人類進行有效溝通，并通過互動逐步改善。

ICML 2017最佳論文獎

最佳：Understanding Black-box Predictions via Influence Functions

作者：Pang Wei Koh, Percy Liang

簡介：如何解釋黑箱模型的預測呢？這篇論文利用影響函數（穩健統計學中的經典技術），通過學習算法跟蹤模型的預測并追溯到訓練數據，從而確定對給定預測影響最大訓練點。為了將影響函數擴展到現代機器學習中，論文中設計了一個簡單，高效的實現，僅需梯度oracle訪問和Hessian矢量積。而且即使在非凸和非微分模型上，影響函數的近似值算法仍然可以提供有價值的信息。在線性模型和卷積神經網絡中，論文中也證明，影響函數可用于理解模型行為，調試模型，檢測數據集錯誤，甚至是生成視覺上無法區分的訓練集攻擊。

論文下載：https://arxiv.org/pdf/1703.04730.pdf

榮譽獎（Honorable Mentions）

論文：Lost Relatives of the Gumbel Trick

作者：Matej Balog, Nilesh Tripuraneni, Zoubin Ghahramani, Adrian Weller

簡介：Gumbel是從離散概率分布中抽樣或估計其規格化配分函數的方法，它會以特定方式重復地對分布進行隨機擾動，每次解決最可能的配置。論文中得出了一系列相關方法，其中包括Gumbel，這些新方法在幾種情況下具有優異的屬性，同時僅需最小的額外計算成本。特別的，要讓Gumbel在離散圖模型中產生計算優勢，Gumbel擾動通常會被低秩擾動（low-rank perturbation）取代。而論文中的一種新方法，可以為Gibbs分布生成一系列連續抽樣器。論文最后還展示了，Gumbel的簡單的解析形式如何得到額外的理論成果。

論文下載：https://arxiv.org/pdf/1706.04161.pdf

論文：Modular Multitask Reinforcement Learning with Policy Sketches

作者：Jacob Andreas, Dan Klein, Sergey Levine

簡介：論文描述了一個以策略草圖（policy sketches）為指導的多任務深度增加學習框架。草圖使用指定的子任務序列注釋任務，提供關于任務之間的高級結構關系的信息，但沒有如何實現的信息。為了從草圖中學習，論文中提出了一個將每個子任務與模塊化子策略相關聯的模型，并通過在共享子策略之間綁定參數，共同最大限度地提高對完整任務特定策略的回報。論文中在三種環境中評估了方法的有效性，包括離散和連續控制環境，以及僅在完成一些高級子目標之后才能獲得稀少獎勵的情況。實驗表明，用論文中的方法學習草圖指導的策略，比現有的學習特定任務策略或共享策略的技術表現更好。

論文下載：https://arxiv.org/pdf/1611.01796

論文：A Unified Maximum Likelihood Approach for Estimating Symmetric Properties of Discrete Distributions

作者：Jayadev Acharya, Hirakendu Das, Alon Orlitsky, Ananda Suresh

論文下載：http://people.ece.cornell.edu/acharya/papers/pml-opt.pdf

ICML 2017 “時間考驗”獎（Test of Time Award）

最佳：Combining Online and Offline Knowledge in UCT

作者：Sylvain Gelly and David Silver

簡介：UCT算法使用基于樣本的搜索在線學習值函數。 TD（λ）算法可以離線學習一個價值函數，用于策略分配。我們考慮了在UCT算法中組合離線和在線值函數的三種方法。首先，在Monte-Carlo模擬中，離線值函數被用作默認策略。其次，UCT值函數與快速在線估計的行動值（action value）相結合。第三，離線值函數用作UCT搜索樹中的先驗知識。我們在9 x 9 Go GnuGo 3.7.10中評估這些算法。第一種算法比隨機模擬策略優于UCT，但令人驚訝的是，比更弱的手工模擬策略更差。第二種算法完全勝過UCT。第三種算法勝過擁有人工先驗知識的UCT。我們將這些算法結合在MoGo中，它是世界上最強大的9 x 9 Go程序。每種技術都顯著提高了MoGo的發揮力度。

論文下載：http://suo.im/2Ki4I

榮譽獎

論文：Pegasos: Primal estimated sub-gradient solver for SVM

作者：Shai Shalev-Shwartz, Yoram Singer, Nathan Srebro

簡介：我們描述和分析了一個簡單有效的隨機子梯度下降算法，用于解決支持向量機（SVM）提出的優化問題。我們證明獲得精度εε求解所需的迭代次數為?（1 /ε）O?（1 /ε），其中每次迭代在單個訓練樣本上運行。相比之下，先前對SVM的隨機梯度下降法的分析需要Ω（1 /ε2）Ω（1 /ε2）迭代。如先前設計的SVM求解器，迭代次數也以1 /λ線性縮放，其中λ是SVM的正則化參數。對于線性內核，我們的方法的總運行時間是?（d /（λε））O?（d /（λε）），其中d是每個示例中非零特征數量的約束。由于運行時間不直接取決于訓練集的大小，因此得到的算法特別適合于從大型數據集學習。我們的方法也擴展到非線性內核，同時僅基于原始目標函數，盡管在這種情況下，運行時確實依賴于訓練集大小。我們的算法特別適用于大文本分類問題，在這些問題中，我們展示了超過以前的SVM學習方法的數量級加速。

論文下載：http://suo.im/2kC6PR

論文：A Bound on the Label Complexity of Agnostic Active Learning）

作者：Steve Hanneke

簡介：我們研究了不可知PAC模型中基于池的主動學習的標簽復雜度。 具體來說，我們得出了Balcan，Beygelzimer和Langford提出的A2算法所做的標簽請求數量的一般界限（Balcan et al. , 2006）。 這代表了不可知PAC模型中標簽復雜度的第一個非常重要的通用上限。

論文下載：http://suo.im/2wFVX3

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。