0
| 本文作者： 楊文 | 編輯：楊曉凡 | 2018-02-03 22:06 | 專題：ICLR 2018 |
雷鋒網 AI 科技評論：這是一名 MIT CS 在讀博士生在推特上引發的爭論。
谷歌大腦負責人 Jeff Dean 日前在推特上轉了一篇名字為 Anish Athalye 的推文，立刻引起了整個機器學習學術圈的關注，被譽為「GANs 之父」的 Ian Goodfellow 也接連跟帖回復。
到底是什么言論驚動了眾多 AI 界大牛，我們先來看看這篇推文：
防御對抗樣本仍然是一個尚未解決的問題，三天前公布的 ICLR 接收論文里，八篇關于防御論文里已經有七篇被我們攻破。（只有「aleks_madry」等人的論文中提到的方法在攻擊中準確率保持了 47%，沒有被攻破）
Anish Athalye 也貼出了自己的 GitHub 地址，https://github.com/anishathalye/obfuscated-gradients ，其中有詳細的說明。
雷鋒網發現在他的 GitHub 中展示了一個對抗樣本的例子，對一只貓的圖像加入輕微的干擾就可以使分類器 Inceptionv3 判別錯誤，將貓頭像錯認為為「果醬」。他稱這樣的「欺騙性圖像」很容易使用梯度下降法生成。
根據 GitHub 中的介紹，Anish Athalye 等人近期的論文《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》（https://arxiv.org/abs/1802.00420 ）研究了 ICLR 2018 收錄的八篇關于防御的論文中的防御對抗樣本的魯棒性，發現其中有七種防御魯棒性都很有限，可以通過改進的攻擊技術攻破。
下面是論文中的一個表格，展示了多種對抗性樣本防御方法在攻擊下的魯棒性。（加 * 表示的這些防御方法建議結合對抗性訓練使用）
根據 Anish Athalye 等人的研究，八篇論文中唯一一篇顯著提高對抗樣本防御的魯棒性的論文是：《Towards Deep Learning Models Resistant to Adversarial Attacks》(即上述表格中的準確率 47% 那篇）。除了使用威脅模型以外，沒有辦法攻破這種防御。即便如此，這種防御方法也是難以擴展到 ImageNet 規模的。其余的七篇論文無論是有意還是無意都在依賴于「混淆梯度」。一般的攻擊利用梯度下降法使給定圖像網絡損失最大化，從而在神經網路上產生對抗樣本，這種優化方法需要有用的梯度信號才能成功。基于混淆梯度的防御會破壞這種梯度信號，并導致優化方法失效。
Anish Athalye 等人定義了三種基于混淆梯度的防御方式，并構建了繞過每一種攻擊的方法。新的攻擊方法適用于任何有意的、無意的、包括不可微分操作或以其他方式防止梯度信號流經網絡的任何防御。研究員們希望用此方法進行更徹底的安全評估。
《Towards Deep Learning Models Resistant to Adversarial Attacks》
論文摘要
我們意識到「混淆梯度」給防御對抗樣本帶來的是一種虛假的安全感現象，盡管基于混淆梯度的防御可以打敗基于優化的攻擊，但我們發現依靠這種效果的防御仍然可以被攻破。
對于我們發現的三種混淆梯度類型中的每一種，我們都會描述展示這種效果的防御指標，并開發攻擊技術來攻破它。在樣本研究中，我們試驗了 ICLR 2018 接收的所有防御措施。我們發現混淆梯度是常見現象，其中 8 個防御中的 7 個依靠混淆梯度。使用我們新的攻擊技術，成功攻破了 7 個。
Jeff Dean 轉發后，很快引起了整個機器學習學術圈的注意。難道這是在質疑 ICLR 2018 收錄的論文質量很水嗎？由于 Anish 的表態主要是針對對抗性樣本的防御問題，很快便吸引了 GANs 的發明者、以及長期研究對抗性樣本的 Ian Goodfellow 圍觀，并在推特評論區接連跟帖回應。
Goodfellow 回應稱，ICLR 2018實際上至少收錄有11篇關于防御的論文，其他三篇沒有提到，卻說只有Madry一篇中提到的方法沒有被攻破，這是不公平的。
Goodfellow：ICRL 實際上至少有 11 篇防御論文，而不是 8 篇。（另外三篇里，）實際上有 2 篇已被證明可防御，還有 1 篇他們沒有研究。他們（論文的作者）應該說「所有未經認證的白盒防御」而不是「全部防御」。
另外，Goodfellow 認為這篇論文中提出的「混淆梯度」簡直就像是給「梯度掩碼」換了個名字而已。為了讓大家對「梯度掩碼」的概念更加了解，Goodfellow 還推薦了相關文獻。
與此同時，Goodfellow 還丟出了一篇 ICLR 2018 論文（Goodfellow 是作者之一），稱已經專門解決了梯度解碼的問題了。論文題目： Ensemble Adversarial Training: Attacks and Defenses
論文地址：https://arxiv.org/pdf/1705.07204.pdf
不過這一觀點截至目前暫未被發出這條震驚學術圈推文的 Anish Athalye 所承認。
雷鋒網報道
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
