Yann LeCun最新研究成果：可以幫助GAN使用離散數(shù)據(jù)的ARAE

雷鋒網(wǎng) AI 科技評論消息，F(xiàn)acebook人工智能研究中心FAIR負(fù)責(zé)人、深度學(xué)習(xí)三駕馬車之一的Yann LeCun昨天在Facebook上評論轉(zhuǎn)發(fā)了一條動(dòng)態(tài)。Yann LeCun轉(zhuǎn)發(fā)的這條動(dòng)態(tài)來自跟他合作的一位紐約大學(xué)在讀博士生Jake Zhao，介紹了一篇已經(jīng)上傳arXiv的論文。論文介紹了一種可以幫助GAN使用離散數(shù)據(jù)的“對抗性正則化的自動(dòng)編碼器”（ARAE，Adversarially Regularized Autoencoders）。Yann LeCun作為這篇論文的合作作者之一，轉(zhuǎn)發(fā)這條消息并且進(jìn)行了解讀和評價(jià)。

根據(jù)論文原文，雷鋒網(wǎng) AI 科技評論整理了這樣一張圖，可以對ARAE要解決的問題做一個(gè)大體的認(rèn)識：

如圖是原動(dòng)態(tài)和Yann LeCun的轉(zhuǎn)發(fā)評論，譯文請見下文

Yann LeCun的轉(zhuǎn)發(fā)評論

Adversarially Regularized Autoencoders（對抗性正則化的自動(dòng)編碼器，ARAE）是一種新的方法，它可以把編碼的內(nèi)容信息限制在一個(gè)自動(dòng)編碼器中，并且防止該自動(dòng)編碼器學(xué)習(xí)到身份函數(shù)。為了達(dá)到這樣的目標(biāo)，以前就有過一些sparse AE（稀疏自動(dòng)編碼器）、variational AE（變分自動(dòng)編碼器，在代碼中加入噪聲）、denoising AE（降噪自動(dòng)編碼器）這樣的嘗試，也有人用差異對比這樣的對比方法和其它基于MCMC（Markov Chain Monte Carlo，隨機(jī)模擬）的方法。這次，我們用一組對抗性的生成器和鑒別器來生成指定熵的樣本，并且我們借助鑒別器讓自動(dòng)編碼器中編碼的分布跟這對生成器鑒別器的分布相匹配。

經(jīng)過訓(xùn)練以后，這個(gè)自動(dòng)編碼器的生成器和編碼器部分就可以用作一個(gè)生成性模型。

ARAE可以有一種厲害的用法，就是可以在對抗性的設(shè)定下生成離散性的結(jié)構(gòu)（比如文本）。由于對抗的過程是發(fā)生在（連續(xù)）編碼上的，而不是輸出上，這就可以緩解對抗性鑒別器直接用在離散輸出上時(shí)可能會(huì)遇到的問題。

這項(xiàng)研究中有紐約大學(xué)、哈佛大學(xué)、FAIR多方合作，幾個(gè)參與者是，紐約大學(xué)數(shù)據(jù)科學(xué)碩士畢業(yè)生、博士在讀Jake Zhao，哈佛大學(xué)校友、博士在讀Yoon Kim，紐約大學(xué)本科生Kelly Zhang，哈佛大學(xué)學(xué)生Sasha Rush，以及我自己。

Jake Zhao的消息內(nèi)容

剛剛發(fā)表了這篇"Adversarially Regularized Autoencoders for Generating Discrete Structures"（用于生成離散結(jié)構(gòu)的對抗性正則化的自動(dòng)編碼器）論文，感覺非常激動(dòng)，幾個(gè)共同作者Yoon Kim, Kelly Zhang, Sasha Rush和Yann LeCun也都很厲害。

論文地址：https://arxiv.org/abs/1706.04223

代碼地址（有Torch和PyTorch兩個(gè)版本）：https://github.com/jakezhaojb/ARAE

對于在離散結(jié)構(gòu)上進(jìn)行對抗性訓(xùn)練，我們提出了一個(gè)簡單的解決方案：通過重新構(gòu)建的方式訓(xùn)練一個(gè)序列到序列的轉(zhuǎn)換模型，然后讓GAN在連續(xù)編碼空間中工作。同時(shí)，從GAN傳回到序列轉(zhuǎn)換模型的梯度也對訓(xùn)練一個(gè)有意義的自動(dòng)序列轉(zhuǎn)換模型起到了很大幫助。通過努力，我們得到了一個(gè)圖像GAN網(wǎng)絡(luò)應(yīng)當(dāng)具有的一組理想屬性：生成性，z空間插值，向量計(jì)算。我們也基于語言模型生成樣本的質(zhì)量對該方法進(jìn)行了量化評估。

更多人工智能、機(jī)器學(xué)習(xí)方面的學(xué)術(shù)動(dòng)態(tài)，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。

相關(guān)文章：

Yoav Goldberg與Yann LeCun論戰(zhàn)背后：arXiv是個(gè)好平臺，但和學(xué)術(shù)會(huì)議是兩碼事

AI科技評論專訪Yann LeCun: 關(guān)于深度學(xué)習(xí)未來的14個(gè)問題

Yann LeCun清華演講：講述深度學(xué)習(xí)與人工智能的未來

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。