將文學問題變成數學問題，Google的”看圖說話“是這樣實現的

將一種語言翻譯成另一種，一直是一個艱巨的任務，Google已經通過開發機器翻譯算法使這種情況發生了改變，用Google翻譯改變了跨文化交流的本質。而今，Google正在用同樣的機器學習技術來將圖片“翻譯”為文字，研究成果是一個可以自動給圖片生成說明文字的系統Neural Image Caption，所得的文字能夠準確地描述出圖片的內容。研究成果將有助于搜索引擎，以及幫助視障人士上網。

語言翻譯的常規方法是一個迭代過程，從翻譯單個單詞開始，然后將詞和短語進行重新排序，從而改進翻譯。但近年來，Google已經研究出來了應如何利用其龐大的搜索數據庫，用一種全新的方式來翻譯文本。

該方法本質上是計算字詞出現于其他字詞周圍或者附近的頻率，然后將這些詞定義在抽象的矢量空間中。如此一來，每個字詞都由一個矢量代替，句子就由矢量的組合代替。

Google繼續做出一個重要的假設。在任何語言中，特定的字詞之間的關系不變。例如，矢量“國王–男人+女人=女王”成立于任何語言之中。

這就使得語言翻譯變為了一個矢量空間數學問題。Google翻譯通過將句子轉化為矢量，再用矢量來生成另一門語言中意義相同的句子，從而實現語言的翻譯。

現在，Google的Oriol Vinyals和他的小伙伴們正在用類似的方法將圖片轉化為文字。他們采用的技術，是用神經網絡來研究有著十萬張圖片和配套圖片說明的數據庫，然后學著如何將圖片的內容進行分類。

但他們的算法產生的是代表字詞關系的矢量，而不是一組描述圖片的字詞。這種矢量可以嵌入到Google現有的翻譯算法當中，從而用英語或者其他語言產出圖片說明。事實上，Google的機器學習方法已經學會了將圖片“翻譯”成文字。

為了測試這種方法的有效性，他們讓從亞馬遜Mechanical Turk招募而來的人評估了以這種方式自動生成的圖片說明，以其他方式生成的說明，以及人工寫的圖片說明。

結果表明，新系統運轉良好，使用PASCAL圖片數據庫測試，它的表現明顯優于其他自動生成的方法，取得了59分，而目前最先進的其他技術只有25分，人工寫成的69分。

這個結果已經不錯了，并且隨著訓練數據庫規模的增加，表現也會越來越好。顯然，這又回到了另一個問題，人類優于機器的日子，是不是屈指可數了？

via mit

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。