0
2019年，距李世石與AlphGO的“人機大戰”已有三年，似乎沒有人再懷疑，在“下棋”這件事兒上，人類確實已經輸給了AI，人類與AI下一個較量會在哪里？
同傳（同聲傳譯）將很可能是下一個面臨挑戰的應用場景。
12月21日，基于語境引擎的搜狗同傳3.0以多模態和自主學習為核心，加入視覺和思維能力，這是AI同傳在加入諸如視覺AI、知識圖譜等能力后的再度進化。
多模態同傳，顧名思義，聚合多種交互形式實現同傳的能力。
據雷鋒網了解，搜狗在多模態領域的探索和應用早已有之，包括此前在AI合成主播上的應用，結合了語音、唇語、表情動作等交互形式，最終形成的AI合成主播參與了2019年全國的兩會報道，甚至還走出國門，與阿布扎比媒體集團達成合作，將推出全球首個阿拉伯語AI合成主播。
此次搜狗在12月發布的搜狗同傳3.0同樣在基于基本的語音交互能力時，加入了文字和圖像兩類交互能力，進一步將嘉賓ppt內演講相關內容，語音識別準確率提升了21.7%，翻譯準確率提升了40.3%。
為什么經過兩代迭代后，搜狗會在同傳系統中引入圖像識別的能力？
這要從搜狗此前兩代同傳系統，以及此前對數千場會議的同傳支持的痛苦經歷上談起。
2016年，搜狗在「第三屆烏鎮互聯網大會」上發布了行業第一個商用AI同傳產品——搜狗同傳1.0。這是搜狗同傳的第一代產品，同時也是搜狗進入同傳這一領域的第一次商業嘗試。
“1.0階段我們提供的是通用的同傳能力，在實際應用過程中遇到的最大的問題是：每一位講者在演講時的背景信息和語義信息不一樣，可能今天我們需要支持醫療會議，明天需要支持航空會議，我們很難獲取這類專業會議的‘語義詞’。”
回看最初的搜狗同傳1.0時，搜狗AI交互技術部總經理陳偉認為當時實際應用中遇到最大的問題是難以獲取各專業領域的“語義詞”，這也影響了最初這一產品的識別及翻譯的準確度。
如何獲取這些專業的“語義詞”，以此來訓練專用的模型，改進通用的1.0版本？
這是搜狗同傳研發團隊當時在進行版本迭代時主要考慮的問題，也是最終搜狗同傳2.0試圖去解決的問題。
這也就有了2018年發布的搜狗同傳2.0的幾點重要能力的升級：通過行業深度定制和專屬模型訓練（例如事先上傳演講稿或給出重點詞匯進行訓練），輸出行業方案。
“在迭代到2.0版本后，我們一般會投很多人針對演講者要講的內容做優化，但是我們往往很難拿到演講稿，所以只能在網上找與這個人相關的背景知識，以前講過的內容，基于此做模型優化。”
盡管2.0版本考慮到了專業化內容的優化，但是在具體應用過程中，由于難以會前獲取實際演講者的演講內容，并未能用這些專業內容進行定制模型優化。
其實在這樣的升級迭代過程中，搜狗同傳的通用能力從2016年的搜狗同傳1.0到2018年搜狗同傳2.0已經有了明顯的提升，“但是就通用能力和個性化能力上，在嘉賓演講的PPT內容的識別和翻譯效果仍有較大提升空間，這是一定存在的。”
也因此，搜狗仍在繼續優化個性化能力，也就是搜狗同傳的定制化能力，“我們希望讓機器自己定制一個好的語境?！?/p>
這樣的能力最終在搜狗同傳3.0上得以實現。
12月21日，基于語境引擎的搜狗同傳3.0以多模態和自主學習為核心，加入視覺和思維能力，這是AI同傳在加入諸如視覺AI、知識圖譜等能力后的再度進化。
據陳偉介紹，搜狗同傳3.0相對于上一代產品主要有三方面能力的提升：
第一，從感知層面來看，獲取的信息從此前單模態信息到現在，引入視覺能力，得以獲取多模態信息；
第二，從認知層面來看，通過OCR識別或視覺能力獲取演講者PPT內容，在語境引擎的幫助下，提取出這些專業知識的核心，通過知識圖譜的方式，對內容進行進一步擴展，形成整個演講者相關語境信息，并與演講內容進行關聯；
第三，我們拿到個性化信息后，進行實時語音識別、機器翻譯，并生成個性化、實時定制引擎。
在整個搜狗同傳3.0系統工作過程中，特別加入視覺能力，并引入了語境引擎，這也成為解決前文提到的專用性、個性化同傳需求的關鍵。
“語境引擎能夠真正做到對PPT內容的理解和推理，”陳偉點出搜狗同傳3.0的核心能力所在。
具體搜狗同傳3.0技術框圖如下圖所示：
從搜狗同傳3.0技術框圖中可以看到，語境引擎主要由「PPT文本理解」和「搜狗知識圖譜」兩部分組成。
語境引擎整個工作過程具體可以理解為：
在會議現場，通過OCR（例如播放PPT的筆記本），將演講嘉賓PPT全部內容被轉換成文字信息，并就此文字信息抽取與作者領域相關的個性化內容和知識；
基于這些知識，結合搜狗此前基于搜狗百科構建的知識圖譜再擴充一些知識，匯同語音識別的內容為語料訓練模型，形成搜狗同傳3.0的識別翻譯模型。
這其中，搜狗還在同傳系統中加入了識別翻譯協同模塊，對翻譯模型的輸入文本進行優化，這一模塊的作用在兩次迭代中也從最初、最基本的標點斷句，逐漸升級為擁有標點斷句、文本順滑、語義單元三大能力。
在這個過程中，搜狗的機器翻譯模塊也從1.0系統的RNN模型、2.0系統的Transformer模型，升級為3.0多模態翻譯系統，3.0系統是在Transformer模型基礎上，將搜狗百科知識圖譜和翻譯歷史融合到翻譯系統中，并實現了流式解碼。
據搜狗官方公布信息來看，通過構建語境引擎升級后的搜狗同傳3.0系統的實測數據如下圖所示：
這樣現場識別PPT內容，結合搜狗百度百科知識圖譜，構建語境引擎，是否對算力和硬件有特殊要求呢？
陳偉解釋稱，現場做PPT內容識別的時候可以直接通過截屏（本機播放PPT）或筆記本電腦上的攝像頭來完成，語音訓練用英偉達常規的P40或V100進行訓練，訓練推理方面沒有額外增加負擔。
引入視覺能力、加入知識圖譜后的搜狗同傳3.0，能夠完全取代人類同傳嗎？
據搜狗官方在發布會上公布的信息顯示：
在實際測評中，搜狗同傳3.0的評測得分為3.82分，人工同傳的評測得分為4.08分。
顯然，就目前而言，AI同傳還無法完全取代人類同傳。
就此，陳偉也指出，
機器的感知能力越來越強，因為機器在持續學習（ 每天在搜狗輸入法上的語音識別總次數在8億次以上）。但是機器與人類最大的差距在翻譯上。就翻譯的“信、達、雅”來看，機器差不多可以實現“信”，在部分場景能夠實現“達”，但是人可以做到“雅”。
就翻譯而言，AI同傳面臨著直譯的問題，例如，講一個笑話，能不能get到講者的意思并把它翻譯出來，講到一個諺語是否能夠理解，人與機器最大的差距還是在語言理解能力上。所以搜狗一直在做語言AI，要把我們的重心回歸到語言這件事兒本身上來。
回歸到語言本身時，各類傳感器越來越多，設備能夠收集到的數據及數據種類越來越多，亦即越來越多的多模態數據逐漸可以獲得，當有了多模態數據后，相關模型和算法也逐漸開始受到業界所關注。
“但是大家一開始還是把多模態這件事想得太簡單了，多模態的實現過程不是簡單把模態融合在一起，從我們這些年在上面的認知來看，是一個蠻復雜的過程?！?/p>
當提到搜狗在多模態語音方面的技術發展，陳偉表示：
“我們是第一個在技術上主張多模態的公司，此次搜狗同傳3.0也是從語音跨到了多模態，在這種多模態下將我們對于知識的理解、對語音的理解放進去，我們的同傳就也開始具備一定的認知能力。”
“我們公司的終極目標是走向做VPA，即一個軟件形態的AI助理，可能以硬件為載體，也可能放在搜狗輸入法、搜狗的搜索引擎上。搜狗VPA的形態，是一個任務導向，中間會看到以對話為主的形象。同傳這個場景下，我認為搜狗同傳就是一種形態的VPA，是具備了同傳能力的VPA，它可以與人做同傳交互。”雷鋒網雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
