0
| 本文作者： 我在思考中 | 2021-08-12 15:03 |
AI 科技評論報道
編輯 | 陳大鑫
8月12日，AI 科技評論注意到，國際權威機器視覺問答榜單 VQA Leaderboard出現關鍵突破：阿里巴巴達摩院以81.26%的準確率創造了新紀錄，讓AI在“讀圖會意”上首次超越人類基準。繼2015年、2018年AI分別在視覺識別及文本理解領域超越人類分數后，人工智能在多模態技術領域也迎來一大進展。
圖注：達摩院AliceMind在VQA Leaderboard上創造首次超越人類的紀錄
比較難得的是，3年前，讓中國AI在文本理解領域歷史性超越人類的，同樣是達摩院AI研究團隊。
VQA是什么？
近10年來，AI技術保持高速發展，AI模型已在多個任務和技能上達到超越人類的水平，比如在游戲領域，強化學習智能體 AlphaGo 2016 年擊敗了世界頂尖棋手李世石；在視覺理解領域，以 CNN 為代表的卷積類模型 2015 年在 ImageNet視覺分類任務上超越了人類成績；在文本理解領域，2018年微軟與阿里幾乎同時在斯坦福SQuAD挑戰賽上讓 AI 閱讀理解超越了人類基準。
然而，在視覺問答VQA(Visual Question Answering）這一涉及視覺-文本多模態理解的高階認知任務上，AI 過去始終未取得超越人類水平的突破。
“詩是無形畫，畫是有形詩。”宋代詩人張舜民曾如此描繪語言與視覺的相通之處。隨著深度學習、視覺理解、文本理解等領域高速發展，自然語言技術與計算機視覺交融逐漸成為多模態領域重要的前沿研究方向。其中，VQA是多模態領域挑戰極高的核心任務，解決VQA挑戰，對研發通用人工智能具有重要意義。
為鼓勵攻克這一難題，全球計算機視覺頂會CVPR從2015年起連續6年舉辦VQA挑戰賽，吸引了包括微軟、Facebook、斯坦福大學、阿里巴巴、百度等眾多頂尖機構參與，形成了國際上規模最大、認可度最高的VQA數據集，其包含超20萬張真實照片、110萬道考題。
VQA 是AI領域難度最高的挑戰之一。在測試中，AI需根據給定圖片及自然語言問題生成正確的自然語言回答。這意味著單個AI模型需融合復雜的計算機視覺及自然語言技術：首先對所有圖像信息進行掃描，再結合對文本問題的理解，利用多模態技術學習圖文的關聯性、精準定位相關圖像信息，最后根據常識及推理回答問題。
今年6月，阿里達摩院在 VQA 2021 Challenge 的55支提交隊伍中奪冠，成績領先第二名約1個百分點、去年冠軍3.4個百分點。兩個月后，達摩院再次以81.26%的準確率創造VQA Leaderboard全球紀錄，首次超越人類基準線80.83%。
這一結果意味著，AI 在封閉數據集內的 VQA 表現已媲美人類。
面對更開放的現實世界，AI一定會遇到新的挑戰,需要喂更多的數據、進一步提升模型。但和 CV 等領域的發展一樣，這一結果依然具有標志性意義，相信VQA技術在現實中的表現提升只是時間問題。
VQA分數超人類如何誕生？
VQA挑戰的核心難點在于，需在單模態精準理解的基礎上，整合多模態的信息進行聯合推理認知，最終實現跨模態理解，即在統一模型里做不同模態的語義映射和對齊。
據了解，為了解決VQA挑戰，達摩院語言技術實驗室及視覺實驗室對AI視覺-文本推理體系進行了系統性的設計，融合了大量算法創新，包括：
4.采用Mixture of Experts (MOE)技術進行知識驅動的多技能AI集成。
其中自研的多模態預訓練模型E2E-VLP，StructuralLM已被國際頂級會議ACL2021接受。
模型大圖如下：
VQA 考高分有什么用？
VQA考卷有多難？
論文鏈接：
1. E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning, ACL2021
2. A Structural Pre-trained Model for Table and Form Understanding, ACL 2021
3. SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
