0
雷鋒網消息，本周三，MLCommons 公布最新 MLPerf Inference V 1.1 基準測試（Benchmark）結果。與 V 1.0 版本相比并無太大區別，只不過在邊緣推理的測試場景中，串流傳輸被棄用，不再作為基準測試的一部分。
新一輪基準測試中，在 AI 領域占優勢的英偉達依然是唯一一家提交了從數據中心到邊緣所有 MLPerf 基準測試類別數據的公司。不同的是，此次基準測試中，英偉達第一次在 Arm 系統上進行數據中心測試，并取得不錯的成績。
Arm 服務器推理性能接近 x86
由于能效性能的不斷增長和強大的軟件生態系統，Arm 架構正在向全球各地的數據中心進軍，而在此次MLPerf 基準測試中，Arm 服務器也被納入其中。
英偉達展示的基準測試結果表明，如果以 A30 GPU 為標準，基于 x86 服務器和 Arm 服務器的處理速度均有提升。離線（Offline）測試中，基于兩種服務器的 A100 處理速度差別不大，相比于 A30 的處理速度均有接近 2 倍的提升；服務器（Server）測試中，A100 相比于 A30 有 1 至 3 倍的提升，在語音識別 RNN-T 模型中，基于 x86 的 A100 處理速度與基于 Arm 服務器差別較大。
另外，本次基準測試中，A100 也同時基于 Ampere Altra CPU 的 Arm 服務器和英特爾的 x86 服務器上進行了測試。
作為 GPU 加速的平臺，在 AI 推理工作中，使用 Ampere Altra CPU 的 Arm 服務器的性能稍遜于具有類似配置的 x86 服務器，但在 3D-Unet 工作負載測試中，基于 Arm 服務器的 A100 性能得分超過了 x86 服務器。
一直以來支持所有 CPU 架構的英偉達表示，十分高興能夠看到 Arm 在同行評審中的行業基準測試中能夠證明其 AI 性能。
Arm 高性能計算和工具高級總監 David Lecomber 表示： “最新推理結果表明，Arm CPU 和 NVIDIA GPU 驅動的 Arm 系統已能夠應對數據中心中的各種 AI 工作負載?！?/p>
AI 推理性能四個月內提升 20%
此次基準測試中，英偉達一如既往地展示了其 AI 推理性能，英偉達憑借其架構設計配合軟件再次取得突破。
與 MLPerf 0.7 版本相比，本次測試中英偉達 A100 GPU 各類工作負載得分均有提升。其中，醫學圖像 3D U-Net 模型漲幅高達 150%，語音識別 RNN-T 模型測試漲幅高達 130%。
事實上，在今年 4 月份 MLPerf 1.0 版本中，A100 GPU 的推理能力就已經在推薦系統模型 DLRM，語音識別模型 RNN-T 和醫療影像 3D U-Net 模型方面有一定提升，提升幅度最高達 45%，而此次又取得新突破，相比四個月前提升了 20%。
根據英偉達的介紹，其完整的 AI 軟件堆棧是提升其 GPU 性能的關鍵。
英偉達 TAO Toolkit 可以簡化遷移學習過程，用戶能夠在熟悉的環境中優化模型；英偉達 Tensor RT 軟件對 AI 模型進行了優化，使其能夠最有效地運用內存并且實現更快的運行速度。Trition 推理服務器能夠簡化云端、本地數據中心或邊緣的服務部署，支持不同應用中的欺詐檢測、包裹分析、圖像分割等各類任務。
此外，在多實例 GPU（MIG）技術的支持下，英偉達 A100 能夠提升將近 7 倍的 GPU 資源，即在一塊 GPU 上運行 7 種工作負載，而 A30 只能支持 4 種工作負載。
英偉達的 AI 優勢不僅僅體現在自家 GPU 的得分上，此次基準測試中，共計 7 家 OEM 廠商提交了 22 個 GPU 加速平臺，這些服務器中大多數都是英偉達認證系統，很多型號都支持上個月正式發布的英偉達 AI Enterprise 軟件。
英偉達的 AI 技術已經得到廣大生態系統的支持，此次與 Arm 系統的合作，也從側面反映了英偉達進軍 Arm 的決心。
文中圖片源自英偉達官方 雷鋒網雷鋒網雷鋒網
相關文章：
AI基準測試MLPerf模型少、更新慢，地平線提出的MAPS會更好嗎？ | CCF-GAIR 2020
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
