0
| 本文作者： 任然 | 2018-09-25 19:13 |
雷鋒網消息，Cadence是一家AI行業參與者，他們的Tensilica IP產品仍然非常引人注目，并且出現在流行的SoC中，如HiSilicon的Kirin陣容或MediaTek的芯片組。隨著業界試圖將基于云的AI推理轉移到邊緣端設備本身，設備內神經網絡推理的市場正在爆炸式增長，以實現更低的功率和更低的延遲。
雷鋒網了解到，Cadence于本周展示了從物聯網、移動、AR/VR到智能監控和汽車應用等各個領域的廣泛性能需求，并公布了更多有望加速邊緣端神經網絡推理的產品，并宣布推出一種新的專用“AI”IP，專注于滿足各種各樣需求的性能和擴展，擴展比以前更高，性能有望達到100 TMACs（萬億矩陣積累操作）。
Cadence表示，在汽車動力等應用中將擁有大量傳感器，包括攝像頭，激光雷達和超聲波等，對于推理性能的需求非常急迫。 標準DSP將處理信號處理的主要任務，但實際上對數據有意義的任務將被移交給神經網絡加速器，例如處理感知和決策制定任務的DNA 100。
Cadence宣稱與具有類似尺寸的MAC引擎的競爭解決方案相比，DNA 100具有高達4.7倍的性能優勢。Cadence通過它的稀疏計算架構實現了這一點，這意味著它只計算非零激活和權重，并實現了比競爭對手更高的硬件MAC利用率。
“神經網絡的特點是固有的權重和激活的稀疏性，這會導致其他處理器中的MAC通過加載和乘零而不必要地消耗性能。DNA 100處理器的專用硬件計算引擎消除了這兩個問題，允許利用這種稀疏性來提高效率和減少計算量。神經網絡的再訓練有助于增加網絡的稀疏性，并通過DNA 100處理器的稀疏計算引擎實現最大性能。”
在架構方面， DNA 100與其他推理加速器看起來很相似，其最重要的處理能力在于Cadence稱之為“可擴展稀疏計算引擎”的MAC引擎，它們處理卷積階段以及完全連接的分類層的任務。
MACs是本地的8位整數，能夠在全吞吐量的量化模型上操作，但它也提供了半速率的16位整數和四分之一吞吐量的16位浮點操作。單個MAC引擎/稀疏計算引擎在256/512/1024 MAC中都是可伸縮的，之后IP可以通過添加更多引擎進行擴展，最多可達4個。這意味著最大配置的單個DNA 100硬件塊最多包含4096個MAC。
Cadence仍然非常清楚，有些應用場景或神經網絡模型可能無法由固定函數IP處理，并且仍然提供了將DNA 100與現有DSP IP耦合的可能性。這兩種產品緊密耦合，DSP可以有效地處理更多特殊的的NN層，將內核傳遞回DNA 100，從而使解決方案具有未來的可擴展性，并可擴展到客戶希望的定制層。
帶寬是神經網絡推理硬件中的一個關鍵瓶頸，因此為了獲得最佳性能并且不受平臺限制，壓縮是必不可少的。DNA 100除了通過壓縮權重和激活來提供帶寬減少功能，在原始帶寬方面，IP還提供1到4個AXI 128或256位接口的非常寬的接口選項，這意味著在最寬的配置中最高可達1024位總線寬度。
要將IP擴展到4096MACs以上，只需將多個硬件塊并排放置到SoC上，就可以大大提高理論計算能力。軟件在這里扮演了一個關鍵角色，因為它能夠在不同的塊之間正確地分配工作負載。Cadence解釋說，這種方式也可以用來加速單個內核/推理，此外他們還設想通過芯片到芯片通信實現可能的多芯片擴展。
就DNA 100的性能而言，Cadence再次強調其架構的實際性能明顯高于具有相同數量MAC的等效競爭架構。這里的“有效TMACs”是一個奇怪的指標，以雷鋒網獲取的信息來看，根據權重和激活數據是否經過編譯器和培訓的修剪，有效性能也在2倍到3倍之間浮動。
Cadence展示了ResNet50的性能，其DNA 100配置為最大4K MAC配置，具有4TMAC的原始硬件性能。根據官方數據，DNA 100的性能比競爭解決方案高出4.7倍，它的性能達到了2550fps，而競爭對手的性能為538fps。在能耗比方面，DNA 100相比競爭解決方案也具有2.3倍的優勢。當然，測試中的網絡經過了修剪，以在DNA 100上達到最好結果。
在軟件方面，Cadence提供了一個完整的軟件棧和神經網絡編譯器來充分利用硬件，包括網絡分析器和優化器以及所需的設備驅動程序。Cadence最近還宣布，它將支持Facebook的Glow編譯器（一個跨硬件平臺的機器學習編譯器）。
DNA 100的硬件IP將在2019年初獲得許可，產品最早將在2020年底左右面世。
via：Anandtech
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
