0
| 本文作者： 包永剛 | 2020-09-19 14:42 |
2019年杭州云棲大會上，阿里巴巴集團(tuán)首席技術(shù)官兼阿里云智能總裁張建鋒簡短的介紹了阿里首款A(yù)I芯片含光800，這款當(dāng)時最強(qiáng)AI推理芯片的一發(fā)布就引發(fā)了巨大關(guān)注，可謂高調(diào)亮相。
今年的阿里線上云棲有一個芯片設(shè)計發(fā)展現(xiàn)狀與未來的論壇，阿里云異構(gòu)計算產(chǎn)品研發(fā)總監(jiān)龍欣分享了含光800推出近一年后的最新進(jìn)展。
他表示：“含光800 NPU實(shí)例已經(jīng)正式對外服務(wù)，不需要白名單就可以在阿里云實(shí)例上購買，實(shí)例名稱是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G內(nèi)存，網(wǎng)絡(luò)帶寬最高達(dá)到30Gbit/s，主要面向數(shù)據(jù)中心的CNN類型模型推理加速，業(yè)務(wù)包括城市大腦，圖像視頻審核，拍立淘等?！?/p>
更引人關(guān)注的是含光800在具體應(yīng)用中的表現(xiàn)。
含光800未對外發(fā)售，性能通過阿里云輸出
正如雷鋒網(wǎng)在去年的文章中所說，科技巨頭自研芯片是因?yàn)橛写罅繑?shù)據(jù)，在內(nèi)部的AI需求推動下，希望通過自研芯片來提升效率和性價比。周五的線上分享中，龍欣也表示，阿里巴巴內(nèi)部有廣闊的AI應(yīng)用，包括電商應(yīng)用、視覺應(yīng)用、語音交互、自然語言理解、機(jī)器翻譯等。
一個典型的例子就是拍立淘，兩千多萬的日活用戶在使用這項功能的時候，要透過一張圖片，在4億多的商品中搜索，在30多億張圖片多庫中進(jìn)行匹配，根據(jù)用戶的使用習(xí)慣進(jìn)行個性化推薦，這就需要很強(qiáng)的AI能力。
阿里云異構(gòu)計算產(chǎn)品研發(fā)總監(jiān)龍欣
因此，阿里希望通過自研的含光800從硬件到軟件的方案提升性價比。做個簡單的回顧，含光800在硬件方面有三個方面的特色，包括：
深度優(yōu)化CNN及視覺類算法
加速卷積和矩陣乘，支持反卷積、孔洞卷積、3D卷積、插值、ROI等
針對 ResNet-50、SSD/DSSD、 Faster-RCNN、Mask-RCNN、DeepLab等模型優(yōu)化
高能效、低延時
高密度的計算與存儲，極大減少I/O需求
軟硬協(xié)同支持權(quán)重的稀疏壓縮，計算的量化壓縮
指令集支持可編程模型擴(kuò)展
除INT8/INT16量化加速外，也覆蓋FP16/BFP16的向量計算除直接加速各種ReLu、 Sigmoid、Tanh等，也可支持未來新型激活函數(shù)
也就是說，含光800的硬件特別針對CNN算法模型進(jìn)行設(shè)計，但也保持一定的靈活性，再匹配全棧的軟件支持在特定應(yīng)用和算法中實(shí)現(xiàn)高性價比。去年張建鋒發(fā)布含光800時說，“在業(yè)界標(biāo)準(zhǔn)的ResNet-50測試中，含光800推理性能達(dá)到78563 IPS，比目前業(yè)界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。”
不過龍欣在昨天的分享中并沒有提及含光800的峰值性能，而是強(qiáng)調(diào)其可用性。他表示，“含光800作為并沒有在公開市場發(fā)售的芯片，通過阿里云輸出。”
為了讓含光800能夠開箱即用，阿里云讓購買實(shí)例的用戶可以自動安裝NPU驅(qū)動和SDK，系統(tǒng)方面支持公共鏡像CentOS 7.6/7.7和Ubuntu 16.04，還預(yù)裝主流深度學(xué)習(xí)框架，提供TensorFlow、MXNet示范教程。
龍欣強(qiáng)調(diào)，含光800的應(yīng)用主要是在數(shù)據(jù)中心和大型端上，以CNN類模型推理加速為主，可擴(kuò)展到其他DNN模型中。目前在具體的應(yīng)用中相比GPU有4-11倍性能提升。
含光800在三大AI應(yīng)用中4-11倍的性能提升
去年含光800發(fā)布時給出的數(shù)據(jù)是，在城市大腦中實(shí)時處理杭州主城區(qū)交通視頻，需要40顆傳統(tǒng)GPU，延時為300ms，使用含光800僅需4顆，延時降至150ms。拍立淘商品庫每天新增10億商品圖片，使用傳統(tǒng)GPU算力識別需要1小時，使用含光800后可縮減至5分鐘。
昨天的分享中，龍欣給出的最新數(shù)據(jù)是，在行人檢測應(yīng)用中，4核含光800克支持100路視頻，比主流GPU 25路的推理性能提升4倍。在車輛檢測中，同樣是4核含光800，可以支持85路視頻，比主流GPU支持10路推理性能提升了8.5倍。
在直播、短視頻、商品信息流等內(nèi)容識別應(yīng)用中的ResNet50 V2模型中，含光800（4核）的幀率可以達(dá)到20000 FPS，比主流推理GPU的1800 FPS性能提升11倍，性能加速比11倍。在Inception V4模型中，含光800（4核）的處理幀率達(dá)到5000 FPS，比主流推理GPU的460FPS性能加速比高10.8倍。
還有，在直播、點(diǎn)播、短視頻等視頻質(zhì)量增強(qiáng)中。4核含光800的直播視頻增強(qiáng)性能為500 FPS，對比主流推理GPU的50 FPS，性能加速比是10倍。在點(diǎn)播HDR中，4核含光800多性能是66 FPS。龍欣說：“點(diǎn)播HDR需要用到性能比較強(qiáng)的訓(xùn)練GPU，比如英偉達(dá)A100，但即便如此其性能智能達(dá)到10 FPS，我們可以實(shí)現(xiàn)6.6倍的性能加速比?！?/strong>
至于在語音交互、自然語言理解等語言方面的應(yīng)用實(shí)例優(yōu)勢，龍欣并未在今年的云棲上給出數(shù)據(jù)。
雷鋒網(wǎng)小結(jié)
相對于含光800在去年云棲備受關(guān)注的亮相，今年云棲對含光800的關(guān)注度并不高，龍欣的介紹也只有15分鐘，還包含了許多去年已經(jīng)公開的消息。含光800的實(shí)際應(yīng)用優(yōu)勢，應(yīng)該是當(dāng)下許多人關(guān)注的，但此次的分享給出的場景還沒有十分豐富，介紹的也比較簡單。這可能是由于目前緊張的貿(mào)易關(guān)系讓阿里對于芯片相關(guān)的話題更加謹(jǐn)慎。
但更應(yīng)該看到的是，即便有強(qiáng)大的團(tuán)隊能夠快速設(shè)計出一款芯片，但要大規(guī)模落地仍然需要很長的時間，這個過程軟件發(fā)揮著更加直接的作用，獲得客戶的認(rèn)可和采用也并非易事。阿里的芯片路，依舊還只是開始階段。
那么，阿里的下一代AI芯片會在什么時候推出呢？雷鋒網(wǎng)
相關(guān)文章：
云棲大會 | 阿里宣布全球最強(qiáng)AI推理芯片含光800問世，張勇、張建鋒大談數(shù)字經(jīng)濟(jì)
阿里首款A(yù)I芯片含光800重磅發(fā)布，全球最強(qiáng)AI推理芯片如何練成？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
