清華大學尹首一：AI芯片計算架構創新是實現AIoT的必然途徑 | AIoT+智慧城市峰會

12月20日，雷鋒網主辦的AIoT+智慧城市峰會在深圳舉行，峰會上清華大學微納電子系副主任、微電子學研究所副所長尹首一教授分享了他對AI算法如何在物聯網設備上實現AI功能的看法以及超高能效AI芯片的最新進展。尹教授認為，未來計算架構的創新將是實現無處不在的AIoT的必然途徑。

IoT AI芯片需要解決的核心問題

今天講到的AI，其核心技術是深度學習，深度學習背后核心技術基礎是神經網絡。如今已被我們廣泛的AI應用，如語音助手、以圖搜圖，其核心計算大部分都在云上完成。隨著物聯網場景的拓展，在很多場景中考慮到通訊延時、設備供電以及個人隱私的問題，需要在IoT終端以及傳感器上實現AI計算。

清華大學微納電子系副主任、微電子學研究所副所長尹首一教授

國際產業巨頭，如谷歌、ARM等，均一致認為，未來的AI計算一定是分布式、分層次、分等級的綜合系統，這將催生巨大的深度學習芯片市場。據美國Tractica咨詢公司的統計和預測，2016到2025年這十年間深度學習芯片市場將飛速增長，到2025年市場規模將達到近700億美金，其中會有近400億美金的芯片應用在各種移動設備、機器人、無人機、消費電子、可穿戴設備等IoT領域。

不過，尹教授指出，要滿足IoT設備對AI的需求，需要解決的最核心的問題就是AI算力需求和IoT場景供電能力之間的巨大反差。

尹教授進一步表示，許多IoT的應用對芯片功耗有非常嚴格的約束，比如我們每天使用的智能手機，用戶希望隨時隨地能夠語音喚醒手機、通過語言做自然交互，這就需要手機在具備智能語音識別能力的同時還不影響手機續航。這樣的AI計算所能容忍的功耗上限大概是1-2毫瓦，否則手機待機時間就會受到影響。此外，在智能家電、智能眼鏡、無人機等場景下，AI計算也面臨非常嚴苛的功耗約束。這就是實現未來AI+IoT愿景所必須解決的問題，如何在這些苛刻的功耗約束下實現超高能效的AI計算。

AIoT的AI芯片必須滿足的3個條件

尹教授指出，從應用以及用戶體驗的角度出發，要實現滿足AIoT需求的AI芯片必須滿足三個條件：

第一，  可編程性，只有具備可編程性才能滿足不同IoT場景下的不同AI算法的需求；

第二，  對計算密集型和訪存密集型算法都非常友好，因為今天的AI算法就具備這樣的特點；

第三，超高能效，某些場景下我們希望芯片能耗是毫瓦量級，有些場景甚至需要微瓦量級才能滿足長時間的IoT計算需求。

超高能效AI計算芯片的進展

目前從AIoT芯片發展來看，大家正在從兩個不同的維度（算法和架構）努力實現超高能效的AI計算。算法層面努力的方向是讓深度神經網絡模型更加緊湊。尹教授介紹，2016年開始看到學術界有很大的進展，目前已經能夠把神經網絡的權重位寬壓縮到1bit，使網絡模型實現十倍甚至幾十倍的縮小。

更值得注意的是，從統計看，在極低位網絡中，即便把網絡壓縮到1-2bit，精度仍然接近于全精度神經網絡。最新成果顯示，用壓縮后的神經網絡做檢測和識別時與全精度神經網絡誤差只有1個百分點左右，這個差距在絕大部分的應用場景已經可以忽略不計。

除了算法層面，許多科學家在探索如何從計算架構的角度實現更高能效的AI計算，從2014年開始到今天，學術界和工業界提出了很多AI計算架構方案。但是在未來IoT場景里，目前提出的計算架構仍然難以平衡可編程性、超低功耗和特殊網絡模型的需求。

從2015年開始，一種新型計算架構，Coarse-grained Reconfigurable Architecture（CGRA），獲得國際學術界和工業界的廣泛關注。 2015年《國際半導體技術路線圖》（ITRS報告）將其視為未來大有希望的可編程計算架構。2017年美國國防部高級研究計劃局（DARPA），為了保證美國未來仍然能保持國際電子信息領域的領先地位，發起了“電子復興計劃”，該計劃大力布局一項被稱為“軟件定義硬件”的研究計劃。這項計劃所研究的是“運行時快速重構”的硬件架構，也就是前面提到的CGRA架構。

就在前幾天宣布“開源MIPS指令集”的Wave Computing公司，雷鋒網在《Wave Computing將于明年提供免費MIPS架構，MIPS能在AI時代崛起嗎？》一文中也進行了介紹，其AI芯片的技術來源就是CGRA。CGRA之所以受到廣泛關注，正是因為可重構架構能夠實現比CPU、GPU、FPGA更高的能量效率，同時還具有良好的可編程性，可以很好滿足AIoT的需求。

可重構芯片的實現

尹教授介紹，清華大學可重構計算團隊最早從2006年開始關注可重構架構。過去十多年時間在可重構架構的基礎理論上做了很多探索性的工作。2015年開始，將可重構架構應用在AI計算、神經網絡計算場景，并設計了Thinker系列AI芯片。

具體而言，Thinker系列AI芯片區別于傳統處理器使用指令級可編程性的技術路線，在核心運算部件、基本處理單元和處理單元陣列等三個層次上實現了硬件可重構能力。比如在基本的乘法累加部件里實現不同位寬的自適應，很好地支持超低位寬的神經網絡；在基本處理單元層面實現電路級重構，支持神經網絡中的不同算子；在處理單元陣列實現架構級重構，支持不同類型的神經網絡。

從2006年開始尹教授的團隊已經設計了三款Thinker芯片，其最高能效可達每瓦十萬億次運算，最低功耗可達微瓦量級，可以嵌入到任何一個需要AI計算但電池有限的IoT設備中。

回顧過去30年間處理器的發展歷程，處理器的性能提升得益于半導體工藝進步和計算架構創新的雙輪驅動。但隨著摩爾定律放緩，半導體工藝的提升越來越有限。尹教授表示，去年圖靈獎獲得者是兩位計算機體系結構的大師John Hennessy和David Patterson，他們在圖靈獎的獲獎感言里提到，今天是計算機體系結構的新的黃金時代。這句話很好地詮釋了未來我們的技術創新和產業發展應該落腳在哪里。

AIoT+智慧城市峰會演講視頻全集稍后將在雷鋒網會員【AI投研邦】里推出，并及時通知大家。大家可掃描二維碼關注【AI投研邦】。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。