深度學(xué)習(xí)的三種硬件方案 ASICs、FPGAs 和 GPU，開發(fā)者需要知道什么？

本文作者：三川

2016-12-30 15:12

導(dǎo)語：深度學(xué)習(xí)的不同運算場景，分別適合何種硬件？

今年三月 AlphaGo 和李世石的“世紀(jì)之戰(zhàn)”炒紅了深度學(xué)習(xí)—— AlphaGo 采用了人工神經(jīng)網(wǎng)絡(luò)技術(shù)，充分挖掘了深度學(xué)習(xí)的潛力。簡單來說，深度學(xué)習(xí)是一個包含了許多層級數(shù)據(jù)處理的神經(jīng)網(wǎng)絡(luò)，以自動化方式組合起來解決問題。

人機(jī)大戰(zhàn)之前，相當(dāng)多的人并不看好 AlphaGo，包括許多圍棋、AI 業(yè)內(nèi)人士。但公眾并不清楚的是：當(dāng)時谷歌手中握著一張王牌——AlphaGo 的計算設(shè)備搭載了特制硬件，一個被谷歌稱為“Tensor Processing Unit”（TPU）的計算卡。

深度學(xué)習(xí)的三種硬件方案 ASICs、FPGAs 和 GPU，開發(fā)者需要知道什么？

谷歌 TPU

深度學(xué)習(xí)的三種硬件方案：ASICs，F(xiàn)PGAs，GPU

人機(jī)大戰(zhàn)落幕后的兩個月，谷歌硬件工程師 Norm Jouppi 才公開了它的存在。在博客中，他解釋道，谷歌給數(shù)據(jù)中心裝備這些加速器卡已經(jīng)有超過一年的時間。雖然谷歌對技術(shù)細(xì)節(jié)嚴(yán)格保密，但已透露它們專為谷歌開源項目 TensorFlow 而優(yōu)化；并且，它采取了一個越來越流行的深度學(xué)習(xí)運算加速方式：ASICs。它全稱為應(yīng)用型專用集成電路（application-specific integrated circuit）。

而微軟采用了另一種逐漸流行起來的方式：FPGAs（現(xiàn)場可編程門陣列，field-programmable gate arrays）。它的優(yōu)勢是，如果計算機(jī)需要改變，它可以被重新裝配。但是，最通用、最主流的方案仍舊是使用 GPU，以并行處理大量數(shù)學(xué)運算。不出預(yù)料，GPU 方案的主要推動者是該市場的霸主英偉達(dá)。

深度學(xué)習(xí)的三種硬件方案 ASICs、FPGAs 和 GPU，開發(fā)者需要知道什么？

英偉達(dá)旗艦顯卡 Pascal Titan X

事實上， 2009 年之后人工神經(jīng)網(wǎng)絡(luò)的復(fù)興與 GPU 有緊密聯(lián)系——那一年，幾名斯坦福的學(xué)者向世界展示，使用 GPU 可以在合理的時間內(nèi)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。這直接引發(fā)了 GPU 通用計算——GPGPU 的浪潮。

英偉達(dá)首席科學(xué)家、斯坦福并發(fā) VLSI 架構(gòu)小組的負(fù)責(zé)人 William J. Dally 表示：“行內(nèi)每個人現(xiàn)在都在做深度學(xué)習(xí)，這方面，GPU 幾乎已經(jīng)達(dá)到了最好。”

深度學(xué)習(xí)的三種硬件方案 ASICs、FPGAs 和 GPU，開發(fā)者需要知道什么？

William J. Dally (又名 Bill Dally)

深度學(xué)習(xí)的三種運算任務(wù)

William Dally 進(jìn)一步解釋，深度學(xué)習(xí)硬件的選擇有三個不同領(lǐng)域要考慮。

1. “數(shù)據(jù)中心的訓(xùn)練”

第一個被他稱之為“在數(shù)據(jù)中心訓(xùn)練”。這里，他指的是任何深度學(xué)習(xí)系統(tǒng)需要做的第一步：調(diào)整神經(jīng)元之間的數(shù)百萬連接，讓神經(jīng)網(wǎng)絡(luò)來執(zhí)行分配的任務(wù)。

對于這方面的硬件，行業(yè)領(lǐng)頭羊是一家最近被英特爾收購的公司 Nervana Systems。該公司的計算機(jī)學(xué)者 Scott Leishman 透露，他們開發(fā)出的 ASIC 深度學(xué)習(xí)加速器 Nervana Engine, 將于 2017 年中投產(chǎn)。他注意到，另外一項需要大量計算的任務(wù)——比特幣挖礦，正從一開始在 CPU 上運行，轉(zhuǎn)移到 GPU，再到 FPGAs，最終到 ASICs。這是由于提升的能耗效率。他說：“在深度學(xué)習(xí)領(lǐng)域我觀察到了同樣的趨勢”。

2. “數(shù)據(jù)中心的推理（inference）”

第二個深度學(xué)習(xí)硬件的任務(wù)是，“數(shù)據(jù)中心的推理（inference）”。推理在這里指代的是，基于云端、被訓(xùn)練來處理特定任務(wù)的神經(jīng)網(wǎng)絡(luò)的連續(xù)運行。每天，谷歌的神經(jīng)網(wǎng)絡(luò)都要運行天文數(shù)字級別的推理計算，來進(jìn)行圖片分類，語言翻譯，語音識別。雖然現(xiàn)在的信息不足以證實，但據(jù)雷鋒網(wǎng)所知，業(yè)內(nèi)人士普遍推測谷歌的 TPU 是為這些任務(wù)而定制。

訓(xùn)練和推理通常需要不同的技能組合。對訓(xùn)練來說，計算機(jī)往往需要以較高的精確度運算，一般使用 32 位浮點運算。對于推理，精確度可以適當(dāng)犧牲，換取更快的速度和更低的能耗。對此，Leishman 表示：“這是一個熱門研究領(lǐng)域，能耗到底可以降低到什么程度？”

William Dally 拒絕透露英偉達(dá)的深度學(xué)習(xí)產(chǎn)品計劃，而是強調(diào)如今做出的成績。他說，英偉達(dá)的 GPU 在不斷進(jìn)化。上代 Mazwell 架構(gòu)可以進(jìn)行雙精度（64 位）或者單精度（32 位）運算，而這一代的帕斯卡（ Pascal ）架構(gòu)能以單精度運算兩倍的吞吐量和效率進(jìn)行 16 位運算。我們能想象，英偉達(dá)很可能最終會發(fā)布能進(jìn)行 8 位運算的 GPU 。對于云端的推理計算來說，這十分理想，因為能耗對于降低成本十分關(guān)鍵。

3. “嵌入式設(shè)備的推理”

第三個深度學(xué)習(xí)運算需要考慮的是 “嵌入式設(shè)備的推理”，比如智能手機(jī)、攝像頭和平板電腦。這類應(yīng)用的核心是低能耗的 ASICs。近年來，深度學(xué)習(xí)軟件越來越多地集成入手機(jī)應(yīng)用。它已經(jīng)被用來查殺惡意軟件和翻譯圖片中的文字。

雷鋒網(wǎng)消息，大疆已經(jīng)在精靈 4 中應(yīng)用了類似于深度學(xué)習(xí) ASIC 的東西：使用加州公司 Movidius 的視覺處理芯片來識別障礙。順便說一句，Movidius 是最近另一家被英特爾收購的神經(jīng)網(wǎng)絡(luò)公司。另外，高通也在旗艦芯片 820 中加入了優(yōu)化深度學(xué)習(xí)計算的特殊電路。

深度學(xué)習(xí)的三種硬件方案 ASICs、FPGAs 和 GPU，開發(fā)者需要知道什么？

今天，各家公司有極強的商業(yè)動機(jī)，去開發(fā)能加速深度神經(jīng)網(wǎng)絡(luò)的硬件。但這里有一個很大的風(fēng)險：如果技術(shù)迭代太快，為昨天的神經(jīng)網(wǎng)絡(luò)而設(shè)計的芯片，可能在最終生產(chǎn)、鋪貨時就已經(jīng)過時了。對此，William Dally 說道：“算法正在飛速變化，所有開發(fā)這些硬件的人，都試圖讓產(chǎn)品方案覆蓋盡可能多的對未來的賭注。”

目前，基于 ASICs 和 FPGAs 產(chǎn)品大多應(yīng)用在企業(yè)端，大多數(shù)個人開發(fā)者的的首選仍然是 GPU。至于在未來 GPU 的霸主地位是否會動搖，雷鋒網(wǎng)會繼續(xù)關(guān)注。

via ieee

【兼職召集令！】

如果你對未來充滿憧憬，喜歡探索改變世界的科技進(jìn)展，look no further！

我們需要這樣的你：

精通英語，對技術(shù)與產(chǎn)品感興趣，關(guān)注人工智能學(xué)術(shù)動態(tài)的蘿莉&萌妹子&技術(shù)宅；

文字不求妙筆生花，但希望通俗易懂；

在這里，你會收獲：

一群來自天南地北、志同道合的小伙伴；

前沿學(xué)術(shù)科技動態(tài)，每天為自己充充電；

更高的生活品質(zhì)，翻翻文章就能掙到零花錢；

有意向的小伙伴們把個人介紹/簡歷發(fā)至 guoyixin@leiphone.com，如有作品，歡迎一并附上。