GluonCV — 計算機視覺的深度學(xué)習(xí)工具包

本文作者：奕欣

2018-04-29 08:20

導(dǎo)語：開發(fā) MXNet 時候感覺最難的是什么。我會毫不猶豫的覺得「重復(fù)論文里的實驗結(jié)果」是最困難的一點。

雷鋒網(wǎng) AI 科技評論按：本文首發(fā)于 ApacheMxNet，作者李沐， AI 科技評論獲作者授權(quán)轉(zhuǎn)載，經(jīng)不改動原意的編輯。

起源

有人曾問我，開發(fā) MXNet 時候感覺最難的是什么。我會毫不猶豫的覺得「重復(fù)論文里的實驗結(jié)果」是最困難的一點。舉三個例子：

Lin Min（Network in network 提出者）在 16 年的時候發(fā)現(xiàn) MXNet 在 ImageNet 上面訓(xùn)練的模型精度比 Torch 低 1%。為了 debug 這個事情甚至開發(fā)了一個插件可以在 MXNet 跑任意 Torch 的代碼來對比結(jié)果。最后發(fā)現(xiàn)原因是我們圖片裁剪后默認(rèn)使用 JPEG 的 85 質(zhì)量保存，改成 95 質(zhì)量就可以補上丟掉的精度了。
在 Inception V3 論文出現(xiàn)后 Bing Xu（GAN 的作者之一）第一時間去重復(fù)這個工作。因為 Google 沒有公開代碼，而且論文里面細(xì)節(jié)不明確。幸好認(rèn)識原論文作者可以問問題，但前后也花了好些天才重復(fù)實現(xiàn)出來。
我在 CMU 的博士導(dǎo)師之一（他在 Google 報告給 Jeff Dean）曾在一次報告里面說，他參與了一個內(nèi)部的從 TensorFlow 前一代系統(tǒng)移植代碼的工作，發(fā)現(xiàn)在 TensorFlow 上精度死活丟了個點。前后花費了好幾個月時間找問題，最后發(fā)現(xiàn)是移植的代碼在使用圖片增強的時候順序跟原先不一樣。

三個例子的主人公都是頂尖的深度學(xué)習(xí)領(lǐng)域研究人員，但仍然很容易被一些細(xì)微的實驗細(xì)節(jié)耗費大量寶貴的時間。一個模型通常多達(dá)數(shù)十到數(shù)百層，不管是模型初始化和數(shù)據(jù)讀取都是隨機，每次訓(xùn)練也需數(shù)個小時，這些都讓 debug 變得很困難。

當(dāng)然，幸運的是，最近這些年隨著開源的深入人心，很多論文都可以找到開源的實現(xiàn)。對于大部分用戶來說不需要自己從頭開始實現(xiàn)一篇論文，去 Github 找個實現(xiàn)用就行了。但這個并不能解決所有問題：

網(wǎng)上的實現(xiàn)良莠不齊，很多都是新人練手之做。可能一大半不能重復(fù)出論文的結(jié)果
每個項目的實現(xiàn)多多少少有點不同，例如輸入數(shù)據(jù)格式，用什么樣的深度學(xué)習(xí)框架，代碼風(fēng)格不一樣。每換一個項目上手成本很大。
個人維護的項目通常只關(guān)注在某些地方，例如只關(guān)心某個數(shù)據(jù)集上的訓(xùn)練。但實際使用的時候大家會關(guān)心如何部署，如何換一個數(shù)據(jù)集訓(xùn)練之類。需要花費時間做二次開發(fā)。
最后代碼維護者很容易棄坑。例如我博士期間寫過一些項目，但之后工作和生活重心轉(zhuǎn)移，沒有精力才去回復(fù)用戶的提問。對于用戶來說，如果碰到一個坑，如果不能很快的溝通維護者，很容易導(dǎo)致被小地方困住大量時間。

理解到這些痛點后我們幾位從事計算機視覺的小伙伴，Zhi Zhang (@zhreshold), Hang Zhang (@zhanghang1989), Tong He (@hetong007), Eric Xie (@piiswrong), 拍了拍腦袋說，那我們來動手做一個工具包來試著解決這些問題吧。