測(cè)試作弊，百度人工智能被禁賽一年

5月份的時(shí)候，雷鋒網(wǎng)曾報(bào)道，百度超級(jí)計(jì)算機(jī)Minwa在計(jì)算機(jī)視覺(jué)挑戰(zhàn)賽（ILSVRC）上取得了“世界最好的成績(jī)”，他們的系統(tǒng)在測(cè)試ImageNet分類數(shù)據(jù)集中的錯(cuò)誤率僅為4.58%，擊敗了谷歌、微軟等競(jìng)爭(zhēng)對(duì)手。

而在6月2日，ILSVRC的組織者指出，百度在測(cè)試過(guò)程中作弊，測(cè)試的頻率遠(yuǎn)超規(guī)定次數(shù)。ImageNet允許參賽方每周提交兩組測(cè)試結(jié)果。然而，百度在3月份的5天內(nèi)提交了逾40次測(cè)試結(jié)果。據(jù)了解，負(fù)責(zé)這個(gè)項(xiàng)目的并不是來(lái)自百度深度學(xué)習(xí)研究院IDL的科學(xué)家，而是百度美國(guó)研發(fā)中心的異構(gòu)計(jì)算研究團(tuán)隊(duì)。對(duì)此，百度承認(rèn)違規(guī)行為，并且已經(jīng)就此事道歉。

曾在ImageNet測(cè)試中獲勝的人工智能公司Clarifai CEO Matthew Zeiler表示：

“這種做法十分糟糕，這正是為什么要將測(cè)試數(shù)據(jù)獨(dú)立服務(wù)器上，并限制訪問(wèn)次數(shù)的原因。如果你知道了測(cè)試數(shù)據(jù)，你就會(huì)修改你的模型參數(shù)，怎么優(yōu)化都可以。” 

目前，ImageNet組織方已經(jīng)要求百度停止在明年提交ImageNet測(cè)試成績(jī)。 

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。