亮風(fēng)臺2D AR算法新突破，奪冠世界權(quán)威評測 | ICRA 2018

在目前的AR應(yīng)用中，2D AR跟蹤，如海報(bào)、卡牌等平面物體的跟蹤已經(jīng)成為核心技術(shù)之一，在營銷、教育、游戲、展示展覽等方面都很常見。然而，盡管近年來2D AR跟蹤算法已經(jīng)取得了很大的進(jìn)步，但在一些外部條件、環(huán)境因素影響下的效果仍然有很大提升空間，如何處理光照變化、運(yùn)動模糊等因素帶來的挑戰(zhàn)，也是目前進(jìn)行底層算法研發(fā)的AR公司以及學(xué)者的研發(fā)熱點(diǎn)。

雷鋒網(wǎng)近日消息，AR公司亮風(fēng)臺在2D AR跟蹤方面取得了新突破，其研發(fā)人員提出的基于約束置信度的魯棒跟蹤算法（CCM），提高了在局部遮擋、光照變化和運(yùn)動模糊等各種因素干擾情況下的魯棒性，并在UCSB和TMT兩個(gè)國際評測集中刷新了最好成績。目前，這一成果已經(jīng)在機(jī)器人領(lǐng)域頂級會議ICRA 2018上發(fā)表。ICRA 是機(jī)器人領(lǐng)域三大頂級會議之一（其它兩個(gè)為IROS和RSS），AR跟蹤的很多經(jīng)典工作（例如ESM跟蹤算法）都曾在ICRA和IROS上發(fā)表。

在局部遮擋、運(yùn)動模糊和照明改變條件下的CCM算法效果示例（只顯示在目標(biāo)周圍放大的區(qū)域以便展示）

據(jù)了解，這兩年亮風(fēng)臺依然有不少工作在針對2D AR的算法優(yōu)化，在2017年的ICRA上發(fā)表了針對光照變化的基于梯度方向的AR跟蹤算法；同年提出的基于圖匹配的跟蹤算法利用圖結(jié)構(gòu)來處理目標(biāo)物體內(nèi)部的空間關(guān)聯(lián)，從而實(shí)現(xiàn)在強(qiáng)干擾的準(zhǔn)確平面物體跟蹤，該工作已被人工智能領(lǐng)域國際頂級期刊《PAMI》（IEEE模式分析和機(jī)器智能匯刊）錄用。其它在CVPR、ICCV、ECCV、ICRA、ISMAR、PAMI 等AI、CV、AR相關(guān)領(lǐng)域頂級期刊會議上公開發(fā)表的研究成果涉及圖像語義識別、人臉圖像分析、手勢識別、AR場景建模定位、超圖匹配，視覺顯著性等方面。

基于約束置信度的魯棒跟蹤算法（CCM）

跟蹤平面物體，例如2D標(biāo)記，通常是相機(jī)定位和場景配準(zhǔn)的重要步驟。在過去的幾十年中，大量的研究致力于視覺跟蹤問題，平面目標(biāo)跟蹤的流行方法可以大致分為基于關(guān)鍵點(diǎn)的方法和基于模板的方法。基于模板的方法直接利用像素的外觀而不提取特征，并基于牛頓法或其變體優(yōu)化模板與捕獲圖像之間的相似性度量，以確定平面的姿態(tài)。

不同與傳統(tǒng)的基于模板的跟蹤方法，CCM（ Constrained Confidence Matching）根據(jù)測量噪聲對每個(gè)像素分配不同的匹配系數(shù)，而不是在計(jì)算運(yùn)動參數(shù)時(shí)對模板中的每個(gè)像素進(jìn)行相同的處理。在此基礎(chǔ)上，為了進(jìn)一步提高對光照變化和重運(yùn)動模糊的魯棒性，亮風(fēng)臺研發(fā)人員還提出了一種魯棒卡爾曼濾波器，它采用新的控制輸入模型來處理物體的外觀變化。

給定目標(biāo)的初始圖像或位置，新方法（即CCM）自動從視頻中跟蹤定位目標(biāo)所在位置。

第一步：從視頻第一幀中提取目標(biāo)區(qū)域作為模板T；

第二步：從視頻讀取下一幀圖像It；

第三步：在圖像It中跟蹤匹配目標(biāo)；

第四步：根據(jù)第三步的跟蹤結(jié)果更新模板T。

第五步：跳轉(zhuǎn)到步驟二處理下一幀圖像。

測試結(jié)果

為了徹底評估，CCM算法在兩個(gè)公共數(shù)據(jù)集上進(jìn)行了測試：加利福尼亞大學(xué)提出的UCSB基準(zhǔn)和加拿大阿爾伯塔大學(xué)提出的操作任務(wù)跟蹤（TMT）基準(zhǔn)。UCSB數(shù)據(jù)集包括96個(gè)視頻流，顯示6個(gè)不同紋理的平面目標(biāo)，總共6889幀，具有幾何失真（搖攝、縮放、傾斜、旋轉(zhuǎn)）、九個(gè)運(yùn)動模糊等級以及不同的照明條件，所有幀都受到不同程度的噪音影響。TMT數(shù)據(jù)集由人為和機(jī)器記錄的操作任務(wù)的圖像序列組成，它包含109個(gè)圖像序列，共70592幀。

對應(yīng)于每個(gè)視頻類別的平均跟蹤精度匯總在表I（UCSB）和II（TMT）中，如下：

從實(shí)驗(yàn)結(jié)果可以看出，所提出的CCM算法在兩個(gè)數(shù)據(jù)集上顯著地優(yōu)于所有基線。事實(shí)上，CCM在幾乎所有視頻類別中都獲得了最佳或幾乎最佳的跟蹤性能，明顯優(yōu)于現(xiàn)有的主流跟蹤算法，如基于關(guān)鍵點(diǎn)的跟蹤（keypoint-based tracker）,基于模板的跟蹤（ template-based tracker）以及概率跟蹤（probabilistic tracker），并且它對于極端姿態(tài)變化以及嚴(yán)重的環(huán)境擾動都表現(xiàn)出很高的魯棒性。

CCM算法與其他算法相比，在各類內(nèi)在和外在變化的幾個(gè)典型示例如下，包括具有重復(fù)圖案的圖像傾斜；劇烈而動態(tài)的日落畫面引起照明變化，紋理非常弱；存在部分遮擋；運(yùn)動模糊，在這種情況下檢測不到可靠的關(guān)鍵點(diǎn)。

AR的研究仍需持續(xù)努力

盡管計(jì)算機(jī)對于“常規(guī)”平面物體的認(rèn)識已經(jīng)能達(dá)到很高的速度、精度，以及穩(wěn)定性，但這明顯還不夠，研究人員希望計(jì)算機(jī)能夠盡可能“模擬”人的視覺效果，甚至在一定條件下超過人眼，這樣，在算法工程化之后面向普通用戶時(shí)，才能保障優(yōu)質(zhì)的用戶體驗(yàn)，如在傳統(tǒng)的平面物體跟蹤中，容易出現(xiàn)快速運(yùn)動丟失或漂移等現(xiàn)象，反映到用戶體驗(yàn)上，車窗外的廣告牌就容易識別不到，在走動過程中玩AR游戲發(fā)現(xiàn)地面上的家具會“飄”起來等。

這就需要相關(guān)的學(xué)術(shù)人員以及企業(yè)研發(fā)人員不斷的優(yōu)化算法、提出新方法，如此才能結(jié)合不斷升級的硬件環(huán)境實(shí)現(xiàn)高度的市場化。對于目前的2D AR甚至整個(gè)AR行業(yè)來說，需要從業(yè)人員把現(xiàn)有技術(shù)應(yīng)用化市場化，但同樣需要大量真正的創(chuàng)新人員向前推進(jìn)底層技術(shù)邊界，讓AR走向成熟。

相關(guān)文章：

AR技術(shù)新突破：亮風(fēng)臺研發(fā)基于圖的平面物體跟蹤算法

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。