4
| 本文作者： 劉芳平 | 2016-12-06 20:50 |
騰訊AR研究員劉驍
12月6日，SIGGRAPH Asia 2016正在澳門舉行，今年有相當一部分內容都與VR/AR有關。今天，在騰訊優圖實驗室、清華大學-騰訊聯合實驗室以及騰訊AI Lab聯合舉行的一場分享會議中，來自騰訊的劉驍首次介紹了騰訊“QAR開放平臺”，一個增強現實平臺。
在騰訊從事AR研究超過3年的劉驍告訴雷鋒網，該平臺目前還沒有對外推出，預計會在明年隨其它產品一并發布。
以下內容整理自劉驍的Keynote演講。
近些年AR領域越來越火，特別是在廣告和游戲等領域。當前的AR可以分為兩種：一種是移動AR，另一種是頭戴顯示器。由于它們使用的傳感器不同，通常其追蹤技術也不同。
對于希望開發AR應用的開發者來說，目前比較流行的AR SDK有Vuforia、ARToolkit、Metaio和Wikitude。而app開發者遇到的問題是：
1、一些強大的API對入門開發者來說太難了；
2、對輕量級App來說過重；
3、模型渲染需要額外工作；
4、建立識別服務需要額外的工作；
5、一些前沿的功能沒有包括進來：SLAM，室外臉部AR等等。
QAR=Quick+AR，其目標是構建易用、輕型、一站式、多特性并且免費的AR SDK，開發者只需要3行代碼就能為自己的App加入騰訊的AR模塊功能。
對“Quick”的定義：
易用：容易使用，代碼少；
輕型：輕量；
一站式：包含識別服務、模型存儲；
多特性：包含2D/3D Markers、SLAM、Face AR、Handy AR等功能；
免費。
現場視頻演示了四個Demo，分別是：The Smurfs 2和NARUTO的3D動畫Demo，The Avengers AR預告片Demo，以及和真實3D模型合影的AR相機Demo。
首先，我們建立了一個AR網絡服務器，用于圖像隊列和模型管理（Image Queue and Model Management）。用戶與AR數據庫的交互分兩步，首先是上傳Marker圖像到服務器，然后服務器會對其進行識別，并將AR模型調整后與之匹配，然后進行顯示。整個過程非常迅速，且支持多用戶和巨大用戶規模，每個用戶有自己的數據庫。
圖像和目標檢索方面，我們使用了CDVS（Compact Descriptors for Visual Search）算法。
探測追蹤是AR技術里的核心，在探測方面，我們使用了ORB探測器，基于一般采用詞集（bags of words）方法的搜索，針對二維圖像使用Homography，三維圖像則是PnP+RANSAC。這使得我們在移動平臺上支持低于1000個目標的檢索。
下面這張圖是我們追蹤方案的技術實現過程，我們使用基于SLAM的追蹤技術，因為希望同時支持目標和場景追蹤，所以我們也要做Mapping。
在模型渲染方面我們使用了基于Open GL ES的輕量級引擎，Android只需66kb，iOS為140kb。同時擁有很高的渲染速度，在低端的Android手機上小于1.5ms。
對于建筑、辦公場所等地，我們有不需要Marker點的SLAM追蹤技術。同時，我們采用了Kalman過濾器將IMU和相機的數據融合到一起，提供快速和穩定的追蹤。
QAR還沒有對外發布，但騰訊內部已經有一些應用對這個平臺非常感興趣了，下面就分享一些應用場景。
QAR應用：
1、微信電影票；
2、RTX+Tencent Explorer；
3、QQ手機瀏覽器；
4、KM
5、微信公開課；
6、微信掃一掃；
7、手機管家；
8、應用寶。
以微信電影票為例，用戶可以在App里打開攝像頭對準海報，比如熱門電影《天將雄師》，之后3D的成龍就會跳出來，用戶可以和他合影交分享到朋友圈。
目前我們正與內部許多應用一起探索AR的應用場景，正在合作的項目包括：RTX+Tencent Explorer、微信、QQ瀏覽器、手機管家和應用寶。
除了已有的目標追蹤功能，未來我們還將在QAR SDK中加入另外三項功能：Face AR、Handy AR和Scene AR。
除了針對App開發者，我們還將為網頁開發者推出H5開放平臺。再往后，我們希望對各種頭戴顯示器進行支持，包括HoloLens、Meta等。
開發者若想了解QAR，可以訪問www.aropen.com。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
