0
自從蘋果推出 ARKit 之后，不少開發者已經玩瘋了。繼 ARkit+HTC Vive 玩《Tilt Brush》的視頻引來眾人圍觀后，又有一家內容團隊把 ARKit 玩出了新高度。
據雷鋒網了解，這家團隊名叫 Nexus Studios，他們將 ARKit 開發的 demo，與紙盒眼鏡 Cardboard 結合，在戶外展示了所能實現的效果。
從視頻中，我們能看到，戴上 Cardboard 之后，你眼前的內容一會兒切換成 AR，真實環境與虛擬的內容一同顯示，一會兒切換成 VR，完全進入虛擬的世界中，相當有意思。
Nexus Studio 稱“在 iPhone 7 上實現 AR 效果，以及達到每秒 60 幀 VR 畫面 Inside-out 追蹤，是完全有可能的?！钡€是有一些小問題，“不能快速地移動頭部，只要你在內容呈現的‘畫廊范圍內’走動，定位追蹤的效果還不錯?！?/p>
Nexus Studios 的互動藝術部門負責人 Luke Ritchie 向外媒表示，他們測試了 10 分鐘，他透露到"說實話，追蹤確實很棒。如果快速轉動頭部，畫面會不穩定。快速移動和稍長的延時會讓人感到有些不舒服。我們不建議現在就拿給消費者使用。"
樹旁邊是虛擬的畫
在這個測試視頻中，有兩點比較有意思，一是這個 demo 在戶外測試，并且有一定空間范圍的移動，其中蘋果手機怎樣實現定位追蹤的？另外， VR、AR 是如何隨意切換的？
雷鋒網請教了 Usens 技術副總裁馬賡宇，他給出了很詳細的回答：
ARKit 的 SLAM 技術，是基于單目相機和 IMU 傳感器融合的。通過對攝像頭圖像中的特征點識別和跟蹤，可以重建出場景的 3D 模型。但是單目相機無法得到尺度信息。因此需要用 IMU 中的陀螺儀和加速度信息進行融合，得到場景的真實尺度信息。
AR 和 VR 中用到估算的 SLAM 空間定位技術都是一樣的，只是顯示的內容不一樣。SLAM 會識別出雙眼在世界坐標系下的位置。AR 應用中是把一個虛擬物體顯示在一個世界坐標系中的某個位置，同時顯示真實場景的內容。VR 應用就是只顯示虛擬物體，不顯示真實場景。
因為 ARKit 是針對 AR 場景開發的，所以對快速旋轉跟蹤的并不好。文中也說了，只是對類似看畫廊的那種平移移動效果比較好。
簡單來說，基于蘋果手機上單目相機和 IMU 傳感器融合的 SLAM 技術，定位是一樣的，只不過根據內容開發的不同，而產生了 AR、VR 切換的效果。仔細看視頻，你會發現，他們在真實的樹上設置了點云。
馬賡宇也解釋道，
咱們手機上的攝像頭，是可以直接看到外部環境的。AR 無非就是在這個畫面上疊加了虛擬的物體。而 VR 就是把 VR 的內容，放到你的屏幕上了，比如你看電影的時候或玩游戲的時候，就看不到外部環境了。
VR時候的畫面，在“畫廊的范圍內”移動
另外，基于現有的包括單目、雙目和深度相機等三種視覺定位追蹤方案，馬賡宇表示它們的不同之處在于：
單目使用的信息最少，如果跟蹤丟失的話，需要相對較長的時間進行初始化。而且估計尺度需要較高的 IMU精度。成本最低。
雙目可以通過單幀圖像得到場景的真實尺度，初始化比較簡單。但是由于基線長度限制，對太遠的場景初始化不好。而且成本相對較低。
深度相機要處理的數據量比較大，計算比較復雜。而且深度相機成本比較高
雷鋒網又想到了當年搭載深度相機的 Tango 手機，盡管推出的時間很早，但并沒得到開發者熱烈的反響，究其根本原因還是與硬件的普及度有關。馬賡宇說，“Tango 硬件不普及，必須要特殊的硬件才能用，所以一般開發者也不會在 Tango上開發應用，導致消費者沒有購買的動力。”
事實上，除了國外開發者玩的嗨，國內也有開發者正在進行 ARKit 的內容開發。雷鋒網聯系到武漢火游網絡的 CEO 童洋，他跟 Luke Ritchie 的看法一致，現在 ARKit 還不成熟。他們現在使用 iPhone 7、iPhone 6 & 6s 進行 Demo 測試，還處于只是“能用”的階段，可能需要等待 iPhone 8 的上市，在硬件和軟件上能更好地支持 ARKit。
再來說說文章一開始提到的 VRKit 和 HTC Vive，有可能是通過單目+IMU 的定位方式，并配合 Lighthouse 空間定位系統，實現了我們所看到的效果。
最后，iPhone 8 如果上市了，你會不會為了好玩的 AR 換手機？筆芯。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
