雷鋒網(wǎng) AI科技評(píng)論按，本文作者究竟灰，本文首發(fā)于知乎，雷鋒網(wǎng) AI科技評(píng)論獲其授權(quán)轉(zhuǎn)載。
今天去CCCV2017講習(xí)班聽了中科院自動(dòng)化所模式識(shí)別國(guó)重實(shí)驗(yàn)室的申抒含老師和崔海楠老師的關(guān)于基于凸顯的大規(guī)模場(chǎng)景三維重建的講習(xí)班，把筆記整理了一下。（本文為上篇，內(nèi)容為第一章：簡(jiǎn)介和第二章：稀疏重建。）
主要分為四點(diǎn)展開：
簡(jiǎn)介
稀疏重建sfm
稠密重建mvs
資源
1.簡(jiǎn)介
首先講了現(xiàn)在cv與類腦。
腦的腹部通道進(jìn)行物體視覺，現(xiàn)在CV上主要采用基于學(xué)習(xí)的方法。
腦的背部通道進(jìn)行空間視覺，現(xiàn)在CV上主要采用基于幾何的方法。
最后上述兩者信息在前額匯集，綜合處理。
接著講了幾何視覺的核心問題：主要是機(jī)器人在三維環(huán)境中需要：
對(duì)二維圖像理解
對(duì)三維環(huán)境感知
而三維結(jié)構(gòu)和相機(jī)的六自由度空間位姿是機(jī)器人感知決策動(dòng)作的基礎(chǔ)信息。
接著講了圖像三維重建的基本流程：
基本流程包括：
多視角圖像
圖像特征提取匹配
稀疏重建Sfm
稠密重建MVS
點(diǎn)云模型化
生成三維模型
然后科普了一下一些基礎(chǔ)知識(shí)：
小孔成像：世界中的一個(gè)點(diǎn)經(jīng)過小孔在圖像平面上會(huì)形成一個(gè)倒立縮小的像。這就形成了幾何相似三角形關(guān)系。如果我們把成像平面放到前面來，就是正立縮小的像。具體的焦距、圖像片面，相機(jī)中心什么就不贅述了。右下角公式表示通過一個(gè) 相似性（比例
） 可以建立圖像坐標(biāo)系和世界坐標(biāo)系的關(guān)系。
然后說到了無窮遠(yuǎn)元素。它們用現(xiàn)在的xyz方法沒辦法表示。
于是提出了射影空間，齊次坐標(biāo)是射影空間的坐標(biāo)表達(dá)方式：一般的坐標(biāo)在xyz后面加一個(gè)1，無窮遠(yuǎn)點(diǎn)最后一個(gè)為0.
當(dāng)然齊次非齊次的坐標(biāo)轉(zhuǎn)換通過除以最后一個(gè) 
來實(shí)現(xiàn)。
這里有一個(gè)等價(jià)關(guān)系，即當(dāng)非齊次坐標(biāo)通過除以一個(gè)值 
之后變成齊次而與一個(gè)已經(jīng)存在的齊次坐標(biāo)相等時(shí)為：齊次坐標(biāo)在相差一個(gè)尺度時(shí)的等價(jià)。
那么小孔成像模型可以表達(dá)出來。
為焦距， 
為主點(diǎn)：光心與相機(jī)平面的交點(diǎn)。
接著介紹了相機(jī)坐標(biāo)系和世界坐標(biāo)系之間存在一個(gè)歐式坐標(biāo)變換：
中間的矩陣由R轉(zhuǎn)移矩陣和t平移向量組成。
把兩個(gè)式子寫到一起：
可以得到圖像點(diǎn)和空間點(diǎn)的關(guān)系。通過相機(jī)內(nèi)參數(shù)K 、相機(jī)旋轉(zhuǎn)R和相機(jī)平移建立關(guān)系。
相機(jī)的內(nèi)參數(shù)由相機(jī)硬件決定，而旋轉(zhuǎn)平移由相機(jī)位姿決定。空間點(diǎn)是場(chǎng)景結(jié)構(gòu)點(diǎn)。
接著說了由單張圖是無法重建場(chǎng)景結(jié)構(gòu)的。
于是引出了多視圖幾何
然后說求解思路：最小化重投影誤差平方和
其中 
即空間點(diǎn)X通過之前說的坐標(biāo)變換（左乘P投影到圖像平面上）與圖像平面上的x可以產(chǎn)生一個(gè)L2范數(shù)作為誤差。建立一個(gè)目標(biāo)函數(shù)為所有點(diǎn)的誤差和。
接著推導(dǎo)就可以寫成 
的形式。
這樣求解重投影誤差最小化問題是一個(gè)高維非線性最小二乘問題。未知數(shù)數(shù)量由圖像數(shù)量乘以旋轉(zhuǎn)矩陣、平移向量、內(nèi)參數(shù)、畸變加上稀疏點(diǎn)數(shù)目乘以世界坐標(biāo)X。
求解可以用捆綁調(diào)整的工具做。Bundle Adjustment.它是一種啟發(fā)式的阻尼高斯牛頓法。
因?yàn)橐龀跏贾登蠼猓又破諆梢晥D幾何：
平面1上面的點(diǎn)p與其相機(jī)中心o連線，延長(zhǎng)。這個(gè)線r在平面2中投影出一條極線。
同理也可以在平面1投影出極線。連接 o t這條線叫基線。這三條線在一個(gè)平面上，這個(gè)平面叫做極平面。
于是可以推出一個(gè)基本矩陣Fundamental matrix。
當(dāng)內(nèi)參K1，K2已知，用 
表示之后，可以推出本質(zhì)矩陣Essential matrix。
雙視圖幾何的求解方法：
基本矩陣可以用8點(diǎn)法求解，本質(zhì)矩陣可以用5點(diǎn)發(fā)求解。
通過SVD分解可以從本質(zhì)矩陣中分解相機(jī)的R t.
已知K R T可以三角花求解三維點(diǎn)X
這樣可以得到兩視圖重建的初始值，接著可以用BA進(jìn)行非線性優(yōu)化。
2.稀疏重建
稀疏重建是通過相機(jī)運(yùn)動(dòng)恢復(fù)場(chǎng)景結(jié)構(gòu)。（Structure-from-Motion）
SfM包括以下步驟：
特征點(diǎn)檢測(cè)與匹配
外極幾何圖構(gòu)造
攝像機(jī)位姿和場(chǎng)景結(jié)構(gòu)估計(jì)
捆綁調(diào)整（BA）優(yōu)化攝像機(jī)位姿和場(chǎng)景
特征點(diǎn)檢測(cè)和匹配：
特征點(diǎn)檢測(cè)用SIFT
特征點(diǎn)匹配：
特征點(diǎn)匹配的難度：候選圖像匹配對(duì)非常多。這里介紹了一篇解決這個(gè)問題的論文。
通過聚類、建樹、匹配。（K-means層級(jí)樹）
可以把復(fù)雜度降到線性。
這里介紹了每對(duì)圖像之間特征點(diǎn)匹配用一個(gè)哈希表方法優(yōu)化的方法。
但是有些地方還存在誤匹配問題。極端一點(diǎn)的是如圖所示的天壇正反面幾乎完全一樣。
這里講了一個(gè)用Loop約束來去除錯(cuò)誤外極幾何關(guān)系的方法。
還有一些其他解決方法：
接著講本質(zhì)矩陣分解：三角化選擇內(nèi)點(diǎn)最多的一組配置作為外極幾何關(guān)系。
外極幾何圖構(gòu)建
攝像機(jī)位姿和場(chǎng)景結(jié)構(gòu)
包括三種方法：
增量式（Incremental）
全局式（Global）
混合式（Hybrid）
增量式要先選擇兩個(gè)圖作為初始，一般要求：1.基線足夠?qū)?2.匹配點(diǎn)足夠多 當(dāng)然這兩個(gè)是矛盾的兩個(gè)項(xiàng)。通過最小化右邊式子來求取。
然后開始增加一張圖：
這就變成了P3P問題：
三角化：
捆綁調(diào)整：
增量式示意圖：
增量式的優(yōu)缺點(diǎn)：
全局式：估計(jì)所有攝像機(jī)的旋轉(zhuǎn)矩陣和位置并三角化初始場(chǎng)景點(diǎn)
因?yàn)榻?jīng)過ij的旋轉(zhuǎn)矩陣要等于Rj和Ri串聯(lián)之后的結(jié)果，所以要最小化兩者差的范數(shù)作為目標(biāo)函數(shù)。而兩個(gè)點(diǎn)坐標(biāo)也應(yīng)該滿足一個(gè)關(guān)系。
過濾外極幾何邊：Rij與Rj和Ri乘形成一個(gè)范數(shù)，要大于一個(gè)值
接著推導(dǎo)：目標(biāo)是讓第一項(xiàng)越大越好，讓第二項(xiàng)越小越好。
過濾外極幾何邊：
全局式的優(yōu)缺點(diǎn)：
相關(guān)文獻(xiàn)：
比較全局和增量：
混合式：全局估計(jì)旋轉(zhuǎn)矩陣，增量估計(jì)攝像機(jī)位置，三角化初始場(chǎng)景點(diǎn)。這是CVPR2017的一個(gè)工作。
這個(gè)方法提出基于團(tuán)體的全局R求取：先根據(jù)相機(jī)外極幾何圖匹配稠密情況把這么多攝像機(jī)分成幾個(gè)團(tuán)體。
發(fā)現(xiàn)這樣做有效：
然后用增量式方法求攝像機(jī)位置：
求取方法已知旋轉(zhuǎn)矩陣，用兩點(diǎn)法求取攝像機(jī)位置。有幾個(gè)優(yōu)勢(shì)：
RANSAC最小配置減少，更大概率隨機(jī)到正確的三維點(diǎn)與二維點(diǎn)對(duì)應(yīng)，這樣能提高精度
在R已知的情況下，一定程度上可以過濾一部分錯(cuò)誤的匹配特征點(diǎn)，這樣能提高魯棒性
每次增量中，可以同時(shí)計(jì)算得到更多攝像機(jī)位置，較少BA次數(shù)，提高重建效率
混合式優(yōu)缺：
綜合比較：
稀疏重建總結(jié)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
