英偉達(dá)發(fā)布新算法，可以重建缺失像素

雷鋒網(wǎng)按：本文由雷鋒字幕組編譯，原標(biāo)題New AI Imaging Technique Reconstructs Photos with Realistic Results，作者為Nvidia Developer News Center。

翻譯 | 李誠  孫啟超    整理 |  凡江

日前，英偉達(dá)公司由 Guilin Liu 領(lǐng)導(dǎo)的研發(fā)團(tuán)隊(duì)發(fā)布了一種最先進(jìn)的深度學(xué)習(xí)算法，可以編輯圖像或復(fù)原那些像素有缺失的圖像。

該方法還可以通過刪除圖像的部分內(nèi)容再進(jìn)行填充的方式，來重新編輯圖像。

這種“圖像修復(fù)”功能應(yīng)用在照片編輯軟件中，先摳掉圖像中不需要的內(nèi)容，同時(shí)用算法生成的真實(shí)數(shù)據(jù)來填充。

論文中寫道：“以前類似的深度學(xué)習(xí)方法重點(diǎn)放在位于圖像中心的矩形區(qū)域，并且經(jīng)常依賴于復(fù)雜的后處理操作，而我們的新模型有更好的效果。它可以魯棒地處理任何形狀、位置的馬賽克遮擋。 并且未來可以更平滑地處理更大的區(qū)域。”

在著手訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，首先生成了 55,116 個(gè)具有隨機(jī)紋理和任意形狀、大小的馬賽克形狀作為訓(xùn)練集。他們還生成了近 25,000 個(gè)馬賽克圖形作為測試數(shù)據(jù)集。 為了提高圖像重建的準(zhǔn)確度，根據(jù)馬賽克形狀的相對大小把這些圖像進(jìn)一步分成了六類。

為了訓(xùn)練生成的馬賽克例子

團(tuán)隊(duì)通過將生成的馬賽克圖案覆蓋在 ImageNet，Places2 和 CelebA-HQ 數(shù)據(jù)集的圖像上，使用 NVIDIA Tesla V100 GPU 和經(jīng)過 cuDNN 加速的 PyTorch 深度學(xué)習(xí)框架來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

在訓(xùn)練階段，將空白或缺失部分引入上述數(shù)據(jù)集完整的訓(xùn)練集中，使神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)原缺失的像素。在測試階段，將與訓(xùn)練階段不同形狀的馬賽克圖案應(yīng)用于測試集的圖像中，從而提高復(fù)原精度的范化能力。

現(xiàn)有的基于深度學(xué)習(xí)的圖像修復(fù)方法效果受限，是因?yàn)槭軗p像素的輸出一定依賴于這些像素提供給神經(jīng)網(wǎng)絡(luò)的輸入。這導(dǎo)致圖像中產(chǎn)生了顏色偏差和模糊的偽信息。

為了解決這個(gè)問題，研究團(tuán)隊(duì)開發(fā)了一種方法，確保受損像素的輸出不依賴于因這些像素產(chǎn)生的輸入值。這個(gè)方法是使用“部分卷積”層，根據(jù)其感受野的有效性對每個(gè)輸出進(jìn)行重新歸一化 。這種重新歸一化的方法可確保輸出值與每個(gè)感受野中受損像素的值相互獨(dú)立無關(guān)。該模型由UNet架構(gòu)實(shí)現(xiàn)的部分卷積功能。使用一組損失函數(shù)來訓(xùn)練模型，匹配VGG模型的特征損失和風(fēng)格損失以產(chǎn)生逼真的輸出。

研發(fā)人員也在論文中引用到，相同的網(wǎng)絡(luò)框架可以來完成高分辨率圖像的處理任務(wù)。

論文參考：https://arxiv.org/pdf/1804.07723.pdf

博客原址 https://news.developer.nvidia.com/new-ai-imaging-technique-reconstructs-photos-with-realistic-results/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。