NVIDIA的AI深度算法大躍進,竟還能夠修復圖片!
合作媒體:雷鋒網/作者:雷鋒字幕組
林詩容/編譯 2018-05-14 17:15

 (示意圖/來源為flickr)

 

日前,NVIDIA公司(一家以設計圖形處理器為主的半導體公司)由Guilin Liu領導的研發團隊發布一種最先進的深度學習算法,可以編輯圖像並復原那些像素有缺失的圖像。

 

該方法還可以通過刪除圖像的部分內容再進行填充的方式,來重新編輯圖像!

 

 

這種「圖像修復」功能應用在照片編輯軟體中,先摳掉圖像中不需要的內容,同時用算法生成的真實數據來填充。文章中寫道:「以前類似的深度學習方法重點放在位於圖像中心的矩形區域,並且經常依賴於複雜的後處理操作,而我們的新模型有更好的效果,它可以魯莽地處理任何形狀、位置的馬賽克遮擋,並且未來可以更平滑地處理更大的區域。」

 

在著手訓練神經網絡之前,首先生成了5萬5116個具有隨機紋理和任意形狀、大小的馬賽克形狀作為訓練,他們還生成了近2萬5000個馬賽克圖形作為測試數據,為了提高圖像重建的準確度,根據馬賽克形狀的相對大小把這些圖像進一步分成了六類。

 

(為了訓練生成的馬賽克例子)

 

團隊通過將生成的馬賽克圖案覆蓋在ImageNet、Places2和CelebA-HQ數據集的圖像上,使用NVIDIA Tesla V100 GPU和經過cuDNN加速的PyTorch深度學習框架來訓練神經網路。

 

在訓練階段,將空白或缺失部分引入上述數據集完整的訓練集中,使神經網路能夠學習復原缺失的像素,在測試階段,將與訓練階段不同形狀的馬賽克圖案應用於測試集的圖像中,從而提高復原精度的範圍能力。

 

現有的基於深度學習的圖像修復方法效果受限,是因為受損像素的輸出一定依賴於這些像素提供給神經網路的輸入,這導致圖像中產生顏色偏差和模糊的偽訊息。

 

為瞭解決這個問題,研究團隊開發了一種方法,確保受損像素的輸出不依賴於因這些像素產生的輸入值,這個方法是使用「部分卷積」層,根據其感受有效性對每個輸出進行重新歸一化,這種重新歸一化的方法可確保輸出值與每個感受野中受損像素的值相互獨立無關,該模型由UNet架構實現的部分卷積功能,使用一組損失函數來訓練模型,匹配VGG模型的特徵損失和風格損失以產生逼真的輸出。

 

研發人員也在文章中引用到,相同的網路框架可以來完成高分辨率圖像的處理任務!

 

圖文授權自 雷鋒網