高分辨率神經人臉交換 - 迪士尼研究中心

我們提出了一種用於圖像和視頻中全自動神經人臉交換的算法。
據我們所知,這是第一種能夠以百萬像素分辨率呈現照片般逼真的和時間相干結果的方法。
為此,我們介紹了一種經過逐步訓練的多向梳狀網絡以及一種保持光和對比度的混合方法。
我們還表明,儘管漸進式訓練可以生成高分辨率圖像,但將體系結構和訓練數據擴展到兩個人之外,可以使我們在生成的表達式中實現更高的保真度。
在將生成的表情合成到目標面部時,我們將展示如何調整混合策略以保留對比度和低頻照明。
最後,我們將優化策略納入人臉界標穩定算法中,以實現時間穩定性,這對於處理高分辨率視頻至關重要。
我們進行了廣泛的消融研究,以顯示我們的設計選擇對交換質量的影響,並將我們的工作與流行的最新方法進行比較。


留言