DeepFaceDrawing: 使用草圖生成人臉圖像

來(lái)源：DeepHub IMBA

在本文中，介紹了使用人臉設(shè)計(jì)或草圖來(lái)制作人臉照片的想法。該技術(shù)的應(yīng)用包括角色設(shè)計(jì)、教育培訓(xùn)、面部變形和嫌疑人畫(huà)像等。

有興趣的可以先看看視頻介紹：

，時(shí)長(zhǎng)04:11

要解決的問(wèn)題

這篇文章的想法是設(shè)計(jì)一個(gè)應(yīng)用程序來(lái)使用該面部草圖來(lái)繪制一張真實(shí)的面部圖像，該應(yīng)用程序在警察、電影拍攝和面部彩繪中具有各種應(yīng)用。這個(gè)想法的主要標(biāo)準(zhǔn)之一是它簡(jiǎn)單明了，非常易于使用，即使你不是一個(gè)好的畫(huà)家，你也可以使用這個(gè)應(yīng)用程序創(chuàng)建真實(shí)的面孔。
過(guò)去有解決這個(gè)問(wèn)題的方法，在某些情況下使用了深度學(xué)習(xí)，但大多數(shù)時(shí)候他們以固定的繪圖作為輸入，并試圖通過(guò)添加細(xì)節(jié)使其更完整，并生成真實(shí)的面孔。
從左至右：真實(shí)圖像——HED——APDrawingGAN
從左至右：Canny Edges — Photoshop 中的影印濾鏡 — PS 中影印濾鏡的簡(jiǎn)化

問(wèn)題是如何解決的？（架構(gòu)和思想）

數(shù)據(jù)集：
使用 CelebAMask-HQ 數(shù)據(jù)集的人臉圖像創(chuàng)建了一個(gè)新的數(shù)據(jù)集，并用于訓(xùn)練（Train）和測(cè)試模型。
在這個(gè)數(shù)據(jù)庫(kù)中只收集了面對(duì)面的圖像，沒(méi)有任何其他添加，例如眼鏡、口罩等。邊緣檢測(cè)過(guò)程采用了整體嵌套的邊緣檢測(cè)方法，下一步使用Photoshop中的Photocopy Filter來(lái)提高設(shè)計(jì)的質(zhì)量，消除圖像噪聲。該數(shù)據(jù)庫(kù)包括 17,000 對(duì)真實(shí)圖像及其設(shè)計(jì)，其中男性圖像 6,247 對(duì)，女性圖像 11,456 對(duì)。但是，這個(gè)數(shù)據(jù)集不是很大，需要新的數(shù)據(jù)來(lái)改進(jìn)算法。在這個(gè)想法中，訓(xùn)練集與測(cè)試集的比例是 1 比 20。

架構(gòu)：

該系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)包括三個(gè)主要模塊:組件嵌入(CE)、特征映射(FM)和圖像合成(IS)。

1. CE(組件嵌入)模塊是一個(gè)自動(dòng)編碼器，它具有定義面部的5個(gè)特征或主要組件，即左眼、右眼、鼻子和嘴。(嘴)通過(guò)其他組件進(jìn)行學(xué)習(xí)。
2. FM (Feature Mapping)和IS (Image Synthesis)模塊一起形成了一個(gè)深度學(xué)習(xí)子網(wǎng)，用來(lái)放置和組合面部組件，以創(chuàng)建一個(gè)真實(shí)的臉。其中FM是CE模塊中編碼的特征****，它將特征向量轉(zhuǎn)換為32通道的特征圖，而不是1通道的原型，這樣提高了模型的性能。

這個(gè)模型使用了shadow-guided的思想，這是用來(lái)幫助那些不太精通繪畫(huà)和繪畫(huà)的人。在背景中就會(huì)有一個(gè)臉部設(shè)計(jì)的模糊圖像，用戶(hù)可以使用它來(lái)使設(shè)計(jì)更加完整，畫(huà)出一個(gè)細(xì)節(jié)更多的更好的設(shè)計(jì)。
該網(wǎng)絡(luò)的輸入為512 × 512。在第一階段，這些圖像進(jìn)入第一個(gè)子網(wǎng)或CE，分別學(xué)習(xí)與每個(gè)人臉?lè)至肯嚓P(guān)的每個(gè)編碼器，在第二階段，每個(gè)人臉?lè)至扛鶕?jù)相似度在其特定的類(lèi)中使用K近鄰算法，并被放置到圖中。在FM的下一步中，每個(gè)組件被插入到它的****和真實(shí)的組件中進(jìn)行制作。然后將新組件組合在一起以創(chuàng)建一個(gè)真正的新面孔。這一步在SI中使用條件GAN體系結(jié)構(gòu)技術(shù)執(zhí)行，這樣可以保證所有的面組件都在它們的原始位置。
樣例如下：

其他特征：
在該模型中，可以改變對(duì)人臉每個(gè)特征的注意量和準(zhǔn)確性，可以調(diào)整每個(gè)特征的擬真程度，例如鼻子比較像而嘴不太像。還有一種功能就是可以單獨(dú)設(shè)計(jì)每只眼睛，保證眼睛可能不一定是相同的。
對(duì)比：

總結(jié)

在這個(gè)想法中，我們嘗試?yán)L制一張臉，并將其主要成分（例如左右眼睛、鼻子、嘴巴）和其余成分分開(kāi)，并教一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)在真實(shí)圖像中找到它們的等價(jià)物，并將它們轉(zhuǎn)化為真實(shí)的樣子。 這個(gè)方向有很多挑戰(zhàn)，DeepFaceDrawing試圖用新的想法和以前的知識(shí)來(lái)解決，但是這個(gè)想法仍然存在問(wèn)題，我們希望在下一個(gè)版本中得到解決，這個(gè)應(yīng)用程序的質(zhì)量和準(zhǔn)確性會(huì)提高。
官網(wǎng)，論文和DEMO代碼都在這里：http://geometrylearning.com/DeepFaceDrawing/作者：Ehsan Mrh

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。

電容相關(guān)文章:電容原理
電容傳感器相關(guān)文章:電容傳感器原理