[PYTHON] Faites sourire les gens avec le Deep Learning

Deep Feature Interpolation for Image Content Changes

L'interpolation profonde des caractéristiques (DFI) est une technique permettant de donner à une image certains attributs (par exemple, «sourire», «personnes âgées», «barbu»). En tant que méthode pour attribuer un attribut spécifique, une méthode utilisant un Réseau Adversaire Génératif (GAN) tel que "Autoencoding au-delà des pixels en utilisant une métrique de similarité apprise" est connue. Cependant, DFI adopte une approche différente de celle du GAN. L'article peut être trouvé à https://arxiv.org//abs/1611.05507.

Aperçu

Comme on le sait dans "A Neural Algorithm of Artistic Style", à partir de la Feature Map (sortie de couche intermédiaire) obtenue en entrant une image dans CNN. , Vous pouvez restaurer l'image. Il y a une explication dans Algorithm for converting style, donc la lecture de ce blog approfondira votre compréhension. Dans DFI, "Feature Map d'une image avec un attribut spécifique" est obtenu en ajoutant un vecteur d'attribut à "Feature Map obtenu à partir d'une image". Ensuite, "l'image avec des attributs spécifiques" est restaurée à partir de la carte des caractéristiques obtenue.

Procédure de conversion d'image

Suivez la procédure ci-dessous pour convertir l'image.

0. Préparez un CNN à utiliser pour la reconnaissance d'image, tel que Modèle VGG 19 couches.
1. Préparez l'image source de la conversion (appelée image d'origine).
2. Décidez des attributs que vous souhaitez attribuer à l'image d'origine (appelés attributs souhaités).
3. Collectez chacun des ensembles d'images suivants.

• Une image proche de l'image d'origine et possédant les attributs souhaités (appelée ensemble cible)
• Une image qui est proche de l'image d'origine et qui n'a pas les attributs souhaités (appelée ensemble source)

0. Entrez les images contenues dans l'ensemble de cibles dans le CNN pour obtenir la carte des caractéristiques. Calculez sa moyenne $ \ bar {\ phi} ^ {t} $.
1. De même, pour les images incluses dans l'ensemble source, calculez la moyenne $ \ bar {\ phi} ^ {s} $ de la carte des caractéristiques CNN.
2. Calculez le vecteur d'attribut $ w = \ bar {\ phi} ^ {t} - \ bar {\ phi} ^ {s} $.
3. Entrez l'image originale $ x $ dans le CNN pour obtenir la carte des caractéristiques $ \ phi (x) $.
4. Calculez la somme pondérée $ \ phi (x) + \ alpha w $ de la carte d'entités et du vecteur d'attribut obtenu à partir de l'image originale.
5. Optimiser l'image convertie $ z $. Optimisez la carte d'entités $ \ phi (z) $ obtenue lorsque vous entrez $ z $ dans le CNN pour qu'elle approche $ \ phi (x) + \ alpha w $.

Voici un diagramme de l'algorithme utilisé dans l'article. Le numéro de l'étape est dans le papier et est différent de cet article.

la mise en oeuvre

Je l'ai implémenté avec Chainer. https://github.com/dsanno/chainer-dfi

Faites sourire les gens avec DFI

Utilisons DFI pour donner à l'image du visage un attribut de sourire.

Utiliser des faces étiquetées dans le jeu de données Wild

Dans l'article, la carte des caractéristiques a été calculée à l'aide d'images de l'ensemble de données des faces étiquetées dans la nature (LFW). Le LFW contient plus de 13 000 images et vecteurs de visage qui quantifient les attributs des images de visage tels que «Homme» et «Souriant». Dans le document, en tant qu'image similaire à utiliser comme ensemble source / cible, une image avec de nombreux attributs communs avec l'image d'origine a été sélectionnée. Essayez de faire sourire l'image incluse dans LFW de la même manière. Le résultat est le suivant.

L'image originale	Sourire	Sourire+Ouvrez la bouche

Les paramètres, etc. sont les suivants.

• Le poids du vecteur d'attribut $ \ alpha $ est de 0,4
• L'image originale est découpée de manière à découper la partie du visage.
• Sélectionnez une image avec la valeur d'attribut de l'image d'origine et la valeur d'attribut avec une petite distance euclidienne comme image de l'ensemble source cible.
• Pour "Sourire", sélectionnez un ensemble cible avec un attribut Sourire de 0,5 ou plus et une image source avec un attribut Sourire inférieur à -0,5.
• Pour "Sourire + Bouche ouverte", sélectionnez un ensemble cible avec un attribut Sourire de 0,5 ou plus et un attribut Mouth_closed de moins de -0,5, et une image source avec un attribut Sourire inférieur à -0,5 et un attribut Mouth_Closed de 0,5 ou plus.
• Jusqu'à 100 images de l'ensemble cible et de l'ensemble source

Utilisez votre propre image

J'ai essayé de convertir l'image distribuée sur Pakutaso.

Je vais faire l'expression qui me fait ressentir un petit sourire nerveux. Le paramètre de poids $ \ alpha $ a été modifié dans la plage 0,1-0,5. Si le poids est trop important, la distorsion de l'image augmentera également.

Poids 0.1	Poids 0.2	Poids 0.3
Poids 0.4	Poids 0.5

• Utilisez CelebA Dataset pour l'ensemble de données d'image de visage
• Le vecteur d'attribut de l'image d'origine étant inconnu, j'ai sélectionné l'ensemble source / cible comme suit.
• Déterminez manuellement les attributs de l'image d'origine, tels que l'attribut «Jeune» étant positif et l'attribut «Homme» étant négatif.
• Sélectionnez une image avec les mêmes attributs que l'image d'origine en fonction des informations d'attribut de l'ensemble de données
• Cibler les images avec des attributs positifs et inclure des images négatives dans la source

Avez-vous vraiment des attributs?

J'ai montré ci-dessus que vous pouvez faire sourire une image de visage, mais cette méthode ajoute-t-elle vraiment des attributs à l'image? Je pense que non. Le CNN utilisé est à des fins de reconnaissance d'image et sa carte des caractéristiques n'apprend pas des attributs spécifiques. Par conséquent, ce qui peut être généré en utilisant la différence de la carte des caractéristiques entre la source et l'ensemble cible est la «différence d'image moyenne entre la source et la cible». Si l'attribut est sourire, cela signifie qu'une image de sourire est générée en ajoutant «une différence d'image entre un visage qui ne rit pas et un sourire» à l'image d'origine.

Étant donné que nous ajoutons uniquement des différences d'image, il est nécessaire d'aligner la disposition des parties du visage entre l'image d'origine et l'image source / cible. En fait, si l'image d'origine et l'image source / cible n'ont pas la même position de visage, les lèvres peuvent apparaître dans une position étrange. L'ensemble de données d'image de visage utilisé n'inclut pas les informations de placement des pièces ou les attributs d'orientation du visage, mais la position et la taille du visage dans l'image sont alignées, donc je pense que cela fonctionne généralement. Afin d'effectuer une conversion d'image plus naturelle, je pense qu'il est nécessaire de sélectionner l'image source / cible en tenant compte de la disposition des parties du visage.

Comparaison avec la méthode basée sur le GAN

Le document compare également les images générées avec des méthodes basées sur le GAN. Veuillez consulter le papier pour les images réellement générées. Ici, nous comparerons les caractéristiques des méthodes.

À propos de la mise en œuvre

J'écrirai sur la différence entre la description de l'article et la mise en œuvre utilisée cette fois. Si vous n'êtes pas intéressé par les détails de l'implémentation, vous pouvez l'ignorer.

S'il faut normaliser la carte des caractéristiques

Le papier dit "Nous utilisons les couches convolutives du réseau VGG-19 normalisé pré-entraîné sur ILSVRC2012", et vous pouvez voir que la carte des caractéristiques est normalisée. La normalisation de la carte des caractéristiques est décrite dans "Comprendre les représentations d'images profondes en les inversant", mais cela signifie diviser la carte des caractéristiques par la norme L2. La normalisation n'a pas été effectuée pour les raisons suivantes.

• Fonctionne sans normalisation
• Lors de la normalisation, il est nécessaire de multiplier la perte (erreur carrée) liée à la carte des caractéristiques par 10 $ ^ 6 $ à 10 $ ^ 8 $, et j'ai senti que l'ajustement était gênant.

S'il faut combiner des cartes d'entités

Dans l'article, conv3_1, conv4_1 et conv5_1 parmi les couches intermédiaires des couches VGG-19 sont utilisées comme cartes d'entités. Ce point est le même pour cette implémentation. De plus, l'article déclare: "Le vecteur $ \ phi (x) $ consiste en des activations concaténées du Il dit convnet lorsqu'il est appliqué à l'image x ", et vous pouvez voir que plusieurs cartes d'entités sont combinées. Cependant, cela fonctionnait sans combiner les cartes d'entités, donc il n'a pas été combiné dans cette implémentation.

Normalisation des vecteurs d'attributs

Vecteur d'attribut dans le papierw = \bar{\phi}^{t} - \bar{\phi}^{s},w / ||w||Et L2 normalisé et utilisé. En effet, le facteur de pondération d'attribut $ \ alpha $ rend la sélection de l'image originale, de la source et de la cible robuste (de sorte que le même $ \ alpha $ est utilisé). Cependant, la normalisation des vecteurs d'attributs n'est valide que si la carte d'entités est normalisée. Si la carte des caractéristiques n'est pas normalisée, il est naturel de déterminer la longueur du vecteur d'attribut en tenant compte de la taille de la carte des caractéristiques, donc dans l'implémentationw / ||w||Le vecteur d'attribut est le vecteur obtenu en multipliant par la norme L2 de la carte des caractéristiques de l'image d'origine.

Les références

• Paul Upchurch et al. "Deep Feature Interpolation for Image Content Changes", 2016
• A. B. L. Larsen et al. "Autoencoding beyond pixels using a learned similarity metric", 2015
• Leon A. Gatys et al. "A Neural Algorithm of Artistic Style"
• A. Mahendran and A. Vedaldi. "Understanding deep image representations by inverting them", 2015
• Algorithme pour convertir le style