[PYTHON] Bringen Sie Menschen mit Deep Learning zum Lächeln

Deep Feature Interpolation for Image Content Changes

Deep Feature Interpolation (DFI) ist eine Technik, mit der einem Bild ein bestimmtes Attribut zugewiesen wird (z. B. "Lächeln", "Ältere", "Bart"). Als Methode zur Angabe eines bestimmten Attributs ist eine Methode bekannt, die ein generatives kontradiktorisches Netzwerk (GAN) verwendet, z. B. "Autoencoding über Pixel hinaus unter Verwendung einer erlernten Ähnlichkeitsmetrik". DFI verfolgt jedoch einen anderen Ansatz als GAN. Das Papier finden Sie unter https://arxiv.org//abs/1611.05507.

Überblick

Wie aus "Ein neuronaler Algorithmus des künstlerischen Stils" bekannt ist, aus der Feature-Map (Zwischenschichtausgabe), die durch Eingabe eines Bildes in CNN erhalten wurde. , Sie können das Image wiederherstellen. Es gibt eine Erklärung in Algorithmus zum Konvertieren des Stils, daher denke ich, dass das Lesen dieses Blogs Ihr Verständnis vertiefen wird. In DFI wird "Feature Map eines Bildes mit einem bestimmten Attribut" durch Hinzufügen eines Attributvektors zu "Feature Map aus einem Bild erhalten" erhalten. Anschließend wird das "Bild mit bestimmten Attributen" aus der erhaltenen Feature-Map wiederhergestellt.

Bildkonvertierungsverfahren

Gehen Sie wie folgt vor, um das Bild zu konvertieren.

0. Bereiten Sie ein CNN für die Bilderkennung vor, z. B. VGG 19-Layer-Modell.
1. Bereiten Sie das Konvertierungsquellbild vor (das als Originalbild bezeichnet wird).
2. Entscheiden Sie, welche Attribute Sie dem Originalbild geben möchten (die gewünschten Attribute genannt).
3. Sammeln Sie jeden der folgenden Bildsätze.

• Ein Bild, das dem Originalbild nahe kommt und die gewünschten Attribute aufweist (als Zielgruppe bezeichnet).
• Ein Bild, das dem Originalbild nahe kommt und nicht die gewünschten Attribute aufweist (als Quellensatz bezeichnet).

0. Geben Sie die im Zielsatz enthaltenen Bilder in das CNN ein, um die Feature Map zu erhalten. Berechnen Sie den Durchschnitt von $ \ bar {\ phi} ^ {t} $.
1. Berechnen Sie für die im Quellensatz enthaltenen Bilder in ähnlicher Weise den Durchschnitt von $ \ bar {\ phi} ^ {s} $ der CNN Feature Map.
2. Berechnen Sie den Attributvektor $ w = \ bar {\ phi} ^ {t} - \ bar {\ phi} ^ {s} $.
3. Geben Sie das Originalbild $ x $ in das CNN ein, um die Feature Map $ \ phi (x) $ zu erhalten.
4. Berechnen Sie die gewichtete Summe $ \ phi (x) + \ alpha w $ der Feature-Map und des Attributvektors, die aus dem Originalbild erhalten wurden.
5. Optimieren Sie das konvertierte Bild $ z $. Optimieren Sie die Feature-Map $ \ phi (z) $, die Sie erhalten, wenn Sie $ z $ in das CNN eingeben, so dass es sich $ \ phi (x) + \ alpha w $ nähert.

Hier ist ein Diagramm des in diesem Artikel verwendeten Algorithmus. Die Schrittnummer steht im Papier und unterscheidet sich von diesem Artikel.

Implementierung

Ich habe es mit Chainer implementiert. https://github.com/dsanno/chainer-dfi

Bringen Sie die Leute mit DFI zum Lächeln

Verwenden wir DFI, um dem Gesichtsbild ein Lächelnattribut zu verleihen.

Verwenden Sie beschriftete Gesichter im Wild-Dataset

In diesem Artikel wurde die Feature-Map anhand von Bildern aus dem LFW-Datensatz (Labeled Faces in the Wild) berechnet. LFW enthält mehr als 13.000 Gesichtsbilder und Vektoren, die die Attribute von Gesichtsbildern wie "Männlich" und "Lächeln" quantifizieren. In dem Papier wurde als ähnliches Bild, das als Quell- / Zielsatz verwendet werden soll, ein Bild mit vielen gemeinsamen Attributen mit dem Originalbild ausgewählt. Versuchen Sie, das in LFW enthaltene Bild auf die gleiche Weise zum Lächeln zu bringen. Das Ergebnis ist wie folgt.

Das Originalbild	Lächeln	Lächeln+Öffne deinen Mund

Die Parameter usw. sind wie folgt.

• Das Attributvektorgewicht $ \ alpha $ beträgt 0,4
• Das Originalbild wird so abgeschnitten, dass das Gesichtsteil ausgeschnitten wird.
• Wählen Sie ein Bild mit dem Attributwert des Originalbilds und dem Attributwert mit einem kleinen euklidischen Abstand als Bild des Zielquellensatzes aus.
• Wählen Sie für "Lächeln" einen Zielsatz mit einem Lächelnattribut von 0,5 oder mehr und ein Quellbild mit einem Lächelnattribut von weniger als -0,5 aus.
• Wählen Sie für "Lächeln + Mund öffnen" einen Zielsatz mit einem Smile-Attribut von 0,5 oder mehr und einem Mouth_closed-Attribut von weniger als -0,5 und einem Quellbild mit einem Smile-Attribut von weniger als -0,5 und einem Mouth_Closed-Attribut von 0,5 oder mehr aus.
• Bis zu 100 Bilder von Ziel- und Quellensatz

Verwenden Sie Ihr eigenes Bild

Ich habe versucht, das in Pakutaso verteilte Bild zu konvertieren.

Ich werde den Ausdruck machen, der mich ein wenig nervös lächeln lässt. Der Gewichtungsparameter $ \ alpha $ wurde im Bereich von 0,1 bis 0,5 geändert. Wenn das Gewicht zu groß ist, nimmt auch die Bildverzerrung zu.

Gewicht 0.1	Gewicht 0.2	Gewicht 0.3
Gewicht 0.4	Gewicht 0.5

• Verwenden Sie CelebA-Datensatz für den Gesichtsbild-Datensatz
• Da der Attributvektor des Originalbildes unbekannt ist, habe ich den Quell- / Zielsatz wie folgt ausgewählt.
• Bestimmen Sie manuell die Attribute des Originalbilds, z. B. das Attribut "Jung" ist positiv und das Attribut "Männlich" ist negativ.
• Wählen Sie basierend auf den Attributinformationen des Datensatzes ein Bild mit denselben Attributen wie das Originalbild aus
• Zielbilder mit positiven Attributen und negative Bilder in die Quelle aufnehmen

Hast du wirklich Attribute?

Ich habe oben gezeigt, dass Sie ein Gesichtsbild zum Lächeln bringen können, aber fügt diese Methode dem Bild wirklich Attribute hinzu? Ich denke nicht. Das verwendete CNN dient der Bilderkennung und die Feature Map enthält keine Informationen zu bestimmten Attributen. Daher kann unter Verwendung der Feature-Map-Differenz zwischen der Quelle und dem Zielsatz die "durchschnittliche Bilddifferenz zwischen der Quelle und dem Ziel" erzeugt werden. Wenn das Attribut "Lächeln" lautet, bedeutet dies, dass ein Lächelnbild erzeugt wird, indem dem Originalbild "Bildunterschied zwischen einem nicht lachenden Gesicht und einem Lächeln" hinzugefügt wird.

Da wir nur Bildunterschiede hinzufügen, muss die Anordnung der Gesichtsteile zwischen dem Originalbild und dem Quell- / Zielbild ausgerichtet werden. Wenn das Originalbild und das Quell- / Zielbild nicht dieselbe Gesichtsposition haben, erscheinen die Lippen möglicherweise an einer seltsamen Position. Der verwendete Gesichtsbilddatensatz enthält keine Informationen zur Platzierung von Teilen oder Gesichtsausrichtungsattribute, aber die Position und Größe des Gesichts im Bild sind ausgerichtet, sodass ich denke, dass es im Allgemeinen funktioniert. Um eine natürlichere Bildkonvertierung durchzuführen, ist es meines Erachtens erforderlich, das Quell- / Zielbild unter Berücksichtigung der Anordnung der Gesichtsteile auszuwählen.

Vergleich mit der GAN-basierten Methode

Das Papier vergleicht auch die erzeugten Bilder mit GAN-basierten Methoden. Die tatsächlich erzeugten Bilder finden Sie auf dem Papier. Hier werden wir die Eigenschaften der Methoden vergleichen.

Über die Implementierung

Ich werde über den Unterschied zwischen der Beschreibung des Papiers und der diesmal verwendeten Implementierung schreiben. Wenn Sie nicht an den Details der Implementierung interessiert sind, können Sie diese überspringen.

Gibt an, ob die Feature-Map normalisiert werden soll

In dem Artikel heißt es: "Wir verwenden die Faltungsschichten des normalisierten VGG-19-Netzwerks, das auf ILSVRC2012 vorab trainiert wurde." Sie können sehen, dass die Feature-Map normalisiert ist. Die Normalisierung der Feature-Map wird in "Grundlegendes zu tiefen Bilddarstellungen durch Invertieren" beschrieben, bedeutet jedoch, die Feature-Map durch die L2-Norm zu teilen. Eine Normalisierung wurde aus den folgenden Gründen nicht durchgeführt.

• Funktioniert ohne Normalisierung
• Beim Normalisieren ist es notwendig, den Verlust (quadratischen Fehler) in Bezug auf die Feature-Map mit 10 ^ 6 $ bis 10 ^ 8 $ zu multiplizieren, und ich hatte das Gefühl, dass die Anpassung problematisch war.

Gibt an, ob Feature-Maps kombiniert werden sollen

In diesem Artikel werden conv3_1, conv4_1 und conv5_1 unter den Zwischenschichten der VGG-19-Schichten als Feature-Maps verwendet. Dieser Punkt gilt auch für diese Implementierung. Darüber hinaus heißt es in der Arbeit: "Der Vektor $ \ phi (x) $ besteht aus verketteten Aktivierungen der Es heißt convnet, wenn es auf Bild x "angewendet wird, und Sie können sehen, dass mehrere Feature-Maps kombiniert werden. Es funktionierte jedoch ohne Kombination von Feature Maps, sodass es in dieser Implementierung nicht kombiniert wurde.

Attributvektornormalisierung

Attributvektor im Papierw = \bar{\phi}^{t} - \bar{\phi}^{s},w / ||w||Und L2 normalisiert und verwendet. Dies liegt daran, dass der Attributgewichtungsfaktor $ \ alpha $ die Auswahl des Originalbilds, der Quelle und des Ziels robust macht (sodass dasselbe $ \ alpha $ verwendet wird). Die Normalisierung von Attributvektoren ist jedoch nur gültig, wenn die Feature-Map normalisiert ist. Wenn die Feature-Map nicht normalisiert ist, ist es natürlich, die Länge des Attributvektors unter Berücksichtigung der Größe der Feature-Map zu bestimmen, also in der Implementierungw / ||w||Der Attributvektor ist der Vektor, der durch Multiplizieren der Merkmalskarte des Originalbilds mit der L2-Norm erhalten wird.

Verweise

• Paul Upchurch et al. "Deep Feature Interpolation for Image Content Changes", 2016
• A. B. L. Larsen et al. "Autoencoding beyond pixels using a learned similarity metric", 2015
• Leon A. Gatys et al. "A Neural Algorithm of Artistic Style"
• A. Mahendran and A. Vedaldi. "Understanding deep image representations by inverting them", 2015
• Algorithmus zum Konvertieren des Stils