[PYTHON] J'ai essayé de déplacer de la nourriture avec SinGAN

introduction

Je suis désolé de vous déranger dans l'espace vide de Manufacturer / Counting Advent Calendar 2019.

Récemment, j'ai joué avec "SinGAN", je vais donc résumer les résultats en gros. SinGAN est un article qui est devenu un sujet brûlant car il a été sélectionné comme meilleur article à l'ICCV 2019. En plus d'apprendre avec une seule image pour générer une image de n'importe quelle taille avec les mêmes fonctionnalités, c'est aussi génial.

Papier: https://arxiv.org/abs/1905.01164 Code: https://github.com/tamarott/SinGAN Vidéo: https://youtu.be/xk8bWLZk4DU

De plus, ** je peux facilement l'essayer avec une image et un GPU **. C'est aussi un bon point. Avec un GPU, il a fallu plusieurs heures pour apprendre à chaque fois dans mon environnement.

En ce qui concerne le contenu de la thèse, ~~ Je dois rédiger un mémoire de maîtrise tôt ~~ Il y a d'autres personnes qui l'ont déjà expliqué, donc je vais l'omettre ici. J'ai trouvé plusieurs cas à Qiita seulement.

• [SinGAN] Active diverses tâches de génération d'images à partir d'une seule image
• [Explication de l'article] SinGAN: Apprendre un modèle génératif à partir d'une seule image naturelle
• Meilleur article ICCV2019 "SinGAN" Je l'ai lu brièvement et je l'ai résumé

D'ailleurs, dans cet article, je vais essayer différentes fonctions (principalement Animation) selon [README] de SinGAN (https://github.com/tamarott/SinGAN) Si vous souhaitez reproduire, clonez le référentiel. reste ici.

De plus, le résultat de jouer avec SinGAN est tweeté en détail à #SinGAN.

Animation Pour créer une vidéo à partir d'une image fixe, utilisez cette commande en une seule prise.

$ python animation.py --input_name <input_file_name> 

ramen

Tout d'abord, des ramen classiques. Ce délicieux ramen ... Cette rue, elle a l'air animée et délicieuse!

Et les ramen Jiro? Ce chinois glacé ... Cette rue, elle a l'air animée et délicieuse!

Pizza

Cette pizza est ... Cette rue, c'est chaud et frais!

Bol de riz garni de sashimi

Ce bol de fruits de mer est ... Cette rue, c'est frais!

Art tardif

Ce café latte est ... Cette rue, elle a l'air animée et délicieuse!

"Cri"

Le "cri" de Munch ... Cette rue, l'ego s'effondre!

Grotte bleue (pour Shibuya)

Les illuminations de Shibuya ... C'est vrai, je pense que c'était la manière la plus correcte de l'utiliser.

Harmonization Pour rendre le collage naturel, vous devez d'abord entraîner le modèle. Spécifiez l'image d'arrière-plan.

$ python main_train.py --input_name <input_file_name>

La deuxième commande harmonisera l'image coupée-collée et l'image du masque. Cette opération sera effectuée immédiatement.

$ python harmonization.py --input_name <training_image_file_name> --ref_name <naively_pasted_reference_image_file_name> --harmonization_start_scale <scale to inject>

Je me suis référé ici pour créer l'image de masque. [Créez une image de masque en noir et blanc d'une zone spécifique avec Gimp - Urusu Lambda Web](https://urusulambda.wordpress.com/2018/07/23/gimp%E3%81%A7%E7%89%B9%E5% AE% 9A% E9% A0% 98% E5% 9F% 9F% E3% 81% AE% E7% 99% BD% E9% BB% 92% E3% 83% 9E% E3% 82% B9% E3% 82% AF% E7% 94% BB% E5% 83% 8F% E3% 82% 92% E4% BD% 9C% E6% 88% 90% E3% 81% 99% E3% 82% 8B /)

Au fait, cette fois, j'aimerais synthétiser le Père Noël avec les "Nymphéas" de Monet. Cette image coupée-collée est ... Cela ressemble à ceci: c'est petit et difficile à voir.

Super Resolution SinGAN peut également super-résolution, alors agrandissons l'image précédente. Cette commande est unique. Si rien n'est spécifié, la hauteur et la largeur seront quadruplées.

$ python SR.py --input_name <LR_image_file_name>

Joyeux Noël! Bonne année!

prime

J'ai essayé de collaborer avec des peintures et Pokémon célèbres avec Harmonization et SR.

Wakaoka Ito et Houou.

Turner et Lugia.

Les deux ne sont pas bons, je ne connais toujours pas le talent de l'harmonisation.