[PYTHON] J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [1]. (La profondeur peut maintenant être modifiée en PNG.)

Aperçu

** Une photo ** ** Image 3D de haute précision ↓ Création facile **.

(↓ Cela n'a aucun sens, mais cette pizza est un traitement précis de la profondeur PNG. Il y a une partie où l'image est traînée, mais je me demande si c'est une pizza ...)

Voici les papiers et github.

https://arxiv.org/pdf/2004.04727.pdf Papier "Photographie 3D utilisant la peinture en profondeur en couches sensible au contexte" Meng-Li Shih1 et autres

github est ci-dessous. https://github.com/vt-vl-lab/3d-photo-inpainting

Résumé de l'article (maman de traduction Google)

738/5000 Nous suggérons comment convertir une seule image d'entrée RVB-D en photo 3D. Il s'agit d'une nouvelle représentation multicouche de composition de vue qui comprend des structures de couleur et de profondeur illusoires dans les zones bloquées par la vue d'origine. En utilisant une image de profondeur en couches avec des connexions de pixels explicites comme représentation de base, nous présentons un modèle de réparation basé sur l'apprentissage qui synthétise de nouveaux contenus de couleur et de profondeur locaux dans une zone fermée d'une manière sensible au contexte spatial. .. La photo 3D résultante peut être efficacement rendue en mouvement paralux à l'aide d'un moteur graphique standard. Validez l'efficacité de la méthode dans une variété de situations quotidiennes difficiles et réduisez les artefacts par rapport à la technologie de pointe.

Ce sera une note supplémentaire, 2020/05/23 ** Il y a environ 3 jours, la profondeur pouvait être modifiée en PNG. ** ** Je l'ai essayé.

Je l'ai essayé (travail)

(Le code github fonctionnait facilement dans mon environnement Windows. J'ai peut-être besoin d'un GPU. Je n'ai pas besoin d'un bon GPU. Le temps de traitement était d'une minute ou deux.)

En tant que procédure de création, Mettez l'image que vous souhaitez traiter dans le dossier image Tapez simplement la commande suivante.

python main.py --config argument.yml

Pour publication ici, la photo originale est "Matériel d'image libre de haute qualité" https://pixabay.com/ja/ Obtenu à partir de. (Similaire à King Kong dans l'aperçu)

Déplacer des objets d'une photo? Puisqu'il est (tremblant), bien sûr, il y a une partie où il n'y a pas d'information **, mais il semble qu'elle soit générée de force. génial.

** Je suis désolé, l'affichage peut prendre environ 30 secondes. .. .. ** **

** Toutes les entrées sont une image fixe ** ** 1 feuille! **

Je l'ai essayé (travail supplémentaire)

** Metropolitan Museum ** Utilisez les peintures de la collection.

Je l'ai essayé (échec, travail de CG, etc.)

Encore une fois, la photo originale est "Matériel d'image libre de haute qualité" https://pixabay.com/ja/ Obtenu à partir de.

↓ ** Échec? **. (Plutôt, même lorsque les ordinateurs sont incompatibles ...)

↓ ** Échec **. ** Système Escher . En outre, le ballon est également difficile. Vous pouvez l'appeler " Balloon Problem **". Cependant, la photo est magnifique. .. ..

↓ D'une manière ou d'une autre, la texture. .. .. Échec.

↓ Panne normale.

(2020/05/23) Il y a environ 3 jours, la profondeur pouvait être modifiée en PNG.

J'ai édité la profondeur.

Étape 1: Dans argument.yml Remplacez depth_format par png et exécutez.

・ ・ ・ depth_format: '.png' ・ ・ ・

Ensuite, la profondeur sera enregistrée au format PNG. (Je ne veux pas du tout afficher ce png ↓ en grande taille, mais ... Il est probablement affiché en grande taille le long de la route ...)

![graffiti-745071 -copie.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/635153/41ecdffa-b58a-ffbc-da3c-3dfecd66025f.png)



Étape 2:
Modifier le PNG.
(Au bas de la voiture, créez la partie où la profondeur est peu profonde plus profonde (= noir).)
Voir les résultats ci-dessous pour voir si une telle modification approximative est acceptable.

![graffiti-745071.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/635153/e0f227c8-37a6-b6e0-68df-1f6d206c95ec.png)



Étape 3:
require_Définissez midas sur False pour que le PNG modifié soit utilisé.

require_midas: False

Puis réexécutez la conversion.

![Télécharger modifier.gif](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/635153/64bb82f9-d9c7-3e90-0b39-07766e2b011d.gif)

Comme prévu, la profondeur au bas de la voiture est plus profonde. Cependant, cela ressemble à PNG,
L'édition grossière du PNG ne l'a pas nettoyée.
Si vous pouvez traiter la peinture normalement, je pense que c'est correct. Je ne peux pas. Avec un pinceau
Je l'ai peint correctement. .. ..
Vous ne pourrez peut-être pas dire ce que vous avez fait car le travail est compliqué, mais lorsque vous n'êtes pas satisfait de la profondeur détectée automatiquement, vous pouvez modifier la profondeur exprimée en PNG sous forme d'image.

#Informations qui peuvent être utiles
・ GFORCE GTX1050Ti (mémoire GPU dédiée 4).0GB)Puis
  **Cela peut ne pas fonctionner en raison d'une mémoire insuffisante du GPU**。
c'est,**Plutôt que de compter sur la taille de l'image**、
Peut-être quelque chose lié à la quantité de mémoire nécessaire pour représenter la 3D dans le contenu de l'image.
Je n'ai pas trouvé de solution. Il peut être possible de gérer en modifiant les paramètres.
Voiture rouge, mémoire GPU tellement dédiée 3.Environ 4 Go, le blanc est 2.Environ 7 Go ont été utilisés.
Pour ce problème de mémoire, pourquoi ne pas utiliser Google Colab pour le moment?
-J'ai montré l'édition des informations de profondeur avec PNG, mais la valeur par défaut est sûrement numpy?。
Ces données(numpy)Si vous pouvez gérer le cliquetis, vous pouvez le modifier.

#Résumé

Je ne comprends pas à quel point c'est génial techniquement.
Cependant, je me demande si cela ressemble à une force.
(En premier lieu, la perception des gens lorsqu'ils regardent l'image est également forcée, donc ...)
J'étudierai la technologie.
(Pour le moment, je comprends l'habitude de traiter, donc je pense que je peux faire un travail un peu plus amusant.)
À ce stade, je n'ai aucune idée à quoi cela peut servir.
**Veuillez l'essayer vous-même. "Autoportrait en intérieur" est recommandé**

#Résumé 2
Décrit après "je l'ai essayé (travail supplémentaire)".
Malheureusement,**J'en ai eu assez de le voir en un rien de temps. .. .. ..**
C'est difficile si vous n'avez pas de but et de résultat. .. .. ..
simple**effet**Je veux dire. .. .. Ensuite, vous en avez assez. De plus, nous nous attendons au prochain niveau de technologie.
J'en ai assez, mais je m'intéresse à la technologie, même si je ne la comprends pas encore. .. ..
Il était facile de modifier la profondeur.

#à partir de maintenant
Je pense qu'il vaut mieux afficher le nom de l'auteur de pixabay, séparément.
Existe-t-il une manière différente d'afficher l'image traitée? ?? ?? Je pense que c'est simple.
Si vous avez des commentaires, veuillez.

référence.
[J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [2].(Essayez de traiter la profondeur avec numpy)](https://qiita.com/torinokaijyu/items/e761c00c87d6a00b8c30)
[J'ai essayé de créer facilement une image 3D de haute précision avec une seule photo [3]. Seulement la profondeur sans permission feat. intel-de isl.](https://qiita.com/torinokaijyu/items/6889598b732851c2e8fd)